Stable Diffusion AI绘画

发布于:2024-05-05 ⋅ 阅读:(32) ⋅ 点赞:(0)

我们今天来了解一下最近很火的SD模型

✨在人工智能领域,生成模型一直是研究的热点之一。随着深度学习技术的飞速发展,一种名为Stable Diffusion的新型生成模型引起了广泛关注。Stable Diffusion是一种基于概率的生成模型,它可以学习数据的潜在分布,并生成与训练数据相似的新样本。 

Stable Diffusion是基于连续扩散过程的一种生成模型。它的核心思想是将数据生成过程看作是一个随机过程,通过学习这个随机过程的条件概率分布,我们可以生成新的数据样本。具体来说,Stable Diffusion将数据生成过程分解为一系列离散的时间步,每个时间步都对应一个条件概率分布。通过学习这些条件概率分布,我们可以从一个简单的初始分布出发,逐步生成复杂的数据样本。

Web Ui

这里我们使用SD的整合包,优点是十分简单迅速,不需要直接手动配置环境。 

成功进入Web UI界面

采样器选择

对于老派采样器,我们一般使用Euler 和 Euler a,A的意思是代表为祖先采样器,画面不能收敛(每一步都会向画面添加随机的噪声),所以每一步生成的画面都会有一些随机性,随着采样次数增加,画面也会每次都变化,优点就是可以给画面带来一点随机性,增加一些细节。而Euler是可以收敛的采样器,随着采样次数增加,最终会趋向于一个固定的画面。

关于DPM算法:这是我们在stable diffusion用的最多的方法,我们按照时间速度来筛选的话,我们直接选择DPM++ 且后面跟着Karras的算法就可以了。比如:DPM++2M Karras

  • 我们还可以选择Stable Diffusion新版本增加的Unipc和Restart采样器。

高清修复

此功能只存在于文生图页面中(Hires. fix),我们直接在上张图片中的小三角直接点开就可以了,其中的放大倍数设置在2就可以了。

提示词 

提示词是模型中最为重要的东西,即使有再好的模型和Lora,我们也无法生成好的图片。如果我们感觉提示词很难写,我们也可以使用GPT来生成提示词(AI生成AI):

现在你是一名基于输入描述的提示词生成圈,你会将我输入的自然语言想象为完整的画面生成提示词。请注意,你生成后的内容服务于一个绘画AI,它只能理解具象的提示词而非抽象的概念,我将提供简短的中文描述,生成器需要为我提供准确的提示词,必要时优化和重组以提供更准确的内容,也只输出翻译后的英文内容。
请模仿示例的结构生成完美的提示词。
示例输入:“一个坐在路边的办公室女职员”

示例输出出: 1 girl, office lady, solo, 16yo, beautiful detailed eyes, light blush, black hair, longhair, mole under eye, nose blush, looking at viewer, suits, white shirt, striped miniskirt, lace  black pantyhouse, black heels, LV bags, thighhighs, sitting, street, shop border, akihabara,  tokyo, tree, rain, cloudy, beautifully detailed background, depth of field, loli, realistic,  ambient light, cinematic composition, neon lights, HDR, Accent Lighting, pantyshot, fish eye  lens.
请仔细阅读我的要求,并严格按照规则生成提示词,如果你明白了,请回复“我准备好了”,当我输入中文内容后,请生成我需要的英文内容。注意,英文连着写,不要标序号。英文写完了,用中文翻译一遍。

紧接着我们输入中文想要的句子,它还会帮我们拓展出一点内容:

输出:

其中总批次数是指我们生成几次图片,单批次量是指每次生成时,一个图片包含几张图片,例如我们发朋友圈经常说的九宫格样式。 

我们点击一个Lora后,在提示词后面生成了一小段原生Lora代码:

大模型与Lora

我们可以去网站下载别人训练好的模型(尾缀 ckpt / safetensors),常见大小:2G -7G

存放路径一定要为:根目录\models\Stable-diffusion

而Lora则是微调模型,常见大小:100M左右

存放目录:根目录\models\Lora

如果我们误将Lora模型放到大模型目录下或相反,则我们在界面将无法正常切换模型。

同时我们还可以使用官方给出的提示词来copy:

我们今天先分享到这,下期我们再学习高级操作~