简介:
这节课,我们将对sd用到的采样方法进行分类,同时对分类进行简要的说明。
内容:
(1)什么是采样方法
首先让我们先来了解一下 sd webui 生成图像的过程,大致会经过以下过程:
1、Stable Diffusion 会在潜在空间中生成一个完全随机的图像
2、通过噪声预测器会估算图像的噪声
3、噪声预测器从图像中减去预测的噪声
4、这个过程反复重复 多次以后,会得到一个干净准确的图像
在这个去噪的过程就是采样。
(2)采样方法的分类
为了便于使用和理解,我们可以将这些采样方法进行分类:
1、经典ODE求解器。
Euler采样器:欧拉采样方法。
Heun采样器:欧拉的一个更准确但是较慢的版本。
LMS采样器:线性多步法,与欧拉采样器速度相仿,但是更准确。
2、祖先采样器 (名称中有一个字母 a 的)
包含 :Euler a \ DPM2 a \DPM++2S a \DPM2 a Karras \DPM++2S a Karras
这些采样器会在每个采样步骤中,向图像添加噪声,因此具有一定的随机性。
注意:部分采样器的名字中虽然没有明确标识属于祖先采样器,但也属于随机采样器。
3、DDIM、PLMS(已过时,不再使用)
DDIM :去噪扩散隐式模型, 是为扩散模型设计的第一个采样器。
PLMS:伪线性多步方法, 则是DDIM 更快速的替代品 。
当前这两种采样方法都不再广泛使用。
4、DPM 和 DPM++ 系列
DPM 和 DPM++ 体系结构的求解器系列, 是2022年发布的用于扩散模型的新采样器 ,它们具有相似的结构。
DPM的缺点:由于DPM会自适应调整步长,不能保证在约定的采样步骤内完成任务,整体速度可能会比较慢。
DPM的优点:对Tag的利用率较高,在使用时建议适当放大采样的步骤数以获得较好的效果。
DPM++ 是对DPM 的改进,采用二阶方法,其结果更准确,但是相应的也会更慢一些。
5、UniPC采样器
这UniPC采样器是2023年发布的新采样器,根据 ode 求解器中预测校正方法的启发,可在5-10步内实现高质量图像生成。
6、K-diffusion 采样器
当前常用的采样器中,除了DDIM、PLMS与UniPC之外的采样器均来自于k-diffusion, 通常这些采样器都带有 Karras 字样。
(3)采样方法详解
接下来我们根据 Stable Diffusion WebUI 中采样器的顺序,对每个采样器进行详细介绍。
1、Euler a
祖先采样器的一种 , 类似于 Euler
,但在每个步骤中它会减去比“应该”更多的噪声。并添加一些随机噪声以匹配噪声计划。去噪图像取决于前面步骤中添加的特定噪声。
2、Euler
最简单的采样器,在采样过程中不添加随机噪声,通过噪声计划告诉采样器,每个步骤中应该有多少噪声。并使用欧拉方法减少恰当数量的噪声。以匹配噪声计划,直到最后一步为0
为止。
3、LMS 解决常微分方程的标准方法
LMS采样速度与Euler 相同 。
4、Heum
Heum 是对Euler 更精确的改进,但是需要在每个步骤中预测两次噪声。因此速度比Euler 慢2倍。
5、DPM2
dpm2 是Katherine Crowson在K-diffusion项目中自创的 ,灵感来源Karras论文中的DPM-Solver-2和算法2
,受采样器设置页面中的 sigma参数影响。
6、DPM2 a
祖先采样器的一种,使用 DPM2 方法 ,受采样器设置中的ETA参数影响 。
7、DPM++2S a
随机采样器一种,在K-diffusion实现的2阶单步并受采样器设置中的ETA参数影响。
8、 DPM++2M
在Kdiffusion实现的2阶多步采样方法,在Hagging face
Diffusers中被称作已知最强调度器。在速度和质量的平衡最好。这个代表m的多步比上面的s单步,在采样时会参考更多步,而非当前步,所以能提供更好的质量,但是也更复杂。
9、 DPM++SDE
DPM++的SDE版本,DPM++ 原本是0DE
求解器及常微分方程在Ktifusion实现的版本,代码中调用了随机采样方法,所以受采样器设置中的ETA参数影响。
10、 DPM fast
在Ktifusion实现的固定步长采样方法 ,用于steps小于20的情况。受采样器设置中的ETA参数影响。
11、 DPM adaptive
在K-diffusion 实现的自适应步长采样方法,DPM-Solver-12 和23,受采样器设置中的ETA参数影响。
12、带有Karras字样的6种采样器
LMS karras 、DPM2 karras 、DPM2 a karras 、DPM++ 2S a karras 、DPM++2M
karras、DPM++ SDE karras 、DPM++2M SDE karras
这些含有Karras名字的采样方法 都是相当于 Karras噪声时间表的版本。
13 、DDIM
官方采样器之一,使用去噪后的图像来近似最终图像,并使用噪声预测器估计的噪声,来近似图像方向。
14、PLMS
官方采样器之一,PLMS则是DDIM的新版且更快速的替代品。
15、unipc
最新添加的采样器,应该是目前最快最新的采样方法,10步内实现高质量图像。
(4)怎么选择采样器
如果想快速生成质量不错的图片,建议选择 DPM++ 2M Karras (20 -30步) 、UNIPC (15-25步)
如果想要高质量的图,不关心重现性,建议选择 DPM++ SDE Karras (10-15步 较慢) ,DDIM(10-15步 较快)
如果想要简单的图,建议选择 Euler, Heun(可以减少步骤以节省时间)
如果想要稳定可重现的图像,请避免选择任何祖先采样器(名字里面带a或SDE)
相反,如果想要每次生成不一样的图像,可以选择不收敛的祖先采样器(名字里面带a或SDE)
AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。