深度解析|AI绘画中SD1.5、SDXL、Checkpoint、Lora 的含义与原理

发布于:2024-10-11 ⋅ 阅读:(13) ⋅ 点赞:(0)

大家好,我是画画的小强

自接触AI绘画以来,我发现很多朋友对一些基础词汇理解地很模糊,然后在搭建comfyui工作流时,只能知其然,不知其所以然的感觉,也不知搭选哪个模型,很多时候都是照猫画虎地模仿,很难受。而且,很多时候,网上找不到详细地教程来详细解释这些含义。

今天我将对一些基础词汇做一个复盘,在这里做了个分享。

今天给大家分享的是 stable diffusion中的一些基础问题,主要分三块:

  1. SDXL、SD1.5是什么意思

  2. checkpoint、lora是什么意思

  3. checkpoint和lora的区别

放轻松,我会通过设计师的视角帮大家更好地理解。

同时我给大家准备了一份完整版的AI绘画全套学习资料,已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

问题1:SDXL、SD1.5这些版本有什么区别,到底有多少版本?

为什么会出现这个问题,是因为每次在浏览网站或者别人的视频时,左上角的xl,lora等搞得我莫名其妙,云里雾里。一会儿1.0,一会儿1.5,一会儿XL,不明所以。

其实这么回事:SD是stable diffusion的缩写,后面的后缀其实是各个版本的称号;

Stable Diffusion (SD) 自发布以来经历了多个版本的迭代。以下是SD主要版本的概览:

  1. Stable Diffusion v1.0 (2022年8月)首次公开发布

  2. Stable Diffusion v1.1 - v1.4 (2022年8月-10月)陆续发布的小版本更新,主要改进模型性能和质量

  3. Stable Diffusion v1.5 (2022年10月)在1.4基础上的进一步改进

  4. Stable Diffusion v2.0 (2022年11月)重大更新,改进了文本理解和图像质量

  5. Stable Diffusion v2.1 (2022年12月)对2.0的改进,增强了生成能力

  6. Stable Diffusion XL 0.9 (2023年6月)SDXL的预览版本

  7. Stable Diffusion XL 1.0 (2023年7月)目前最新的主要版本,大幅提升了模型能力

每个版本都比之前的版本生图质量更好,学习的图片数量也更多。接下来就给大家简单做个区分:

SD v1.1-1.5:训练的图片基本上都是 512*512 大小;

SD v2.0-2.1: 训练的图片大小是768*768;

SD XL:分别以600000步256*256 和200000步 512*512 大小的图片进行训练,适合生成1024*1024大小的图片,生成质量大大提高,非常受欢迎。

简单理解就是SD的每一个版本都比之前的版本 训练的步数更多,出图的质量更好。

那这么多版本,我应该下载哪个版本最合适呢?这里我推荐大家下载sd1.5和sdXL这两个版本,因为1.5版本生态最繁荣,sdXL 出图质量最好,画面表现高,但是占用显存略高,训练速度慢。

如果大家现在手里还没有这两个模型,可以看下方扫描免费获取模型文件

问题2:checkpoint、lora是什么意思?

梳理了stable diffusion各版本之后,接下来帮大家理解checkpoint和lora的含义和不同;

2.1什么是checkpoint?

Checkpoint是深度学习中常用的一个术语,用于描述在每次训练后保存模型参数(权重)的惯例。类似于游戏中保存关卡的功能,Checkpoint允许我们在训练过程中保存模型的状态,以便之后可以加载这些保存的参数并继续训练或进行推理。

简单理解的话,checkpoint就是在stable diffusion底模的基础上,再次训练得到特定风格的,更适合生成某种调性图片的模型。

所以我们可以在网上看到很多的checkpoint,这些都是在底模的基础上再次训练得到的。

每种checkpoint都可以在详情页中看到基础模型的版本,看下图:

这个大家要注意了。ControlNet 跟模型的版本是一一对应的,如果checkpoint的版本和ControlNet 模型版本不一致,就会报错,因为训练的图片尺寸不一样。

报错信息如下:

2.2:什么是lora?

lora(Localized Refinement of Attributes)不同于checkpoint,lora可以看成是在基础模型生成的图片上,加了一层“滤镜”,达到切换风格的效果。因此他的体积很小,只有几百MB,受到很多小伙伴的青睐,毕竟一般人没有那么大的算力和时间去训练一个checkpoint,但是训练一个lora只要几个小时,而且要的训练素材也很少,优势很大,非常吸引人。

我们可以把lora理解成英雄联盟中的皮肤,原始的皮肤是大模型,后续的皮肤就是lora,lora可以改变英雄的服装,姿态,但是主要框架是不变的。所以说lora技术是一种轻量化的模型微调训练方法。

我们可以在很多网站上下载不同风格的lora,有时候大家会遇到一个问题,就是lora出来的图片效果没有网站发布的案例好看,可能是因为没有选对底模的原因。

或者是没有输入触发词:

问题3:checkpoint和lora 的区别在哪里:

如果大家仔细看过上面的内容,不难理解两者的区别:

最后怎么在AI绘画工具ComfyUI中选lora,需要在“新建节点”下找到“加载器”,再找到“lora加载器”:

然后再lora节点中选择自己已经下载好的lora就可以啦

lora文件的存储位置在:models下的loras中

今天的分享到这里就结束了,通过这篇文章,希望大家能更好的理解sd各版本的差异和lora的使用,了解了这些基础知识之后,可以帮助大家更快地上手ComfyUI

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费