前排提示：此专栏转载至 B站@III天玥III 的天玥のAI绘画教程文档,已在QQ获得原作者授权。
原作者UID：450613731，
文章版本：23.1.22修订版
天玥のAI绘画
文生图
一、面板说明：
1. 正面描述：即“要画什么”，输入对应的关键词，即可生成对应的图片。描述越多，图片内容越精确。
2. 反面描述：即“不要画什么”，输入对应的关键词，可以屏蔽对应的内容生成
3. 图片尺寸：生成图片的尺寸大小，但要注意尺寸为64的倍数，最大尺寸为704*1024，过大会炸内核
4. 图像放大：图像超分，会往里添加像素，让图片更清晰（占内存更大）
5. 推理步数：
1）step对应的AI的推理步数，步数越高，越接近tag描述，画的内容也会被不断完善。同时在一定程度上会让图片变得清晰。当图片内容要素较多时，高步数会有不错的效果，如果内容比较单调，也许50步跟150步差不多
2）step并不是越高越好，基本上AI是每经过一段推理步数就会出现一次“重新排版”（与采样器有关），即画出与上一步完全不同的画。而过高可能会导致色彩失衡，出现“彩虹图”。（与采样器和模型有关）
3）调试步数可以清楚的知道AI“先画什么后画什么”，这也对应着AI的绘画重点分配。比如我70步的时候，人物有胳膊，我调回60步，整体没变但胳膊没了，这个时候就能确定：胳膊实在其他元素画完之后才画的。
6. CFG参数：cfg即AI对tag的聚焦。cfg越高，AI画的就会越接近tag，同时图像内容会更加清晰，但cfg过高会“只有tag”，出现古神；cfg越低，AI的自由度越高，画的内容也会更加随机，对应的图像也会出现一定的混乱，过低的cfg会让AI完全放飞（tag不显示）
7. 采样器：对tag描述的侧重点，不同的采样器可以突出tag的不同内容（比如强调人物、或者背景）
8. 生成数量：可以批量生图
9. 种子：每张图片都有对应的种子，种子随机生成，-1为随机
10. 括号格式：调整权重用的括号识别，小括号加权重，可以让AI在图像中强调对应词条
11. 描述上限：一个长度上限为77（似乎，我忘了），即AI可以识别的tag词条数量，默认为3，也就是210多
12. 模型名称：即绘图用的大模型（如anything3.0）
13. 保存路径：没啥说的，就是图片的保存位置
14. 风格权重：训练出的词条，包括人物、风格等（下面细说）。输入框里为权重文件的所在文件夹（点开就是权重文件），需要自己添加。权重文件通常有PD文件和PT文件，当前飞桨全部支持
二、优化说明：
1. 正面优化：
1）正面描述除了需要的对应描述外，还需要一定数量的优化词，如“masterpiece”等
2）正面优化可大体分为“人物优化”“背景优化”和“风格优化”
3）优化词往往成组出现，其中包含了画风
2. 反面优化：默认反面限制少，但往往无法满足一些图像的需求，所以就需要屏蔽大量的内容完成优化
三、权重应用说明：
1. 如何应用：飞桨的权重文件为pd，用法与pt一样，“导入，输入”
2. 人物权重与画风权重：
1）人物权重
人物权重的最大特点就是在训练的过程中，保留人物的外貌特征与衣着特征，同时对比于tag生成的人物，权重人物具有更高的稳定性与统一性。
2）画风权重
与其说是画风，倒不如说是主题背景与服饰特征的权重，这种权重会极大的改变图片的背景主题与人物的衣着。而与人物权重配套的画风权重，也有着稳定人物的作用，可以极大程度的防止人物崩坏或者被污染。
3. 无法复制的细节特征：当一个自制的人物被训练出来的时候，其图包中的某些细节特征会被进行优化处理，导致人物权重在应用时生成的人物，其某些特征很难用tag描述出来或者基本不可能。（有的时候群友会问我：这是怎么做到的。实际上我tag里没写，权重自己带的）
权重训练
一、面板说明
1. 学习率越低，需要的最大步数越大，成功率越高，最大训练步数一般要大于等于每张学习次数*图片数量。
2. 这里需要注意的就是喂给Ai的图，长宽比一定要为1：1，因为当前飞桨只支持512*512的训练，如果比例不对的话系统自动缩放，学出来的东西.....大概率古神奥。(更新之后啥情况不知道，但1:1总没错）
3. 最接近的词是你要训练的内容的“本质”，就一个简单的词，比如“星璇”本质上，就是girl
4. 飞桨训练出来的模型是PD模型而不是PT
二、图包说明
1. 确定自己要炼制的内容：关键词填写
2. 配制图包：确定你要训练的内容，选择内容明显且一致（构图、画风等）的图片组成图包（50张以上）
三、人物权重训练
1. 人物训练会在一定程度上包括人物自带的风格（如服饰、背景）
2. 训练图包中人物的构图、特征要一致，不然无法拟合
四、风格权重训练
1. 风格权重分为“背景风格”和“服饰风格”（可以二合一）
五、测试说明
首先是查看模型的“本体”，即不带任何正反tag，只输入模型，其余数值全为默认数值，多次生成图片后，不看美观与否，看内容元素，比如“ClockCat”本体具有的元素是：“猫、少女、钟的样子、法阵、画风”等，画风模型也一样，与训练用图的元素基本相同时，就可以初步判断：成了。第二步就是添加反面tag，查看优化后的本体元素，看图片是否有元素缺失（这个时候不是真丢失了，而是元素本身在其中权重较小，没有体现），然后加上未体现的元素，查看整体情况，然后是模型加权查看整体体现，效果仍然不错，就成功了一半。最后是改变人物外貌（瞳色、发色、姿势、、衣着），如果多次尝试后图没有崩或者崩的很少，基本上就可以说是成功了。
六、预览图的应用：
1. 预览图是AI在训练到对应步数时自动生成的四张样板图，也就是效果图。
2. 当预览图与训练图包基本一致的时候，就是拟合成功
3. 拟合成功后的权重，应用出来就是训练图包内的效果
4. 建议继续往后训练3000步，取中间的权重文件（稳定权重同时查看是否过拟合）
5. 如果出现了过拟合，就往前推500步查看拟合情况，直到出现适当拟合的同时也十分稳定
七、分步保存的应用
1. 建议从2500开始500一存
2. 分步保存的作用就是“试错”，在拟合不足与过拟合的权重文件中找到符合自己要求的权重文件
DreamBooth训练
一、面板说明
1. 需要训练的模型名称：
训练DB时需要的用的基础大模型（DB训练就是往里面塞你要的东西）
2. 实例（物体）图片文件夹
图包位置（路径）
3. 实例（物体）的提示词描述
需要生成内容的tag词条
4. 类别 class 图片文件夹地址
系统用于检验数据而自动生成的辅助训练的图包
5. 类别class提示词文本
学习内容提示词
6. 类别class提示词对应图片数
默认100不用动
7. 先验loss占比权重
默认1不用动
8. 是否将生成的同类图片
默认“开启”，也不用管
9. 最大训练步数
训练步数，根据学习内容不同，拟合步数也不同，过高会过拟合
10. 模型保存步数
分步保存，记录“训练过程”，方便选择“恰好拟合”的DB模型
11. 是否一同训练文本编码器
即在训练DB的时候同时训练对应权重
12. 图片长宽
仍然默认512*512，不调整（调大会崩）
13. 学习率
不用动
14. 学习率调度策略
不用动
15. 线性 warmup 的步数
不用动
16. 自动裁剪图片时将人像居中
默认“开启”，自动裁剪人物，十分的人性化奥（终于不用自己裁剪了）
17. 输出目录
DB文件夹保存位置（似乎只能在第一子文件夹里）
二、训练过程
一开始在没有class图片或class图片不足时会先自动生成class图片，之后再进行对应的训练。
DB训练没用预览图，需要最后在文生图中进行检验
DB训练结果为“模型”而非“权重”
三、检验效果
更改模型，输入对应关键词，如果结果有些许“扭曲”，添加适当优化词（参考权重测试）
