目前比较火的模型,通过 Stable Diffusion模型 延伸出来的,有这么几个。

Chilloutmix 模型、NovelAI 模型、LORA 模型、ControlNet

Chilloutmix 模型
是具有里程碑意义的模型,也是AI绘画爆火的原因,基于Stable Difusion生成真人一样的 AI 照片,目前最火的模型。
模型地址: https://civitai.com/models/6424/chilloutmix

NovelAI 模型
NovelAI本来是个AI写文章的网站,今年用p站上的图训练了二次元专属的AI模型。相对于一些通用的AI绘画生成器来说,novelai在二次元图上更加的准确。但是这个novelai绘画工具从开始到现在就没大平过,刚火起来就被日本大量的画师抵制,然后一堆人用它来做涩图。到最近NovelAI的代码模型被泄露。

官网: https://novelai.net/
模型下载: https://huggingface.co/acheong08/secretAI/resolve/main/stableckpt/animefull-final-pruned/model.ckpt
快速下载: https://pan.quark.cn/s/20eb60aba6a7

安装教程:[二次元Ai] NovelAi 本地版详细安装教程! 二次元必备! 哗哗哩 bilibili
https://www.bilibili.com/video/BV19d4y1i7Hu/

LORA 模型
Low-Rank Adaptation of Large Lanquage Models 是微软研究员引入的一项新技术,主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型(例如 GPT-3)通常在为了适应其下游任务的微调中会呈现出巨大开销。 LoRA 建议冻结预训练模型的权重并在每个 Transformer 块中注入可训练层(秩-分解矩阵)。因为不需要为大多数模型权重计算梯度,所以大大减少了需要训练参数的数量并且降低了 GPU 的内存要求。

因为Stable Difusion 的全模型微调过去既缓慢又困难,而使用 LORA,在自定义数据集上微调模型要容易得多。

简单来说,lora模型为我们提供了更便捷更自由的微调模型,也就是滤镜,能够使我们在底膜的基础上,进一步指定整体风格、指定人脸等等,而且lora模型非常的小,大部分都只有几十MB,非常的方便!

教程
AI纸片老婆生成指南:https://www.notion.so/chengyichu/AI-d8318ae0d5964670a87572f16ae7b7d0

Kaggle: Lora模型使用教程
https://www.bilibili.com/video/BV1vD4y1J7Ba/

ControlNet
ControINet直译即是控制网,是一个基于 Stable Difusion 1.5 的轻型预训模型,在开发者张吕敏的2023年2月10日论文demo中,他解释说ControlNet通过输入条件来控制预先训练的大型扩散模型,能利用输入图片 (inputimage) 里的边缘特征、深度特征 或 人体姿势的骨架特征 (posture skeleton),配合文字 prompt,精确引导图像在 SD 1.5 里的生成结果。同日作者在GitHub公开源代码。2023年2月13日,支持该方法的WebUI插件上线。


刚刚讲的都是Stable Diffusion 模型,以及它延展出来的模型,除此之外,还有很多模型,比如GAN模型,就不一一展开了。

大家可以到HuggingFace模型收藏网,去找到自己喜欢的模型。

地址: https://huggingface.co/