你是否遇到过自己AI画的图出现畸形的情况(下图)。近期,一款controlnet插件的上市,完美的解决了这个问题。

有了Controlnet我们就可以完成很多不可思议的绘图操作

今天,我们分享Controlnet的各项参数和使用方法。

如果,你的SD-wubui版本过低的话,则需要安装controlnet插件

首先,介绍controlnet菜单,最上【enable】代表启动该组建,不勾线意味着;【invert input color】是对涂抹区域颜色进行反转;【RGB2GBR】代表颜色反转;【low VRAM】低显存运行,显存低于4G的用户可以使用该模式;【guss mode】可以理解为随机模式,也可以理解为盲盒模式


点击preprocessor,也就是预处理器,从下拉列表中,可以选择不同类型的模型,每个模型的用途都不同。

model一栏选择与预处理器preprocessor一致的模型,否则出图的效果很难和预期一致。

参数设置一栏,【weight】代表controlnet插件的权重;【guidance】代表引导强度值;【resize mode】选择第二项即可,不会对图像进行拉伸;【canvas】画幅的宽高比,设置为何原图一致即可


Controlnet Preprocessor模型汇总



预处理名称

对应模型

模型描述

canny

control_canny

边缘检测

depth

control depth

深度检测

hed

control hed

边缘检测但保留更多细节,适合重新着色和风格化

mlsd

control_mlsd

线段识别,识别人物功能极差,非常适合建筑

normal_map

control normal

根据图片生成法线贴图,非常适合CG建模师。

openpose

control_openpose

提取人物骨骼姿势

openpose_hand

control openpose

提取人物+手部骨骼姿势

scribble

control_openpose

提取黑白稿

fake_scribble

control_scribble

涂鸦风格提取(很强大的模型)

segmentation

control_seg

语义分割

/div>

p data-track="103">

一 openpose模型

/p>

p data-track="110">openpose模型是最常用的模型之一,通过控制人物骨骼来控制图像中角色的姿势。开启该模型后,上传任意图像,系统会根据上传的图像人物姿势生成类似的图像

/p>

div>

/div>

p data-track="6">

二 canyou模型

/p>

p data-track="111">canyou模型生成线稿图,系统对线稿进行精准绘制。从本地上传一张图像,勾线enable启动按钮,点击生成图像,就可以生成线稿

/p>

div>

/div>

p data-track="7">有了线稿图,我们可以尝试随机模式,也就是guess mode,点击【生成】新的图像,系统就会在线稿的基础上随机生成新的图像。

/p>

div>

/div>

p data-track="8">

三 depth模型

/p>

p data-track="112">depth的主要功能是捕捉画面深度,获得前后景的关系。上传一张建筑物图像,点击预览,系统就会生成一张深度效果图,该系统可以较好的掌握图片中的复杂三维结构层次,然后重现画面结构,生成类似图像

/p>

div>

/div>

p data-track="9">

四 head模型

/p>

p data-track="113">head模型类似于canny,同样使用了边缘检测算法,不同的是head边缘检测更加【柔和】,大家可以对比两种模型生成的线稿图:

/p>

div>

/div>

p data-track="10">从生成的图像中可以看到head模型更注重细节的刻画,人物的皮肤、头发都非常的细腻,因此head模型更适合生成人像类作品

/p>

div>

/div>

p data-track="11">

五 mlsd模型

/p>

p data-track="114">该模型适合提取建筑边缘线段,适合设计师使用。首先上传一张室内装修图,然后使用mlsd提取线稿,在线稿的基础上生成新的图像,就可以生成结构风格类似的效果图

/p>

div>

/div>

p data-track="12">

六 normal模型

/p>

p data-track="115">normal模型更加适合3D制图,以发现贴图的方法提取3D物体的法线向量,并以法线为参考,绘制一张高度相似的图。例如,我们可以上传一张机器人图像,使用normal模型提取法线并生成新的图像

/p>

div>

/div>

p data-track="13">

七 scribble模型

/p>

p data-track="116">scribble模型,也叫涂鸦模型,提取曝光明显的区域,来引导生成类似的图像。

/p>

div>

/div>

p data-track="14">

实际应用:

/p>

p data-track="117">

应用一:

利用text2image生成特定姿势的图像。首先,选取一个基础模型(例如chilloutmix),分别输入prompt以及负面描述

/p>

div>

/div>

p data-track="15">然后根据需要设置采样方法,步数,宽高比,提示词相关性

/p>

div>

/div>

p data-track="16">微调模型可以选择比较热门的loRA、korean-doll-lik模型,并勾线enable开启

/p>

div>

/div>

p data-track="17">打开controlnet插件,上传一张需要参考的图像,点击enable启动,并选择

openpose,mode同样选择openpose。完成参数和宽高比的设置

/p>

div>

/div>

p data-track="18">点击【生成】系统就会根据提供的描述文字结合模型骨骼,生成对于的图像:

/p>

div>

/div>

p data-track="19">

应用二:利用image2image 改编原有人物的姿势

/p>

p data-track="118">进入Stable Diffusion,点击image2image图生图功能,上传一张成图,下拉并运用controlnet插件。点击enable,处理器选择openpose,mode选择对应的openpose模型,点击【生成】按钮,系统就会参考骨骼结构在原图上更换姿势,生成新的图像

/p>

div>

/div>

p data-track="20">

应用三:openpose Editor

/p>

p data-track="119">openpose Editor是一个非常使用的工具,也就是自定义人物姿势的编辑器,配合controlnet使用。进入

/p>

div>

/div>

p data-track="21">进入Stable Diffusion,在导航栏中选择扩展,【可用】-【加自载】按钮,从列表中找到openpose Editor,点击最右侧【intall】。

/p>

div>

/div>

p data-track="22">安装完成后,检查插件是否出现在已安装列表中。确认无误后,点击【应用并重启用户界面】。该插件就会出现在导航栏中

/p>

div>

/div>

p data-track="23">进入openpose Editor,点击关节原点,我们可以随意改变模型的原点,调整成自己喜欢的姿势。(点击【add】按钮,还可以添加多个人物模型)

/p>

div>

/div>

p data-track="24">此外,点击detect from image 按钮,上传一张图像,系统就会自动识别途中人物的姿势,并绘制出骨骼线条(下图),我们可以把生成的模型保存到本地,或者直接进行编辑。

/p>

div>

/div>

p data-track="25">上传一张多人图像,点击【生成骨骼】,点击image2image,预处理器选择none,mode选择openpose,系统就会为原图人物更换姿势

/p>

div>

/div>

p data-track="26">除了以上讲到的应用,controlnet的玩法还有很多,大家可以自行尝试。有想要了解的知识可以留言。以后文章会响应补充

/p>

div>

/div>