本周V3.4带来了像素绘制模式,这个功能基于
https://github.com/KaliYuga-ai/Pixel-Art-Diffusion 项目,实现像素风格的AI绘画,如下为我测试的像素风格图片:
▼
V3.4版本:2022-06-12
1、图片转3D支持时长和摄像机位移设置,原图尺寸输出视频,清晰度更高;
2、AI高清放大,实测6G显存1920×1080的图用x4模型放大4倍也不会超显存了,因为可以设置tile_size(拼图大小)参数;
3、加入目前挺火的像素PIXEL DD绘画模式,这个模型占用显存不大,小显存诸如6G能上1200×600,参数设置里提供两种绘图Diffusion模型引擎选择,原版DD和像素版DD;
4、参数设置界面记忆上次拉伸界面,不同分辨率显示器不用每次都拉伸界面了;
5、加入use_secondary_model这个选项,如果关闭此选项,DD将使用常规(大型)扩散模型,开启此选项则使用二级模型更快且显存占用小–一位用户报告渲染速度提高了50%!然而,二次模型要小得多,可能会降低图像质量和细节;
6、加入clamp_max参数设置,clamp_max设置clamp grad的上限,数值范围0-0.3。默认0.05在图像中提供更平滑、更柔和的着色,但设置更高的值(0.15-0.3)可以提供有趣的对比度和活力。
再来几张我用离线版跑常规模式DD5跑的图:
▼
01 软件概览
软件名字叫做:AI作画(基于Disco Diffusion 5.2)离线版V3.4,基于GitHub上的开源项目Disco Diffusion,目前仅支持静态图生成。
如下,软件主界面,还是以操作简单为主。
如下参数设置界面,静图生成的相关参数都囊括在内了,而且支持批量队列模式,多套参数批量跑。
02 软件体验
软件非常大,因为有很多离线模型,当然下载过2代的,这些模型可以复用哈。下载完成后,按照网盘里的word教程即可进行体验。
一、安装(
1、解压pic_disco.zip,生成pic_disco目录;
2、网盘里的models文件夹移动到pic_disco目录中;
3、然后进入软件目录pic_disco,双击打开DD5_V3.0.exe程序即可打开软件,软件界面如下所示:
▼
二、作图配置
主目录pic_disco文件夹的settings.json就是作图配置文件,当然3.0版本通过界面进行设置了。
1、描述词设定:描述词之前手动修改json文件经常有小伙伴少输入标点导致出错,界面化可以避免这个问题,如下默认的描述,每段(回车换行算一段)都是同一描述的不同权重关键词。
上面的描述对应的手动修改json如下,也就是界面化无需引号、逗号来分割同一描述的不同权重部分。
▼
2、帮助相关:对于大多数参数,都加入了帮助按钮,鼠标划到对应帮助图标,驻留即可显示参数含义,如下所示,当然大多数都是翻译的官方文档,加入自己的一点注解。
如果想要加入自己对参数的注释,可以修改软件目录下的tip.json,如下对应的描述修改即可,\n为换行。
3、参考图:参考图也人性化了,直接点击按钮选择图片即可,注意看参数旁边的问号,一般加入参考图时,skip_steps这个参数需要设置大一些。
4、AI作画引擎选择:参数设置里提供两种绘图Diffusion模型引擎选择,原版DD和像素版DD,如下图设置:
5、AI高清放大:设置不同的放大模型和图片放大倍数,高清放大图片输出目录为pic_disco\images_out\AI_ultra_HD,当输入的图片尺寸很大时,容易超显存,这时我们修改拼图大小这个参数即可,比如设置拼图大小512时,6G显存选择realesrgan_x4plus模型对1920*1080图片进行4倍放大测试不超显存。
6、AI绘画输出图片目录:pic_disco\images_out;
7、AI图片转3D输出视频目录:pic_disco\video;
8、过程图片:pic_disco\progress.png,每几个step(频率display_rate可配置)更新一次图片。
三、显卡要求
需要至少5GB显存,且必须是英伟达显卡,AMD不支持。
注:默认参数因为选了3个CLIP模型,如果想要尺寸更大,少选几个模型即可,但效果肯定有所影响,诸如6G独显的2060或者1060显卡,只选如下第一个模型,尺寸768×512都没问题:
四、常见错误
1、爆显存
下面这些都是图片设置过大导致的爆显存,或者5GB以下的显卡:
(1) Unable to find a valid cuDNN algorithm to run convolution
(2) CUDA out of memory
2、黑图
很多小伙伴生成的图一直是黑的,这种貌似是10代及以下显卡,目前发现的1660、1660s、1660ti都有问题,原因是中途生成NAN数据,解决方案正在寻找,但1060没有问题,看来问题都在16代显卡上。
03 小结
这个项目确实很有意思,唯一的问题就是对显卡要求高,最起码得英伟达5G以上独显,另外还有一些坑要填,诸如很多网友感兴趣的gobig、描述里添加艺术家、色彩等关键词库等,这个得慢慢来了,但后续版本肯定会有,感兴趣的可以体验一下3.4了,更详细的作图参数、教程多刷刷B站相关视频即可。
04 本期内容获取