人工智能研究小组 OpenAI 创建了一个新版本的 DALL-E,可以根据用户的自然语言描述来生成图片。DALL-E 2 是初代系统的高分辨率和低延迟版本,除了根据用户描述生成图片之外,还引入了编辑现有图像等新功能。

与之前的 OpenAI 工作一样,该工具并没有直接向公众发布。但研究人员可以在网上注册预览该系统,OpenAI 希望以后能将其用于第三方应用程序中。

初代 DALL-E 是艺术家“Salvador Dalí”和机器人“WALL-E”的谐音,于 2021 年 1 月首次亮相。这是对人工智能视觉表现概念能力的一个有限但迷人的测试,从穿法兰绒衬衫的模特的平凡描述到"乌龟做的长颈鹿"或萝卜遛狗的插图。

使用“Teddy bears mixing sparkling chemicals as mad scientists, steampunk.”描述 DALL-E 2 生成的图像

。当时,OpenAI说它将继续在该系统的基础上发展,同时研究潜在的危险,如图像生成中的偏见或错误信息的产生。它正试图利用技术保障措施和新的内容政策来解决这些问题,同时也在减少其计算负荷,

DALL-E 2的新功能之一是绘画,在更细的层面上应用DALL-E的文本到图像的能力。用户可以从现有的图片开始,选择一个区域,并告诉模型来编辑它。例如,你可以把客厅墙上的一幅画挡住,然后用另一幅画代替,或者在咖啡桌上增加一个花瓶。

使用“Shiba Inu dog wearing a beret and black turtleneck”描述 DALL-E 2 生成的图像

模型可以填充(或删除)物体,同时考虑到细节,如房间里的阴影方向。另一个功能,变化,有点像一个图片搜索工具,用于搜索不存在的图片。用户可以上传一张起始图片,然后创建一系列与之相似的变化。他们还可以混合两张图片,生成具有两者元素的图片。生成的图片是1024 x 1,024像素,比原始模型提供的256 x 256像素有了飞跃。

使用“An existing image of a room with a flamingo added in one corner.”描述 DALL-E 2 生成的图像

DALL-E 2 建立在 CLIP(计算机视觉系统)的基础上。OpenAI 研究科学家 Prafulla Dhariwal 说:“DALL-E 1 只是从语言中提取了我们的 GPT-3 方法,并将其应用于制作图像:我们将图像压缩成一系列单词,我们只是学习预测接下来的内容”。

使用“a bowl of soup that looks like a monster, knitted out of wool.”描述 DALL-E 2 生成的图像

但是单词匹配并不一定能捕捉到人类认为最重要的品质,而且预测过程限制了图像的真实性。CLIP被设计用来观察图像,并以人类的方式总结它们的内容,OpenAI对这一过程进行了迭代,创造了"unCLIP"--一个从描述开始并向图像前进的倒置版本。

DALL-E 2使用一种叫做“diffusion”的过程生成图像,Dhariwal 将其描述为从“一袋点”(bag of dots)开始,然后用越来越多的细节填入一个图案。