「羊驼打篮球」怎么画?有人花了13美元逼DALL·E 2亮出真本事

2022 年,DALL·E 算是火出圈了。

4 月初,OpenAI 的开创性模型 DALL·E 2 登场,为图像生成和处理领域树立了新的标杆。只需输入简短的文字 prompt,DALL·E 2 就可以生成全新的图像,这些图像以语义上十分合理的方式将不同且不相关的对象组合起来。

很多人都迫不及待地上手试试——博主 Joy Zhang 在 5 月初注册了候补名单,并在 7 月底获得了访问权限。在测试期间,用户会收到积分(第一个月免费 50 个积分,之后每月 15 个积分),每次使用需要 1 个积分,每次使用会产生 3-4 张图像。如果不够用,还可以花 15 美元购买 115 个积分。

你可能已经在网上看到过各种精心挑选的图片,展示了 DALL·E 2 的能力(提供了正确的创意 prompt)。

在一篇博客中,她分享了一些演示,以说明如何从头开始为主题创建一个可用的图像:「一只大羊驼打篮球」。

起点

给 DALL·E 2 喂 prompt 是一门学问。首先,下图是「大羊驼打篮球」的生成结果:

为什么 DALL·E 2 倾向于为这个 prompt 生成卡通图像?她认为这与训练期间模型没怎么见过大羊驼打篮球真实图像有关。

她试图通过添加关键词「真实照片」更进一步:

这只大羊驼看起来更逼真,但整个图像开始看起来像是一个拙劣的 Photoshop 作品。在这种情况下,DALL·E 2 显然需要一些手工技巧来创造一个更逼真的场景。

Prompt 工程

在 DALL·E 的上下文中,prompt 工程是指设计 prompt 以提供你想要的结果的过程。

DALL·E 2 Prompt Book 是一个很好的资源,包含使用摄影和艺术关键词的 prompt 灵感的详细列表。

地址:https://dallery.gallery/the-dalle-2-prompt-book/

为什么这样的事情是有必要的?因为从 DALL·E 2 获得可用的输出是不确定性的(尤其是当你不确定 DALL·E 2 的能力时)。以至于一家新的初创公司正在创建一个收费 1.99 美元的相关业务,以节省人们自己提出 prompt 的时间和金钱。

她个人最喜欢的发现是「戏剧背光」,下图的 prompt 是:

「Film still of a llama dunking a basketball, low angle, extreme long shot, indoors, dramatic backlighting.」

告诉 DALL·E 2 你想要什么很重要。显然,从上下文来看,这只大羊驼的着装并不适合这种场合。然而,当指定「穿着运动衫的大羊驼」时,DALL·E 2 很好地实现了这个场景:

不止于此,为了给图像添加一些戏剧性并真正让这只大羊驼飞起来,她需要指定诸如「扣篮」、「动作镜头 」之类的短语,或者她个人最喜欢的「穿着球衣的大羊驼像迈克尔乔丹一样扣篮」:

你可能已经注意到:DALL·E 2 的构图并不出色。

你会认为,从「扣篮」的上下文来看,大羊驼、球和篮筐的相对位置应该是显而易见的。通常情况下,大羊驼的扣篮方式是错误,或者球的位置使大羊驼没有按照真正想要的方式投篮。尽管 prompt 的所有元素都在那里,但 DALL·E 2 并没有真正理解它们之间的关系。

DALL·E 2 没有真正「理解」场景的另一个特征是偶尔出现的纹理混淆。在下图中,篮网是由毛皮制成的(想想就觉得很诡异):

「羊驼打篮球」怎么画?有人花了13美元逼DALL·E 2亮出真本事

DALL·E 2 生成的面孔不够逼真

DALL·E 2 生成的面孔似乎没有那么逼真,有人认为,这是模型为了避免重现在训练中看到的面孔而故意为之,不然就可能遭遇之前 deepfake 遇到的问题。作者原本以为这仅适用于人类受试者,但显然,它也适用于大羊驼。

有些结果简直令人毛骨悚然:

DALL·E 2 的其他一些限制

以下是她遇到的其他一些问题:

角度和镜头总是被忽略

无论她使用了多少「远景」或「超远景」的说法,都很难找到整只大羊驼都能进入画面的图像。

在某些情况下,框架问题被完全忽略:

DALL·E 2 不会拼写

鉴于 DALL·E 2 很难理解各个成分之间的关系,不会拼写倒也不足为奇。然而,它还是能够在正确的上下文中尝试一些成形的字母:

DALL·E 2 可能会因复杂或措辞不当的 prompt 而喜怒无常

有时,以某些方式添加关键词会导致与预期完全不同的结果。

在这种情况下,prompt 的真正主题(穿着运动衫的大羊驼)被完全忽略了:

即使添加「蓬松」一词也会导致性能显着下降,并且在多个情况下看起来 DALL·E 2 只是…… 坏了:

在使用 DALL·E 2 时,重要的是要具体说明你想要什么,而不要过度填充或添加多余的词汇。

DALL·E 2 的风格转换能力令人印象深刻

你需要试试这个!

一旦有了关键词主题,你就能以令人印象深刻的其他艺术风格生成图像。比如「…… 的抽象画」:

蒸汽波:

数字艺术:

宫崎骏动画电影截图:

经过 100 多个积分的尝试(大概 13 美元)和反复试验,她的最终图像如下:

最终版的 prompt 是:「Film still of a llama in a jersey dunking a basketball like Michael Jordan, low angle, show from below, tilted frame, 35°, Dutch angle, extreme long shot, high detail, indoors, dramatic backlighting.」

图像并不完美,但 DALL·E 2 设法完成了大约 80% 的要求。

嗯…… 怎么不算成功呢?

参考链接:https://pub.towardsai.net/i-spent-15-in-dall-e-2-credits-creating-this-ai-image-and-heres-what-i-learned-52f352912025

原文:https://mp.weixin.qq.com/s/2uywI7CP8E6h1FDetfCceQ

- Posted in: AI

- Tags:

0 条评论 ,890 次阅读

发表评论

  1. 既然来了,说些什么?

Top