My Secret Rainbow

#12 设计大模型 – AI 设计工具进展与思路「下」

篇首语

在上一期的文章中，我们对已经发布进入内测的即时 AI 和 UIZard 和大家分享了一下当前 AI 在 UI界面设计方面的能力进展，同时也简单提了一下设计模型与设计系统与 AI 设计的关联。很多同学都表示出对「AI 设计工具进展与思路」下篇的期待，很抱歉，让大家久等了。

其实「AI 设计工具进展与思路」的下篇，内容早已经准备得差不多了，本想等着蓝湖 MasterGo AI 上线后测试完一起写。前两天 MasterGo 的同学告诉我它们可能还需要一点时间，看样子他们应该还想再憋点“大招”。那就还是放到后面再单独写评测吧。

在接下来的文章中，我们将详细探讨设计大型模型和设计系统师如何辅助 AI 进行界面设计，同时也通过一些案例来讲解一下在未来 AI 设计将会可能发生哪些变化。

 

未来的用户界面和设计，会发生变化吗？

在设计领域中，AI 技术为我们提供很多的可能性，比如通过文本描述来生成界面，又或者是直接 Design to code 将设计转化为代码。但当大家真正开始进入这个领域构建产品时才会真正感受到，想要把 AI 的设计能力提升到真正可用，还是比我们想象的都要难得多。

最近和 AI 设计领域的朋友一直保持着沟通，大家都在感叹随着产品的不断迭代，越发感受到我们在基础能力建设上的欠缺。产品的复杂度远高于大家的预期，想要真正取得阶段性的胜利，我们还有不少的路要走。

当某个领域需要坚持长期主义的时候，我们就不得不重新审视一下目标，判断一下它在长期来看是否真的具备价值。而对于 AI 生成界面设计这件事情，我们首先需要思考的就是在未来用户的交互场景是否会发生变化？而对于未来的企业而言，什么样的 AI 设计能力是大家愿意为之买单的呢。

在这个问题上，我们不能仅盯着 AI 设计，而是需要放眼到 AI 对互联网带来的影响来进行思考。这里有一个场景非常值得我们关注，那就是随着 AI 的发展，对话框将可能成为人机交互最为重要的手段之一。

用户可以用自己最为熟悉的方式表达需求，系统也可以联合上下文来进行更为连贯的反馈。而在整个对话过程中 AI 还可以进行一些复杂的推理和决策，从而真正的“千人千面”提供个性化服务。当然，这个变化不只会发生在 toC 端的场景，在 toB 端，在我们的日常工作场景中这个变化同样存在。

在未来，产品可能会以 LUI + GUI 的组合模式为与用户进行交互、提供服务。GPT 4.0 及其插件能力就给我们提供了一些示例，虽然它们都还比较初级，但它已经让我们看到了未来更多的可能性。

 

基于 LUI + GUI 的交互模式

在以往的产品设计中，我们大多都是通过 GUI 与用户进行交互。但随着 NPL 和语音识别技术的不断发展，为我们提供新的交互方式。伴随着 AI 技术的发展，用户使用产品的方式和体验也将发生很大的变化。

比如在微信中，我们可以让 AI 来根据要求来筛选酒店，帮助更快的进行决策。以前我们可能需要打开携程进入酒店板块，输入关键词搜索再进行筛选。有了 AI 未来我们可能就可以直接用文本来进行需求的描述，完成操作。

用户可以通过文本描述预订酒店的需求：

我明天去上海，想住在静安寺附近，2大1小，明天入住后天离开。预算800元以内每天，需要有浴缸、洗衣服务。

也可以通过 AI 来直接预定迪士尼门票：

再帮我定三张明天迪士尼的门票，两个大人一个小孩。

AI 预定酒店、门票 演示界面

再比如在钉钉中，我们可以在办公 IM 中让 AI 来帮我们设计并搭建一个活动管理界面，向商家收集信息并在后台进行报名信息的管理。

用户可以通过文本来描述需要收集的信息字段：

帮我生成一个 618 零食类目报名管理活动。商家需要提交商品名称、售价、618折扣、库存数量、商品主图。

AI 创建活动报名、管理 演示界面

其实这一类场景我们在前面的文章中聊零售通时就曾提到过。在当时我们受限于技术能力而只能让它停留在概念阶段，而如今随着 AI 的发展，我们完全可以借助 NLP 和 AI 的能力来实现。

零售通 AI 设计系统构想

类似的场景还有很多，搜索商品、点外卖、话费充值、车险报险…… 在将来有很大一部分的产品都可以按照一定的逻辑将功能进行“拆分”，通过 LUI 来与用户进行交互。

 

面向未来，我们希望 AI 具备哪些能力

在 AI 领域中，UI界面和绘画还是有很大不同的。绘画对艺术是为了表达信息、传递情感，甚至还会一些艺术表达。我们需要的是 AI 的学习能力和多元化表达来获得更多的创新性和创造力。

而在 UI 界面方面，我们的诉求是创造出直观、易用且符合用户需求、商业需求的产品界面。它更需要的是基础体验保障、行业最佳实践以及基于业务数据的最优方案。我们希望 AI 做的是给出我们专家经验以及提升生产的效率。

站在公司的的角度，设计只是业务生产中的一个环节，一个产品的诞生还需要产品、运营、研发等多个环节的协同。所以我们还需要将目光放到业务的产、设、研整个环节中来进行思考。

在这整个环节中，有四个方面是我们最为关注的：

•需求理解：通过 NLP 和机器学习，让AI 可以帮助我们理解需求同时将它们转译成设计需求；

•方案推荐：通过对大量设计案例和业务经验的学习，抽象出各种设计模式和最佳实践，并且根据当前的设计需求自动推荐适合的设计方案；

•界面生成：基于需求的描述结合业务数据和最佳实践自动生成设计稿；

•代码交付：将确认的设计方案通过 AI 转化为实际的工程代码，实现设计到开发的无缝衔接。

基于以上这四个方面，我们可以再回过头思考一下如果想要 AI 来顺利的完成这些工作，我们现在会面临着哪些挑战。

•需求理解：如何让 AI 能够准确的理解用户的需求描述。虽然如今 AI 在 NLP 方面有很多的进步，但对于一些复杂业务需求，特别是包含特定的行业术语或业务专属名词，AI 在理解的准确度上还是有些问题；

•方案推荐：想要在大量的设计方案中找到最优解对 AI 来说是一个很大的挑战。在没有对业务背景理解的前提下， AI 很难判断哪个方案才会是对于这个需求的最优解；

•界面生成：生成“飞机稿”和可交付业务使用的设计稿有着很大的差异，如何确保 AI 生成的界面能够正确的使用组件、Pattern 以及品牌格都是在界面生成过程中需要面临的非常细节但又非常重要的问题；

•代码交付：虽然当前 AI 的能力已经能够将设计稿转化为代码，但在生成的代码质量以及代码与设计稿之间的一致性，仍然有很多需要进一步优化的地方。

当所有的问题逐渐具象起来的时候，我们会发现想要 AI 在界面设计师上能够“靠谱”，除了 NLP 技术的进步，还强烈依赖于各类行业和设计专家经验的帮助，而这其实就是我们所说的设计大模型。但可惜的是，我们目前连成熟的预训练数据集都很少，就更别说已成型的设计大模型了。

 

UI 界面中的设计大模型

在上一期的文章里，我们对已经开始的内测 AI 界面设计工具进行了一次生成能力的测试。大家应该也已经发现无论是 UIZard 还是即时设计，在对用户需求的理解和界面生成的质量上结果目前都还不太理想。

按照做产品的逻辑来说，这些产品当前的核心链路基本都能跑通了，但在核心的能力上还需要插长期持续的打磨。对于当前的 AI 界面生成能力的评价还是那句话，大家目前已经具备了可能性，但在实际的可行性上还不太行。

即时设计 AI 与 UIZard AutoDesigner 生成界面示意

 

为什么现在的 AI 设计能力还不太行

我们既然讨论的是设计能力，那么我们不妨将 AI 当做一个真实的设计师来看待。看看对于这个刚刚入行的“新人”来说，它与那些经验丰富的资深设计师相比在能力上存在着哪些差距。

站在一个招聘面试官的角度来看，我们通常会核心关注候选人的项目经验，对特定行业的理解、设计抽象的能力以及对业务的理解能力几个方面。如果再将这些能力切换成 AI 的视角，我们就大致能够从以下这几个方面来聊聊 AI 的设计能力。

01. 训练数据集 – 项目经验
在 AI 的学习过程中，数据集是一个非常重要的基础。一旦进入到某个垂直领域，大家大多都会面临优质数据集的问题。优质的数据集首先需要建立在优质的数据上，其次它还会涉及到大量的手动工作，比如对设计元素、布局规则、用户行为、交互逻辑等一系列设计背后逻辑的的标注。

AI 能力的进化需要丰富的数据喂养，而就数据集训练本身，这里还会涉及一些版权相关的问题。想要获得大量的有价值的数据这本身就是一个难点，因此它多少会存在一些灰色地带的问题。所以大家可以发现，在市面上我们基本找不到专门针对界面设计的大型数据集。

既然没有现成可用的数据集，那唯一可行的方式就是基于网络上各类设计灵感库或是已存的业务设计稿来自己想办法了，UIZard 大概率就是属于这一类。虽然它现在生成的结果还不太理想，但他们对于产品能力的布局都有在，能力的进化更多还是一个时间的问题了。

其实这里还有一个大家都可能会忽略掉的地方，那就是长期为各大互联网公司承接设计需求的咨询公司和设计服务公司。相较于网络上的那些灵感库，它们手中的数据的含金量可高太多了。

越是规模大的公司，它们累积的数据越多，对于跨行业的属性以及对业务的理解也更好。这些常年累积的资产为它们在 AI 时代累计了非常宝贵的一笔财富。所以当那家设计服务公司来和我聊 AI 设计的时候我一点也不惊讶，搞不好它们会悄悄跑出点让大家眼前一亮的东西。

02. 行业经验 – 对行业的理解
我们日常做的绝大不符界面设计都是为了辅助公司达成商业上的某些目的，但设计本身又是一个相对主观的过程。想要尽可能的对设计和商业做平衡，就需要我们对所处的这个行业特性、用户喜好有更多的理解，这也一直都是设计团队能够真正服务好业务和用户最为重要的基础之一。

每个行业都有其特定的逻辑、标准以及用户行为模式，比如股票操作工具中，设计师需要考虑如何在有限的空间中尽可能的展示更全面的数据信息，让用户能够快速的执行买卖操作；又比如在电商类应用中，设计师需要尽可能通过流程和信息的引导让用户找到自己中意的商品，用最简洁快速的流程完成下单和支付。

这些对行业的理解和经验是 AI 很难通过自身学习所获得的，而且还是这么多不同行业的行业的规则和特性，同时这些内容还会伴随着时间的推移、技术的进步以及政策的变化等因素而发生变化。

03. 标准解决方案 – 设计抽象能力
虽然设计本身有很多基础的设计经验和法则，但将这些信息抽象并应用在 AI 中是一个很大的挑战，特别是在行业、技术都在不断进步的状态下。

如果我们将这个设计抽象能力再具象成某个行业或某一类流程，比如购物车设计模式、注册登录流程，你会发现在网络上我们很难找到这一类标准解决方案的相关信息（SaaS 类产品这个不能算）。

缺少这类标准解决方案的原因其实还是在于市场需求并不太多，大家都是在围绕着自己的业务来进行工作，这就导致不太会有人去或者平台会发起去做这一类的研究，而且行业也并没有需要有人帮助去定义标准。我们现在唯二能看得到的例子可能就是无障碍设计和 toB 端设计，比如 Ant Design、Fusion Design 这些。一个是因为在无障碍的理念以及一些政策上的诉求；另一个则是因为对效率的要求远超过对设计多元化的诉求。

那么在其他的一些领域，比如电商、物流、金融、医疗等领域我们需要有标准解决方案吗？我的答案是需要的。互联网发展至今它早已成为我们生活中不可或缺的一部分，产品的体验追求的是对商业诉求的最大辅助以，同时它也逐渐成为互联网为用户提供良好日常生活体验所应承担的社会责任。

AI 的出现其实给我了我们一个非常重复的理由和机会去着手于这件事情。如果 AI 设计具备了构建良好基础体验的能力，它将能让更多的产品和用户为之受益。统一各行业的基础体验标准，同时也帮助那些缺少设计资源投入的产品能够提升自己的产品体验。

04. 业务熟悉度 – 业务理解能力
设计不仅仅追求是体验和视觉表现，它还需要负责对业务的理解，以及如何将业务需求转为可实现的界面设计。一个设计师的专业技能再强，如果 Ta 对业务的理解能力较差，那么它所有的产出可能都是没有价值的。

业务理解不仅仅是对文档中每一句需求描述的理解，它同时还需要能够深入地理解业务环境、数据现状、商业目标以及用户特性等多个层次的信息。这些因素都将最终影响到我们设计方案的产出和设计决策。

这些工作对于设计师来本身就是一件很难的事情，就更别说是当前的 AI 能力了。它又将我们拉回到了前面讨论过的训练数据集。

如果我们无法让 AI 更多的理解业务层面的信息，AI 设计就只能处于一个半自动的状态。让 AI 来帮助我们根据业务需求和基础模型创建初步的界面流程和框架，后续具体业务细节还是需要设计师深度参与进来进行手动调整。

所以，就当前 AI 的能力而言，目前来看它的最大价值还是体现在提升设计交付的效率和对设计质量的基础保障上。通过自动化的流程来处理重复性和规模性的设计工作，减轻设计师的投入成本和不必要浪费，让大家能够留出更多时间放在对产品逻辑、留出的思考和对用户需求的关注上。

基于以上的这些分析，如果我们还是期望 AI 在提供基本体验保障和提高设计效率的同时，还能够更进一步成为一名业务设计专家，那么我们就有必要让 AI 开始能够更多的学习各行业和具体业务的相关知识，逐步建立起专属于设计领域的大模型。

 

行业设计模型 & 业务设计模型

构建针对具体行业和业务的设计模型对 AI 来说是非常重要的。行业设计模型可以帮助 AI 学会特定行业中的通用规则和设计经验，从而为那些在该行业内的产品提供更好的设计解决方案。而业务设计模型则可以让 AI 更深入地理解特定业务的需求背景，基于业务的数据现状、目标要求、用户特性等信息，来产出更符合业务诉求的设计方案。

例如下图右侧的这张搜索结果页（携程酒店预定）。如果 AI 只具备基础的设计能力，它大概率会生成一些看上去还挺像样的搜索结果页面，但这个设计方案离业务真正的需求还会有着相当大的差距。

如果这是一个设计评审会，AI 大概率会被骂得体无完肤。而这中间的所出现的问题就是对酒店行业的理解以及对携程业务背景的理解。而这些就是我想要说的行业标准 box 和业务标准模型。这有这三层能力同时存在且靠谱，AI 才有可能帮助我们生成右边那张我们真正需要的界面设计。

AI 设计模型与界面生成的关系

大家看到上面这张图是不是感觉有些熟悉？没错，它其实和我们在早期文章中介绍的设计系统三层级的逻辑是一样。换句话说，是在 UI 界面的 AI 设计方面我们其实又绕回到的了设计系统这个话题。

设计系统的三个层级

我们曾经聊到过，AI 天然就是设计系统最佳的“消费者”。特别是在 UI 界面中，它需要的生产效率，需要的是明确、可用的设计方案。它可以大到一个个具体的行业领域，也可以小到一个特定的场景，比如我们大家可能都曾有用到过的表单搭建工具 – Typeform。

有了 AI 能力的帮助，我们同样可以通过描述需求来完成表单的设计和搭建。比如我想创建一个表单来收集用对线下活动的满意度反馈。

我可以用下面这段文案来告诉 AI 我的需求。

收集用户对平台线下活动的满意度反馈

1.填写用户基础信息

2.多选选择参与过的活动（足球、篮球、乒乓球、游泳、飞盘、夜跑）

3.下拉选择用户所在地

4.选择参与活动的日期

5.给我们的活动进行满意度打分

6.上传一张最满意的活动照片

7.请用户留下收件地址，我们寄送一份小礼品

通过 Typeform AI 搭建调查问卷表单

如果仔细查看 Typeform AI 生成的表单，你就会发现它们其实在做一些对行业标准和设计模式的抽象，将一些常用的模块根据经验进行了封装。比如下图中的个人信息、地址、支付方式、满意度。这些模块中的字段和组件形式就是它们对于这个领域的经验沉淀，有了这些内容，无论是在语义的识别还是结果的生成上，AI 可靠性都会大幅的提升。

表单这个案例虽然比较小，但它同时也让我们发现了 AI 在界面设计中的关键点。那就是如何将更多的行业专家和设计专业的经验沉淀下来，并吸纳到模型中成为 AI 设计的核心能力。这种专家经验的沉淀的方式，不仅在表单这一类的案例中有所体现，也适用于其他许多专业领域的 AI 应用。

在电商的场景中，我们也可以将一些已经被验证并抽象沉淀的设计模式封装起来。比如从商品详情到购物车再到下单的购物核心链路，再比如某个功能界面从 Wed 到 Mobile 的响应规则。

可被封装的标准链路和设计规则

这种基于专家经验积累其实就是我们日常在设计系统中的工作，它同时也是AI 在界面设计领域能够得以发展最为重要的途径之一。这类基于专家经验的解决方案不仅能够有效支撑业务的发展，还可以根据行业的进步和消费者使用习惯的演变，不断进行完善和改进。不仅可以提高我们的设计效率，也可以确保设计的质量和基本体验标准。

在过去，设计系统最主要的用户是设计师和工程师。但有了 AI 的帮助后设计系统的价值也将获得进一步的提升。产品经理、运营人员以及其他非设计专业的人员也可以借助 AI 来创建出符合行业特性和业务需求的用户界面。

AI 设计、设计大模型这些概念听起来的确都挺好，但它需要大量的人力和资金的投入，那么谁会来做这件事情呢？

从目前的局面来看，当下正处于 AI 设计这个领域的软件厂商应该是。在建设 AI 设计基础能力的同时，同时也投入到行业级设计模型的建设中。因为它们不仅是 AI 设计真正能够成立的前提，也将是各厂商之间最为核心的竞争力，未来用户选择哪个产品很大程度上取决于谁的模型更优。

当下业内上并没有已经成型的设计模型，在这一块大家基本上都是从零起步，这也将是一个持续、漫长的过程。在完成 AI 的基础能力这第一轮的建设后，各厂商一定会加大资源开始投入到设计模型的工作中来。

至于业务级的设计模型，这个在目前要比行业级模型难得多。虽然它在业务生产质量及效率的提升具备极高的价值，但它的投入也并非普通公司能够承受的。而且它涉及到业务的规则和特性以及更为重要的数据安全问题，这方面还是得让大厂们先跑跑。

我相信在一定的时间内，设计大模型的发展还是会主要围绕着行业级进行。而在当下 AI 设计对于设计师而言更多最主要的定位还是辅助生产，由 AI 完成基础的生成再交由设计师进行进一步的调整。等到行业级设计模型成熟到一定阶段之后，同时 AI 领域的基础能力进一步完善，才有可能进入到业务级设计模型的阶段。

所以，在这一段时间对 AI 设计的研究后，我还是比较坚信之前对 UX 设计师未来发展的判断，产品型设计师 & 架构型设计师。而在 AI 设计越来越普及的将来，架构型设计师的价值会越来越为大家所看到，也将会被越来越多的人和企业所关注。

 

写在最后

虽然现在各类 AI 设计的工具发展迅猛，但拉长线来看独立平台还是将会被逐步地弱化。随着 NLP 能力的发展和普及，我们的工作方式可能会越来越“聚合”到统一的企业协同工具中，比如钉钉、飞书、企业微信，它们也很可能成为企业办公协同的超级入口。

在这样的背景下 AI 设计工具可能也将不再以独立软件的形态存在，而是以 API 的方式集成到这些协同工具中。用户可以直接通过语音或文本进行需求的描述，然后再由 AI 设计工具在后端完成设计的生成并返回给用户。

这样的形式也有很多的优点，它既可以省去了我们在不同工具之间来回切换的成本，还可以让我们的交付物在生产链路中流动得更加的自然和流畅，提升协同的效率和体验。

谢欣在前段时间飞书发布会上花了很大的篇幅去分析，为何让各个应用之间账号的互通和信息的互通，为何它们花了这么多的资源去做工作流。而这其实也正是我当初在做设计中台产品中遇到最大的问题之一。

设计是我们日常工作最为重要的环节，而对于整个业务生产流程而言，它可能只是其中非常小的一环。我们花了大量的时间、精力去解决设计环节中的流通问题，但其实各个环节间的信息顺畅、有效的流动才是我们面临的最大问题，而这些问题其实给我们日常的工作造成了大量的资源浪费。所以我一直认为有很多地方我们需要借助 AI 来提升效率，但事实上还有更多的地方我们需要解决的是消除浪费。

李开复说，AI 进入 2.0 时代，所有应用都会被重写一遍。有些人为此而感到很悲观，但我认为这并不是说我们现有的工具产品没有价值了，而其实是需要我们基于 AI 时代的到来去思考它们与新的场景、新的协同模式的融合。

对于我们设计师而言其实也一样，AI 时代的到来并不意味着我们现有的能力已经失去价值了，而是需要我们重新思考专业技能发展以及协同工作的模式。

风浪越大鱼越贵！所以，大家一起加油吧！💪🏻