My Secret Rainbow

AI重绘古籍经典之美《牡丹亭·惊梦》

浩瀚如烟的古籍经典是中华民族的珍贵文化遗产，承载着数千年的历史文化与智慧，在古籍数字化与内容创新呈现的进程中，AI 技术也在潜移默化地推动传统文化的传播。

阿里云中央媒体行业线携手阿里云设计中心制作的《游园惊梦》发布视频在首都图书馆古籍馆专家的专业指导下，以明万历刻朱氏玉海堂印本《牡丹亭》第十出 “惊梦” 章节为蓝本，借助阿里巴巴通义实验室全自研的通义万相，通过AI构建画面，再现杜丽娘与柳梦梅的爱情传奇，引领观众，穿越至充满诗意的古代园林，领略 “游园惊梦” 之美，成就一场跨越时空的艺术盛宴。

 

①如何将古文内容场景化

想要将古文段落场景化，难点之一就是如何把文言文转化成用于画面生成的提示词。设计师首先去到北京城市图书馆古籍文献馆现场对古籍进行了充分调研，了解《牡丹亭》背景故事，探讨发布主题。

在收集到古籍扫描图像资料后，通过通义千问将之文本化，再对古文内容进行翻译；并选择画面感强的段落进行脚本化的编辑；随后再根据视频脚本并结合专家提供的风格参考生成制作静帧画面，并通过通义万相进行图生视频，筛选最符合预期的视频素材进行合成剪辑与配乐工作， 并完成了最终的成品。

 

②AI创作过程解析

〇 剧本分析

为了挖掘古籍内容的历史背景与文化细节，设计团队通过通义千问调研历史文献内容、咨询相关领域的专家学者，力求全面了解《牡丹亭》所涉及的时代背景、建筑风格、人物关系等信息。通过这一过程，设计生成“绕地游”“乌夜啼”“皂罗袍”“山桃红“”4大场景，编制成包含场景环境、人物形象、动作以及氛围等关键要素场景分镜脚本。

〇 风格配色定义

根据首图古籍专家提供的参考图及古籍插画，设计师从中提取风格、配色、园林元素等信息，用于静帧画面的垫图和提示词参考。

①风格定义：中式园林风格与工笔版画融合，中式园林景观布局精巧，亭台楼阁、回廊、假山、水池、树木、盆栽等元素错落有致，建筑与自然景观和谐地融为一体。同时采用工笔版画，线条流畅工整，无论是建筑的雕花门窗、假山的纹理，还是植物的枝叶等细节，都需刻画精致。

②配色定义：整体色调以淡雅为主，背景底色为米色，宁静、古朴，同时搭配天青色、苍绿色、桃夭色、胭脂红、驼色等中国传统色，塑造出晚春时节缤纷烂漫的氛围。

〇场景环境设计

在设计场景时，设计团队依据女主角杜丽娘行动轨迹，将场景划分为室内、庭院、园林和梦境四大类。对于室内场景，以宋代闺房为蓝本，结合主仆对白，提炼出包括木质家具、香炉、铜镜、发簪等元素，全方位还原符合时代背景的室内空间。到了庭院场景中，依据晚春时节，设定繁茂花丛、摇曳柳枝、半隐亭台、凹凸山石与含苞牡丹，营造宋代庭院的典雅与生机。

园林场景里，蜿蜒游廊引导游览动线，通过盛开花卉与破败井垣的对比，强化杜丽娘孤寂心境，山石和远处亭榭则为入梦情节铺垫。梦境场景中，花园繁花似锦、柳枝轻摇，与现实园林形成对比，象征内心渴望与憧憬，柔和色彩与朦胧光影交织，书生持柳枝与杜丽娘相视，体现梦境浪漫与超脱。

〇 人物形象设计

在宋朝时代背景下，从设计上可通过服饰来定义人物形象与区别人物身份。

杜丽娘穿褙子、配罗裙、披帛缠臂、梳朝天髻簪花饰、穿弓鞋，装扮华丽精致，彰显大家闺秀身份，其常穿白、粉衣，搭配蓝色披帛，展现温婉柔美，粉色则在梦境中增添娇柔甜美；

丫鬟春香穿斜襟短袄、翠绿罗裙、梳双丫髻、着素布鞋，打扮简洁利落，绿色短袄显清新活泼，且其服饰材质普通、装饰简约，与杜丽娘服饰的上乘材质、精美装饰形成主仆差异；

柳梦梅着襕衫、戴幅巾、持柳枝，尽显书生儒雅文人气质。

 

③本片核心AI技术–通义万相

此次合作借助通义系列模型技术能力进行实现，目前，通义万相已发布文生图、图像编辑、文生视频、图生视频、视频编辑能力，同时支持分镜生成、手绘生图、局部重绘、短片创作、配乐生成等场景化能力。

 

④创作技术难点

〇 人物场景一致性

在将古文转化成剧本场景的过程中，设计师自身的审美标准和综合能力起到了重要的作用。首先设计师根据古籍相关的特征，在整体画风上参考了绢本设色的艺术风格。在确立了基本的视觉方向后，进一步提炼古文中对角色形象的描述与客户的意向输入，并结合宋代场景元素及服装制式的调研，转化为AI可理解的语言，生成符合设定框架的图像。筛选后，通过多图输入和局部重绘，进一步优化人物形象，提供精确提示词以统一服装配色、发型样式，确保服饰、发型与角色身份及环境姿态相符。

在整体场景方面，设计团队通过对古籍原本和时代背景调研，还原故事发生的不同场景，并采用统一的色彩方案和环境设计，保持整体环境的一致性。设计师根据剧情发展的几个不同环节，将场景划分为庭院、园林和梦境等多个场景，通过人物与不同环境的互动，实现整体故事的串联。

〇 图生视频可控性

设计团队基于通义万相自研的ACE视觉编辑框架，能通过指令或指定任务实现局部/全图风格化、局部重绘等操作，解决了 AI 素材缺宋代服饰训练数据导致的角色服装还原问题，还通过搭配 IC – LoRA 与局部重绘保证多人物场景和 IP 的一致性。

同时借助通义万相的图生视频及首尾帧生成技术，攻克图生视频效果把控难的问题，流畅呈现片头古籍翻阅等复杂动作，精准还原人物动作。同时利用“视频编辑”功能，可对输入视频进行多维度精细可控编辑，如智能生成人物动态、景深构图，还能进行局部细节编辑、画幅拓展及内容续写等，各功能协同助力静帧创意转为精彩视频。

〇画面过渡、氛围后期 

在将静帧转换为视频的过程中，设计师面临诸多挑战。面对不同场景切换的复杂性及镜头衔接的元素匹配问题，团队通过运用常见视频过渡效果，如淡入淡出、溶解、擦除等，平滑场景切换，减少视觉突兀。在氛围营造上，借鉴传统影视镜头语言，利用近景、中景、远景模拟镜头运动，实现自然衔接。

依托通义万相自研的 ACE 视觉编辑框架，设计团队在仅 9 天的制作周期内，完成短片制作。

 

 

⑤本作品已在古籍官网等平台正式发布

2025年1月10日，《牡丹亭・惊梦》AIGC 短片正式上线。短片首发于国家古籍保护中心组织召开的第十次古籍数字资源联合发布会，在首都图书馆古籍数字资源发布平台亮相。

首都图书馆古籍数字资源发布平台 ：

http://szlib.clcn.net.cn/

首都图书馆公众号：

https://mp.weixin.qq.com/s/mFe0bKlkEcmA7sbNv2hR0Q

此外，短片还在微博、哔哩哔哩、抖音、小红书等热门社交平台同步发布，多渠道触达广大观众，让经典古籍以创新形式走进大众视野。

小红书：

https://www.xiaohongshu.com/discovery/item/67887bf80000000019006b65?source=webshare&xhsshare=pc_web&xsec_token=GBKy2xUCqnhVgm3RtFf0xwN5sDo7K5_o3ZJDi_ZW4Y2_g=&xsec_source=pc_share

bilibili：

https://www.bilibili.com/video/BV1bwwgegEya/

微博：

https://weibo.com/7887368351/P9xO45y3O

抖音：

https://v.douyin.com/ifRhmJ11/

经过这次让古籍 “活” 起来的首次积极尝试，通义万相让《牡丹亭·惊梦》画面跃然纸上，生动再现经典场景。期待未来在古籍文化传播上可以有更多与AI的融合形式，为读者带来新奇的经典文化体验。

原文：
https://mp.weixin.qq.com/s/71ZmX79ubt9SE_UhVinB-Q