基于艺术构思理论的生成对抗网络框架，用于生成中国文人画

《Scientific Reports》：Generative adversarial network framework for Chinese literati painting generation driven by artistic conception theory

　　

摘要

中国文人画之所以难以通过计算方法进行处理，原因很简单却难以通过模型来模拟：其美学价值更多体现在艺术构思上，而非所描绘的对象本身。本文针对这一问题中的一个具体方面展开研究，即合成绘画背景场景，并将其与其余三个要素（“四美”）进行协调。我们的系统将生成对抗网络（GAN）与经典美学理论相结合。生成器仅负责生成背景场景，而后续流程则负责整合完整的“四美”构图；在整篇文章中，我们始终将这两个角色区分开来，以避免将背景合成误解为整幅画的生成过程。这种基于艺术构思的GAN将“空与实”的辩证关系、空间节奏以及氛围情感转化为明确的计算约束条件。随后，一个基于Transformer的跨模态模型通过知识引导的映射和注意力机制将诗歌、书法、绘画以及印章篆刻联系起来；此外，辅助子系统提供分层的决策支持，同时将创作权限留给艺术家本人。我们在包含12,486幅文人画背景的精选数据集上对模型进行了训练和评估，并与六个基准模型进行了对比，其中包括Stable Diffusion v2.1和DALL-E 3。其中四个模型（标准GAN、CycleGAN、StyleGAN2以及我们自主研发的模型）是在相同的训练条件下训练的，因此可以用于进行对照研究；另外两个基于扩散算法的基准模型在规模、训练数据和使用途径上存在差异，因此我们将这些对比结果视为参考性分析，而非直接对抗性测试。经过十次独立实验（配对t检验并采用Bonferroni校正方法），Fréchet Inception Distance从41.5降至31.2，Inception Score从4.78升至5.34，且最大的差异体现在与特定领域相关的艺术构思评估指标上，而不仅仅是感知指标上。一项有42名参与者参与的用户研究显示，在九个可用性维度上该模型获得了积极的评价，尽管样本量较小且来自单一文化背景。因此，本文的贡献主要有两个方面：一是为在神经网络框架内形式化特定文化美学提供了途径，二是明确阐述了现有证据能够证实或无法证实的内容。