《Frontiers in Artificial Intelligence》：AOViT: an adaptive optimized vision transformer model for the classification of heritage paintings
编辑推荐：
绘画艺术风格的自动分类是数字艺术史与计算美学领域的一项基础任务。多年来，解决这一图像识别问题的主流范式一直依赖卷积神经网络（CNN），包括VGG16、VGG19、Inception、EfficientNet和ResNet等架构，这些网络对局部特征提取的归纳偏置
绘画艺术风格的自动分类是数字艺术史与计算美学领域的一项基础任务。多年来，解决这一图像识别问题的主流范式一直依赖卷积神经网络（CNN），包括VGG16、VGG19、Inception、EfficientNet和ResNet等架构，这些网络对局部特征提取的归纳偏置带来了强劲的性能表现。然而，这种对局部处理的依赖可能限制模型捕捉全局风格线索的能力，例如构图、笔触模式和整体纹理——这些往往是区分不同艺术流派的关键因素。为解决这一局限，本研究提出了AOViT，一种基于视觉Transformer（ViT）的模型，专门针对艺术风格分类进行定制。通过利用ViT架构的自注意力机制，所提出的模型能够捕获长距离依赖关系和全局上下文信息。在波斯细密画数据集上的实验评估显示，在五折交叉验证下平均准确率达到93.85%。此外，结果表明AOViT为基于CNN的艺术风格分类模型提供了一种有竞争力的替代方案，尤其是在有限数据条件下结合适当的训练策略时表现尤为突出。
研究背景与研究动机
绘画艺术风格分类是数字艺术史与计算美学领域的核心任务之一。艺术风格涵盖了一个艺术流派共有的技法、理念与视觉语汇，如印象派、立体主义或巴洛克风格。长期以来，卷积神经网络（CNN）凭借其对边缘、纹理和形状等局部特征的强大提取能力，成为该领域的主导方法。然而，CNN本质上以局部渐进的方式处理信息，这种架构偏向性使其难以有效捕捉定义艺术风格所需的非局部乃至抽象关系。例如，巴洛克作品的动态构图、印象派广阔融合的天空或立体主义碎片化的几何形态，都需要模型从整体出发整合全图信息。尽管CNN取得了成功，但在处理有限且类别不均衡的数据集时，兼顾局部细节与全局风格模式仍是一项严峻挑战。
近年来，视觉Transformer（ViT）架构的出现为图像处理提供了全新范式。ViT将图像视为一系列图块序列，并通过自注意力机制同时捕获所有图块之间的全局依赖关系，无论它们在空间上相距多远。这种全局上下文整合能力使ViT特别适合艺术风格识别中的宏观尺度分析。然而，ViT的有效性高度依赖于大规模训练数据集，这在历史与文化遗产绘画领域构成了显著障碍——由于艺术品的固定性和不可复制性，此类数据集通常规模较小。为此，研究人员提出了AOViT模型，旨在通过任务适配的ViT框架解决上述问题。
研究方法与技术路线
研究人员开发了AOViT框架，其核心技术方法包括：（1）采用轻量级ViT-Tiny/16作为骨干网络，将224×224像素输入图像划分为16×16的非重叠图块，生成196个图块序列；（2）利用预训练权重进行端到端微调的迁移学习策略，以适应波斯细密画的特定特征；（3）应用数据增强技术（水平翻转、旋转±15°、剪切10°、亮度/对比度/饱和度调整0.1）扩大训练样本多样性；（4）采用AdamW优化器解耦权重衰减与梯度更新，并结合余弦退火学习率调度器动态调整学习率；（5）使用Grad-CAM可解释人工智能（XAI）技术生成热力图，可视化影响模型预测的关键图像区域。研究使用了Shahi等人提供的波斯细密画数据集，包含890张分属五个历史流派的图像。
研究结果
5.1 统计分析与结果稳定性
鉴于数据集规模相对有限，研究人员采用五折交叉验证进行主评估。AOViT在五折上取得了平均准确率0.9385±0.0079、精确率0.9394±0.0084、召回率0.9385±0.0079和F1分数0.9384±0.0083。基于t分布计算的近似95%置信区间分别为：准确率0.9287–0.9483，精确率0.9290–0.9498，召回率0.9287–0.9483，F1分数0.9281–0.9487，表明模型性能具有较好的统计稳定性。
5.2 消融实验
研究人员通过逐步移除训练组件进行消融研究。完整配置（含数据增强、AdamW优化器和余弦退火调度器）的准确率为93.97%。单独移除数据增强后准确率降至88.76%，单独移除AdamW（改用标准Adam）后降至89.89%，单独移除余弦退火调度器（改用固定学习率）后降至90.45%。同时移除多个组件导致性能进一步下降，证实了各组件对模型性能的贡献。
5.3 对比评估
在与多种CNN架构（VGG16、VGG19、Inception-v3、EfficientNet-B0、ResNet50）和混合ViT模型（ViT-Tiny/16、ViT-Small/16、ViT-Base/16、CaiT-XS/24、CaiT-S/24、PiT-Ti/16、PiT-XS/16、TNT-S/14、CrossViT-T/16）的对比中，AOViT以93.86%的平均准确率领先。CNN模型中EfficientNet-B0表现最佳（92.47%），混合ViT模型中ViT-Tiny/16达到93.49%。AOViT相比次优模型提升了约0.37个百分点。
5.4 模型可解释性分析
Grad-CAM热力图显示，AOViT的决策依据聚焦于图像中具有风格判别力的区域，如人物面部细节、服饰纹样和装饰性边框，而非背景或空白区域。插入和删除曲线下的面积（AUC）指标进一步量化了归因图的忠实度，其中插入AUC高于删除AUC，表明模型关注的特征区域确实对其分类决策起到了正向作用。
总结与结论
研究结果表明，AOViT作为一种基于ViT的轻量级框架，在有限数据条件下的艺术风格分类任务中展现出优于传统CNN和多数混合架构的性能。通过整合迁移学习、数据增强、AdamW优化和余弦退火调度，模型有效缓解了小样本场景下的过拟合风险，并充分利用了自注意力机制对全局风格线索的捕获能力。研究的主要贡献在于：(1) 提出了一种针对有限数据条件下艺术风格分类的任务特定ViT适配方案；(2) 构建了一套结构化的训练流程，整合了迁移学习、数据增强、AdamW优化和学习率调度以提高泛化能力。研究的局限性包括：未探索更先进的注意力变体、未系统评估不同预训练数据集的影响、未测试模型在其他绘画数据集上的跨域泛化能力。未来研究方向可包括：集成更高效的注意力机制（如线性注意力）、扩展至多模态分类任务、以及在更大规模的多流派数据集上进行验证。
