采用辅助CLIP融合的层次化多模型集成方法，用于细粒度艺术风格识别

《Scientific Reports》：Hierarchical multi-model ensemble with auxiliary CLIP fusion for fine-grained art style recognition

　　

摘要

由于相邻的艺术风格往往在主题、色彩结构、笔触和历史演变方面存在共性，因此精细的艺术风格识别依然具有挑战性。本研究提出了一种受控的评估与融合框架，该框架结合了多种异构的视觉分类器、经过低权重微调的CLIP组件以及针对ArtBench-10任务的事后层次诊断机制。所提出的分层多模型集成系统（HMME-ACF）通过五种预训练于ImageNet的视觉模型进行验证后的概率平均处理，并将CLIP ViT-B/32作为次要辅助组件进行使用。实验使用了45,000张训练图像、5,000张验证图像和10,000张测试图像，遵循固定的实验协议。在该配置下，系统在10类任务中的top-1准确率为86.15%，Macro-F1值为85.93%，平衡准确率为86.15%。通过确定性的事后聚合方法，在family_3、family_4和family_5三个层次上，top-1准确率分别达到92.07%、89.76%和88.03%；而显式的层次化多任务损失机制虽然在粗粒度上仅带来了小幅提升，但略微降低了精细粒度下的准确率。辅助的CLIP组件将top-1准确率提高了0.43个百分点，尤其对那些最容易混淆的西方艺术风格对具有显著改善效果。准确性-效率分析表明，完整的84遍处理配置最适合离线分类任务；而五模型版本在不使用任务无关技术（TTA）的情况下，每张图像的处理时间仅为80毫秒，同时仍能保持84.27%的准确率。这些发现使得HMME-ACF更像是一个受控的集成与诊断框架，而非一种全新的层次化学习架构。