
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于多特征融合与自监督学习的肖像素描美学评估新框架
【字体: 大 中 小 】 时间:2025年06月19日 来源:Expert Systems with Applications 7.5
编辑推荐:
针对素描肖像自动化美学评估(IAA)领域的数据匮乏与特征提取难题,研究团队构建了首个大规模素描肖像数据集SHPD(14,084张图像),并提出SPAAN网络。该框架通过自监督学习捕捉轮廓线与明度特征,结合全局构图线索,采用通道注意力机制实现多特征优化融合,在SHPD上超越主流美学评估方法,为艺术图像美学评估(AIAA)开辟新方向。
素描艺术作为美术教育的核心形式,其评估长期依赖人工判分,尤其在艺术类考试中面临效率与标准化的双重挑战。尽管计算机视觉在图像美学评估(Image Aesthetic Assessment, IAA)领域取得进展,但素描作品的独特属性——依赖线条表达、明度(value scale)过渡而非色彩纹理——使得传统基于摄影图像的方法失效。现有研究受限于数百张样本的小规模数据集,且无法区分轮廓线(contour lines)与明度等异构特征,更缺乏专业评分标准对齐的融合策略。
为解决这一瓶颈,研究人员构建了包含14,084张素描肖像的SHPD数据集(含1,339张专家评分样本),并开发了素描美学评估网络SPAAN。该框架创新性地采用三流特征架构:通用特征网络捕捉全局构图,两个自监督分支通过美学质量降级预处理任务分别学习轮廓线与明度特征。通过通道注意力机制与多层感知机(MLP)加权算法,SPAAN实现了对艺术考试多维评分标准的模拟。实验表明其在SHPD上显著优于AVA、AADB等数据集训练的通用美学模型,激活热图能准确定位面部平面等关键区域。这项发表于《Expert Systems with Applications》的工作,首次系统建立了素描美学评估的基准体系。
关键技术包括:1) 构建专业教学与考试作品组成的SHPD数据集;2) 设计自监督美学降级任务提取素描特异性特征;3) 开发轻量级多特征优化融合模块(Multi-feature Optimization and Fusion Module)实现特征动态加权;4) 采用无需ImageNet预训练的自监督范式适应稀疏线条图像。
【Method】章节显示,SPAAN通过三个并行分支提取特征:通用分支采用ResNet-18基础架构,两个自监督分支分别处理高斯模糊降级图像(捕获明度特征)和边缘检测图像(强化轮廓线)。融合模块通过通道注意力重加权后,采用MLP生成最终评分。
【Experiments】部分验证了模型优势:在SHPD测试集上,SPAAN的SRCC(斯皮尔曼等级相关系数)达到0.812,优于最佳基线模型0.763。消融实验证实自监督分支贡献率达37%,且融合模块使参数效率提升2.1倍。
【Limitations】指出当前SHPD仅涵盖肖像素描,未包含静物等考试练习题材,限制模型泛化性。未来计划扩展数据集并探索跨媒介美学迁移。
结论强调,SPAAN首次实现素描评估从人工到算法的范式转变,其自监督多特征融合策略为艺术图像美学评估(Artistic Image Aesthetic Assessment, AIAA)提供了新方法论。数据集与代码已在Gitee开源,推动该领域研究标准化进程。
生物通微信公众号
知名企业招聘