基于可解释人工智能的面部印象预测模型：可视化、语言摘要与定量交叉验证的整合方法

《Scientific Reports》：Predicting facial impressions using guided Grad-CAM and a large language model

　　

摘要

面部印象在社会交往中至关重要，影响着人们对吸引力、支配性和可信度的判断。尽管心理物理学研究已识别出影响这些印象的因素，但计算方法——尤其是深度学习——提供了一种互补的、数据驱动的方式来识别与印象相关的面部线索。我们训练了一个视觉几何组19层（VGG19）回归模型，用于从面部图像预测印象评分，并利用可解释人工智能方法解读其预测结果。我们生成了Grad-CAM和Guided Grad-CAM可视化图，以在粗粒度和细粒度水平上识别决策相关的面部区域。我们使用大语言模型生成结构化的、可复现的语言摘要来描述Guided Grad-CAM的输出，并通过独立的粗粒度感兴趣区域（ROI）分析对热图激活在眼睛、鼻子、嘴巴及面部其余区域的分布进行定量交叉验证。结果表明存在与印象类型相关的激活模式：吸引力在面部中央区域呈现分散的关注，支配性则表现为均衡的贡献和稳定的上脸部线索，可信度则以嘴部和眼部相关的强激活为特征。基于语言的摘要与ROI级别的分布反复一致，支持其作为显著激活模式约束性描述的使用。本研究展示了一种实际工作流程，整合了可视化、结构化语言输出和定量交叉验证，以提升面部印象预测模型的可解释性。