《Scientific Reports》：Explainable cross-modal face photo-sketch similarity with region-wise attribution and multi-extractor fusion
编辑推荐：
跨模态人脸相似性分析因模态差异显著以及现有识别模型可解释性有限而仍具挑战性。尽管近期的异质人脸识别方法提升了相似性估计精度，但其对哪些面部区域主导相似性判断以及这些线索如何随模态变化所提供的洞察十分有限。为弥补这一局限，研究人员提出了一种可解释性驱动的框架，该
跨模态人脸相似性分析因模态差异显著以及现有识别模型可解释性有限而仍具挑战性。尽管近期的异质人脸识别方法提升了相似性估计精度，但其对哪些面部区域主导相似性判断以及这些线索如何随模态变化所提供的洞察十分有限。为弥补这一局限，研究人员提出了一种可解释性驱动的框架，该框架将多提取器特征聚合与区域归因相结合。研究人员还提出了区域一致性相似度（Regional Consistency Similarity，RCS）表述，该表述汇总了由结构化空间扰动与区域级聚合所得到的局部归因模式。多个互补的特征提取器被联合使用，以降低模型特定偏差并在模态变化下提供稳定的相似性估计，同时一个可选的的自然语言解释模块将区域级模式转换为用户友好的描述。在四个照片-素描数据集（CUFS、CUFSF、Toonify-CUFSF和WildSketch）上的实验表明，所提出的框架在多样的素描风格与抽象水平下产生了稳定且空间连贯的区域归因图。多提取器配置并非追求识别准确率增益，而是以可解释性为导向并保持识别性能：其验证性能与最强的单一提取器相当，同时增强了区域一致性信号并揭示出与身份相关的区域。
研究背景方面，风格化与素描化的人脸表征在数字媒体应用中日益普遍，照片到素描或角色风格转换被广泛用于生成风格化头像与个性化肖像，同时素描表征在人脸检索、身份验证以及素描与真实人脸之间的风格一致匹配等跨模态分析任务中具有重要作用，因此评估风格化图像与真实照片之间人脸相似性的能力愈发重要。现有异质人脸识别（HFR）研究形成了两条主要方法路径：一是模态转换，即由照片合成素描并借助经典子空间学习或深度生成翻译模型实现素描与照片模态间的双向转换；二是表征学习，即利用手工描述子或深度耦合映射构建共享或模态不变的嵌入空间。这些方法虽显著提升了识别准确率，但对跨域两幅人脸为何被判为相似或不相似仍缺乏解释能力。与此同时，人脸识别中的可解释性研究已引入基于归因的解释、显著性可视化、模型内部分析以及近期的自然语言理由，但这些技术几乎仅面向照片-照片识别，其在涉及素描或风格化人脸的跨模态场景中的应用仍基本未被探索，哪些面部区域对相似性估计贡献最大、不同特征提取器在区域敏感性上如何分化仍不清楚。基于此，研究人员提出了一种可解释性驱动的跨模态人脸相似性框架，将区域归因与多提取器推理相结合，其核心思想是联合多个互补特征提取器与区域归因机制，在捕捉多样模态特性的同时量化其局部贡献，并通过估计相似性得分的区域一致性，为照片-素描相似性模型的决策过程提供结构化洞察。该框架与主干网络无关，区域归因与RCS流程可运行于任何产生嵌入的特征提取器之上。研究的意义在于：不仅增强可解释性，还揭示出此前工作未涉及的特征提取器相关的区域模式，并在多个照片-素描数据集上证明该框架可产生稳定的归因行为、一致的区域敏感性模式以及对跨域身份比较具有实用价值的区域级分析。
在关键技术方法上，研究人员采用基于68个面部关键点的人脸对齐预处理，将图像统一为224×224 RGB格式并归一化至[?1,1]；使用VGGFace、ArcFace（iResNet100主干）与方向梯度直方图（HOG）三种互补特征提取器提取嵌入，CNN模型以三元组损失（triplet loss）微调；采用20×20网格遮挡扰动素描模态并计算嵌入距离变化；按眉、眉间、眼、鼻、唇、下巴六个固定语义区域聚合扰动响应，构建提取器特定的正样本参考向量并计算余弦一致性得分，平均得到RCS指标；另构建由大语言模型（LLM）驱动的自然语言解释接口。样本来源包括CUFS（仅CUHK子集188对）、CUFSF、新构建的Toonify-CUFSF以及WildSketch（396个训练样本，测试固定取200个样本子集）。
研究结果方面，在“Experiment 1: baseline recognition performance across feature extractors”中，通过四个数据集上的Top-1、Top-3、Top-5、Top-10识别准确率比较得出：基于CNN的模型大幅优于手工HOG描述子，VGGFace在四个数据集上取得最高平均Top-1准确率，ArcFace在CUFSF与WildSketch上Top-1最佳，HOG在较强模态偏移与风格化条件下性能明显下降；遮挡扰动图显示VGGFace倾向关注鼻部与眉间区域，ArcFace主要集中于眼部，HOG沿面部轮廓与发际边界呈更弥散激活，在Toonify-CUFSF上ArcFace因眼睛被夸张放大而在眼部区域响应饱和。在“Experiment 2: effect of region-wise perturbation strategies on similarity distributions”中，通过比较网格级、关键点级与区域级三种扰动策略下正负样本余弦相似度分布的重叠率（OVL）与ROC曲线下面积（AUC）得出：区域级扰动总体上改善了真实与冒名配对的可分性，在CUFSF上取得最低平均重叠率（0.535）与最高平均AUC（0.698），在CUFS上取得最小平均重叠率（0.589），在WildSketch上虽非单一最优但两项指标仍具竞争力（0.373与0.813）；网格级策略重叠率普遍偏高，关键点级策略对HOG出现重叠率1.000的完全不可分，支持了固定区域划分的可复现性设计。在“Experiment 3: analysis of multi-extractor fusion for cross-modal recognition”中，通过比较单提取器与特征级简单集成（嵌入?2归一化后平均）的重叠率、AUC与敏感度指数d′得出：集成配置取得最高AUC与d′，在CUFS上AUC为0.920（VGGFace为0.918）、d′为2.023（VGGFace为1.489），在CUFSF上AUC为0.851（VGGFace为0.803）、d′为1.472（VGGFace为1.094）；WildSketch上d′与AUC、OVL不一致，应以AUC与OVL为更稳定依据；总体表明多提取器融合保持基线级识别性能并改善部分验证导向指标，其主要作用仍在于可解释性。在“Experiment 4: explainable photo-sketch similarity interface”中，通过实现整合集成相似度与RCS、各提取器归一化相似度、遮挡热图与LLM文本摘要的原型界面得出：高支持与低支持案例可按三档决策支持规则呈现，中间带案例转交人工复核；对50对真实与50对冒名WildSketch样本在温度1.0下各重复生成十次解释并以text-embedding-3-small嵌入比较，逐对平均两两余弦相似度为0.983，表明文本解释在相同条件下高度一致。
讨论与结论方面，研究人员将RCS定位为补充性的归因一致性指标而非基线嵌入相似度的替代，基线身份判定仍由嵌入相似度给出，RCS用于支持区域级解释并分析区域贡献在不同提取器与数据集间的稳定性；多提取器融合被明确定位为以可解释性为导向而非提升识别性能，其配置在保持与最强单一提取器相当验证性能的同时强化了区域一致性信号；固定区域划分被视为在可复现性与个体适应性之间的有意权衡，并以实验比较了基于关键点的自适应替代方案；LLM作为构建于RCS归因流程之上的事后解释层，不修改底层相似性得分或训练过程；通过公开网络演示开展更广泛的面向用户评估被列为未来工作。研究结论为：所提出的框架在多样的素描风格与抽象水平下产生稳定且空间连贯的区域归因图，多提取器配置在保持与最强单一提取器相当的验证性能的同时增强了区域一致性信号并揭示出与身份相关的区域。
