《Image and Vision Computing》：ExplainablePR: Periocular recognition with interpretability in sight
编辑推荐：
理解和证明自动识别系统所做决策已成为生物识别研究ssid=""研究中心， driven by the growing demand for systems that are not only accurate but also transparent, unb
理解和证明自动识别系统所做决策已成为生物识别研究ssid=""研究中心， driven by the growing demand for systems that are not only accurate but also transparent, unbiased, and accountable. Providing such explanations enhances user trust and system credibility, while also addressing broader concerns about the role of AI in everyday life.本研究的核心目标是提出一种框架，将标准生物识别识别与特征视觉解释相结合，这些特征对匹配或非匹配决策影响最大。该方法利用对抗生成模型（Adversarial Generative Models）生成一组完全由" genuine"图像对组成的集合，这些图像对包含来自同一个个体的样本。从该集合中，检索与给定查询最相似的候选样本。假设查询图像与这些检索对之间存在足够的组件对齐，像素级差异可用于突出显示对最终分类决策贡献最大的图像区域。与已建立且知名的可解释性技术（例如，SHAP、LIME和显著性图（Saliency Maps））以及最先进的细粒度视觉识别方法的比较评估表明，所提出的框架能够在不牺牲识别 Persist性能的情况下提供直观且有意义的视觉解释。此外，遮挡敏感性实验表明，遮挡突出区域会导致分类置信度明显且立即下降：仅遮挡前20%的特征就足以使置信度得分下降超过40%。这些结果证明了在保持高准确率的同时，增强生物识别系统的透明度和可靠性的巨大潜力。
## 研究背景与动机
随着数据在现代生活中占据核心地位，机器学习模型在医疗诊断、法律取证和金融等领域引发了革命性变革。然而，这些模型往往难以被理解，不仅普通公众难以理解，甚至开发者自身也面临"黑箱范式（Black-Box Paradigm）"的困境。为维持人工智能革命的可持续性，系统需要同时具备可靠性与用户信任度。值得注意的是，机器学习系统透明度的缺乏似乎正是其在图像识别、自然语言处理和数据合成等任务中实现突破性进展的原因之一。因此，一种广泛持有的观点认为透明度与性能之间存在权衡：增强可解释性可能会约束系统能力，从而降低其有效性。
生物识别系统是基于个体独特特征进行身份识别的机器学习应用典型代表。该领域的有效性依赖于普遍性、不可转移性、可区分性、抗变化性以及易于采集等特征。这些特征存在于眼部及其邻近区域，即眼周区域（Periocular Region）。与完整面部或单纯虹膜相比，眼周组件具有关键优势：对遮挡和光照条件的更好鲁棒性、更简便的数据采集流程，以及因同时存在于虹膜和面部数据集中而具有的更高可用性。尽管眼周区域特征丰富，但仍可能受到眼镜、发丝或头部姿态等因素造成的特定遮挡影响。新冠肺炎疫情使口罩成为普遍物品，进一步凸显了眼周区域在身份识别中的重要价值。
由于眼周系统处理的是明确界定的组件（如虹膜、眉毛或眼睑），其具有高度的视觉可解释性潜力。为此，本研究引入了一种增强传统生物识别系统的框架，使其具备视觉可解释输出。该框架不仅生成二进制决策，还突出显示对结果贡献最显著的图像区域。此外，框架设计为与底层生物识别模型无关，允许like-minded与现有或未来的眼周识别系统集成，而不依赖于特定的模型架构。本研究在先前工作的基础上提供了四项关键额外贡献：进一步验证解决方案的附加结果、底层识别模型的优化、合成数据生成器训练数据集的扩展，以及后处理步骤的重新设计（包括可解释颜色层和对齐错误掩膜的惩罚）。
## 关键技术方法
研究所采用的主要技术方法包括以下几个核心模块：基于DenseNet-161的卷积神经网络（CNN）用于身份验证任务；Mask R-CNN模型用于虹膜和眉毛区域的分割掩膜生成；StyleGAN2生成对抗网络用于合成大量高质量的真实配对图像数据，该生成器基于UBIPr数据集和FFHQ数据集的定制组合进行训练；辅助性的ResNet-18模型用于区分面部左侧和右侧图像；基于K-Means聚类算法的虹膜中心坐标索引系统，用于将合成数据按主要注视方向（左、中、右）分组以加速检索；以及像素级差异分析与加权距离计算机制，通过交并比（IoU, Intersection over Union）评估组件对齐程度，最终生成颜色编码的可视化解释。
## 研究结果
**可解释性评估。** 研究首先训练DenseNet-161模型用于验证任务，随后将其与LIME、SHAP、显著性图以及HL（Huang and Li）方法进行全面比较。LIME作为基于扰动的模型无关基准，通过超像素分割生成局部扰动；SHAP基于合作博弈论提供具有理论保证的解释；显著性图代表基于梯度的白盒技术家族；HL则作为特定领域基准，利用内部特征图分割生成细粒度热力图。
实验结果表明，LIME在解释粒度方面存在明显不足，其"开关式"解决方案缺乏细微差别，难以确定皮肤斑点等部位的重要性。SHAP在部分样本中表现良好，但仍存在多处遗漏。显著性图虽能提供视觉反馈，但像素 highlights 较为混乱，易丢失细小差异。HL方法在特定样本中极具说服力，但仍无法捕捉极细微差异。相比之下，所提出的方法能够识别皮肤斑点、全面理解主要不匹配因素，并同时精准组合多种眼周特征（如眉毛与眼睑、虹膜与眼睑、皮肤纹理与眼睑形状等）。
通过Pearson线性相关系数量化各技术间解释相似性，研究发现所提方法与其他技术仅存在弱正线性关系，与HL方法的相关性系数仅为0.24，与显著性图的相关性仅为0.1。这种持续缺乏相关性的现象强有力地支持了该方法并非现有方法的增量变体，而是成功隔离了与人类感知相关的语义信息。
**遮挡敏感性分析。** 为验证高亮区域的实际重要性，研究进行了遮挡敏感性实验。结果表明，随着高亮特征被逐步遮挡，分类置信度呈一致下降趋势。具体而言，遮挡最显著的前20%区域即可使非匹配类别的置信度得分下降超过40%。虽然部分异常案例在遮挡后仍维持较高置信度，但整体模式支持所识别区域的相关性。初始急剧下降后趋于平稳的趋势反映了遮挡策略的特点：最先遮挡最显著（最红）区域导致置信度骤降，而后续遮挡较不显著区域的附加影响有限。
**识别准确率。** 研究使用UBIRIS.v2数据集，采用与Zhao and Kumar相同的学习/评估协议，以等错误率（EER, Equal Error Rate）和曲线下面积（AUC, Area Under the Curve）作为评估指标。通过类bootstrap策略，90%的数据被采样并分为80%训练集和20%测试集，重复10次计算均值±标准差。结果显示，在开放世界设定下，所提方法的EER为0.104±3×10
-3，AUC为0.869±4×10
-2；在封闭世界设定下，EER进一步降至0.086±1×10
-2，AUC提升至0.917±4×10
-3。与Zhao and Kumar报道的结果（EER为0.109±2×10
-3）相比，两种方法的识别性能紧密对齐，表明该解决方案既能实现具有竞争力又可靠的识别率。
**推理时间。** 基于10个随机测试样本的测量，各方法的平均推理时间分别为：LIME 3.64±0.05分钟，SHAP 3.14±0.04分钟，显著性图15.71±0.24分钟，HL 0.23±0.02分钟，所提方法2.45±0.11分钟。HL由于本质上是带有额外解释步骤的CNN，显著优于其他方法。排列和搜索型技术需要更多时间，因其涉及向黑箱模型输入人工排列或在合成数据集中搜索。
**消融研究。** 研究探索了两个关键超参数对解释效果的影响：邻居数量k和合成数据集大小。k值决定了针对每个查询从合成集中检索的配对数量。较小的k值导致更敏感和波动的解释，随着k增加至15左右，解释趋于更平滑；但当k≥50时趋势趋于平稳，进一步增加不再显著影响眼睑区域的显著性。合成数据集的大小同样至关重要，较小的合成集导致解释效果减弱，特别是在眼睑和眉毛区域。确保搜索空间的多样性对于获得可行且现实的解释是强制性的。
## 讨论与研究结论
本研究提出了一种基于成熟深度学习架构的框架，用于联合执行眼周识别和生成视觉解释，突出显示影响模型决策的特征。通过利用生成对抗网络（GAN）的强大生成能力，系统创建了大量代表"真实"匹配的合成图像对（即来自同一样本的两个样本）。在推理过程中，对于每次比较，框架以视觉方式突出显示图像对之间差异最显著的特征，从而产生清晰且信息丰富的解释，其中目标区域的每个组件根据其最终决策的贡献进行颜色编码。
实验结果表明，所提出的解决方案不仅产生了与经典可解释性技术（如LIME、SHAP和显著性图）明显不同的解释，而且与最先进的细粒度视觉识别方法相比，产生了明显更直观的视觉化效果。定量比较方面，遮挡敏感性分析揭示了遮挡高亮区域对分类置信度的即时影响：遮挡最热区域可使分类置信度下降超过40%。此外，框架的模块化设计使其能够轻松适应其他生物特征（如面部识别），而不会损害生成解释的质量。
然而，该方法仍存在局限性：在某些情况下重要特征未能得到充分突出，且当前的生成搜索空间可能比必要范围更广。未来工作可聚焦于开发更具针对性的生成机制，在保持多样性的同时减少冗余；增强合成数据分布以更好代表广泛的种族和地理来源，从而提高系统在人口群体间的公平性；以及探索更高效、可扩展的索引方法，以减少检索时间并提高整体匹配精度。
