基于软关系签名的免训练开放集人脸识别框架SigID

《Neurocomputing》：SigID: Signature-based open-set face identification without additional training

　　

摘要专业翻译 本文提出SigID，一种用于开放集人脸识别（Open-Set Face Identification，OSFI）的免训练框架。SigID从局部原型邻域（local prototype neighbourhoods）中构建软关系签名（soft relational signatures）。探针（probe）与图库（gallery）签名通过共享邻域兼容性（shared-neighbour compatibility）进行匹配。SigID同时支持已知身份识别与未知身份拒绝。在不进行微调（fine-tuning）的情况下，SigID在多个数据集和骨干网络（backbones）上提升了DIR@FAR指标。研究人员提出SigID这一免训练框架，用于开放集人脸识别。SigID从局部原型邻域中构建软关系签名。探针与图库签名通过共享邻域兼容性进行匹配。SigID同时支持已知身份识别与未知身份拒绝。SigID在不进行微调的情况下，在多个数据集和骨干网络上提升了DIR@FAR指标。

论文主体解读

一、研究背景与问题

人脸识别技术在深度卷积网络与基于Transformer的编码器推动下取得了显著进展，在受控评估协议下展现出优异性能。然而，绝大多数基准测试假设封闭集（closed-set）场景，即所有测试身份在训练阶段均已知。这一假设在真实应用中几乎不成立。边境管控、视频监控、观察名单监测等实际部署场景，要求系统同时完成已注册个体的身份识别与未见过身份的正确拒绝，即开放集人脸识别（Open-Set Face Identification，OSFI）。OSFI比传统封闭集识别更具挑战性，因为系统必须同时处理已知身份的识别与未知身份的拒绝。

传统人脸识别系统隐含地假设固定标签空间，导致未知个体可能被错误地分配到已知身份。现有开放集方法虽然引入了基于置信度阈值或分数校准的显式拒绝机制，但部分方法依赖额外监督或适应性调整，如微调、分类器更新或专门损失函数，这在实际部署中增加了跨数据集或场景迁移时的设计与调参成本。因此，研究者日益关注免训练（training-free）的推理阶段解决方案，即直接在预训练嵌入上操作，无需更新底层人脸编码器。

另一条互补的研究路线探索利用嵌入空间中的关系结构进行事后推理策略，包括基于排名的表示和邻域一致性度量。然而，大多数基于排名的邻域方法依赖硬排名位置排序，忽略了相似度幅值信息，对分数扰动和编码器差异较为敏感。

二、研究内容与结论

针对上述问题，研究人员提出SigID框架，一种完全免训练、依赖校准的软排名签名框架，直接在预训练人脸编码器提取的嵌入上运行。SigID的核心观察是：尽管绝对相似度分数可能因样本、域或骨干网络而波动，但嵌入空间中同一身份的局部关系邻域结构相对稳定。不同于依赖硬排名位置的经典排名列表方法，SigID通过聚合嵌入空间中前k个邻居的贡献来构建软关系签名，以连续、相似度加权的邻域画像表示每个身份。

SigID在推理阶段采用轻量级两阶段决策机制：基础匹配器首先检索候选身份，随后基于签名的兼容性评分评估探针与图库签名之间的结构一致性。该兼容性建模为在开放集条件下接受已知探针或拒绝未知探针提供了额外判据。SigID无需重新训练、无需分类器学习、无需修改骨干网络，仅引入一次性图库签名构建成本和较小的逐探针兼容性计算成本。

研究人员在CASIA-WebFace、IJB-C和LFW三个数据集上，跨多种骨干网络进行了广泛实验，评估了两种FAR校准协议。基础阈值协议下，Cos+SigID相比余弦匹配在低FAR工作点上，CASIA-WebFace提升最高达3.24%，IJB-C提升3.02%，LFW提升1.72%。全流程协议提供了匹配最终FAR的实践性能评估。

三、主要技术方法

研究人员采用的主要关键技术方法包括：软排名签名构建，通过相似度加权的邻域表示替代硬排名比较；共享邻域兼容性计算，对探针与图库签名交集中的对齐分数向量计算余弦相似度；两阶段决策机制，结合基础匹配分数与兼容性分数，在验证集上校准阈值；熵分析用于量化邻域稳定性，证明邻居重现比严格排名位置一致性更稳定。实验使用ArcFace、AdaFace、CurricularFace、ElasticCosFace、ElasticArcFace及CosFace训练的VGGNet-19等预训练模型作为骨干编码器，所有模型均产生512维人脸嵌入。数据集方面，CASIA-WebFace含5287个已知身份和5288个未知身份，LFW含610个已知身份和5139个未知身份，IJB-C含3531个已知身份和7993个未知身份。

四、研究结果

4.1 基础阈值FAR校准下的近失恢复分析

在基础阈值校准协议下，SigID作为事后近失恢复层，在大多数数据集、骨干网络和FAR工作点上均提升了余弦匹配和NAC的性能。在严格工作点上的提升尤为明显，例如在CASIA-WebFace上使用ArcFace时，NAC+SigID在FAR=0.001时将DIR从0.826提升至0.851，在FAR=0.01时将DIR从0.887提升至0.911。在LFW上使用ArcFace时，NAC+SigID在FAR=0.001时将DIR从0.835提升至0.864，在FAR=0.01时将DIR从0.892提升至0.914。这些结果表明关系签名一致性为恢复接近基础决策边界的已知探针提供了有效补充证据。

4.2 全流程FAR校准下的匹配工作点评估

在全流程校准协议下，完整决策管线在验证集上端到端校准以满足目标FAR。这一更严格的协议提供了实践性能的匹配工作点评估。结果表明SigID增强方法在匹配最终FAR条件下仍能保持性能提升，验证了其在实际部署中的有效性。

4.3 验证协议下的行为分析

在验证任务中，SigID兼容性作为辅助成对关系分数进行评估。结果显示SigID的关系公式化在开放集识别中最为有益，因为未知拒绝是决策过程的一部分，而在纯验证场景中收益相对有限。

五、讨论与结论

讨论部分指出，邻居重现而非严格排名位置一致性是邻域稳定性的主导来源。这一发现支持使用池化关系签名，该签名能捕获稳定的邻域组成，无需精确排名一致性。SigID的软排名公式化相比硬排名方法对排名扰动、分数缩放和骨干相关嵌入几何更鲁棒，同时保持完全免训练，适用于任意预训练人脸嵌入模型。

研究结论表明，SigID作为一种免训练兼容性框架，通过软关系签名捕获嵌入空间中的稳定邻域结构，在开放集人脸识别中同时支持已知身份识别和未知身份拒绝。在多个数据集和骨干网络上的一致改进，验证了关系兼容性作为标量匹配分数补充证据的有效性，为开放集人脸识别提供了一种无需额外训练、计算开销小的实用解决方案。