《Machine Learning with Applications》：Protocol-sensitive fingerprint embedding analysis using a lightweight hybrid CNN-Transformer framework
编辑推荐：
指纹识别系统通常采用分类准确率进行评估；然而，高分类性能并不一定反映学习到的嵌入空间在不同生物特征采集协议下的鲁棒性或可分性。本研究利用一种轻量级混合卷积神经网络-视觉Transformer（CNN-Vision Transformer）架构（称为HyFiT，
指纹识别系统通常采用分类准确率进行评估；然而，高分类性能并不一定反映学习到的嵌入空间在不同生物特征采集协议下的鲁棒性或可分性。本研究利用一种轻量级混合卷积神经网络-视觉Transformer（CNN-Vision Transformer）架构（称为HyFiT，约含678万参数及128维L2归一化嵌入投影框架）研究协议敏感的嵌入行为。实验在灰度和彩色指纹表示上进行，涵盖标准多印痕FVC2000数据集、缩减印痕FVC2000(R)协议以及稀疏多类SOCOFing数据集。该框架采用分类准确率、基于验证的指标、嵌入距离统计、受试者工作特征分析、等错误率及低维嵌入可视化进行评估。实验结果表明，FVC2000协议具有强验证鲁棒性和良好分离的嵌入分布，分类准确率高达92.58%，曲线下面积（AUC）达0.9736，且等错误率较低。相比之下，SOCOFing协议表现出严重的嵌入重叠、类间可分性退化及验证鲁棒性显著下降，尽管分类行为相对稳定。此外，缩减印痕协议揭示了嵌入几何对印痕稀缺性和类内变异性的显著敏感性。这些发现表明，仅凭分类准确率不足以评估指纹表示质量，并强调了面向验证、以嵌入为中心且协议感知的评估策略对于可靠生物特征识别系统的重要性。
指纹（fingerprint）识别因其纹型具有永久性、唯一性及采集便捷性，仍是目前应用最广泛的生物特征识别技术之一。过去二十年间，指纹识别系统已从基于手工设计的脊线（ridge）和细节点（minutiae）表示方法，演进为能够从原始指纹图像中自动提取判别性身份特征的深度表示学习框架。尽管卷积神经网络（CNN）和基于Transformer的架构在提升指纹分类与匹配性能方面取得了显著进展，现有研究仍主要依赖分类准确率或闭集识别指标评估系统性能，未能充分反映学习嵌入空间的几何质量与稳定性。在实际生物特征验证系统中，可靠识别不仅取决于分类边界，还依赖于嵌入空间内类内表示的紧致性与类间身份分布的可分性。
另一个尚未充分探索的重要因素是数据集协议设计对指纹嵌入分析的影响。标准指纹基准数据集（如FVC2000）在受控采集条件下为每个身份提供多个印痕，通过压力、对齐、旋转和部分形变引入有意义的类内变异，有助于构建几何稳定的身份嵌入。相反，稀疏印痕或有限变异数据集通常每个被试仅有少量印痕，大幅降低了类内多样性，可能导致嵌入紧致性和验证鲁棒性退化。在此条件下，模型可能取得较高的分类准确率，同时表现出较差的嵌入可分性和不稳定的验证行为。为深入探究这一问题，研究人员开展了本项研究，论文发表于《Machine Learning with Applications》。
研究人员提出了HyFiT框架，这是一种轻量级混合CNN-Transformer架构，通过卷积特征提取与基于Transformer的全局自注意力机制相结合，同时捕获指纹纹型中的局部脊线纹理信息与长程结构依赖关系。该框架生成128维L2归一化嵌入，参数规模约678万。研究采用控制实验设计，在多个结构特性差异显著的指纹数据集上系统分析协议敏感性，包括多印痕FVC2000、缩减印痕FVC2000(R)以及稀疏多类SOCOFing数据集，同时评估灰度和彩色两种指纹表示模态。除常规分类准确率外，研究还采用受试者工作特征（ROC)分析、曲线下面积（AUC）、等错误率（EER）、类内/类间嵌入距离统计及低维t-SNE嵌入可视化等多维度方法进行验证导向的嵌入分析。
研究所用的关键技术方法包括以下几个方面。首先是HyFiT架构设计，包含卷积词干（stem）进行局部特征提取，通过7×7分块嵌入生成序列化token，经6层Transformer编码器（8头注意力，嵌入维度256）处理，最终经投影头生成128维L2归一化嵌入。训练采用交叉熵损失与三元组损失（triplet loss）联合优化，使用AdamW优化器配合余弦退火学习率调度，训练100 epoch。评估阶段除softmax分类器外，还采用支持向量机（SVM，径向基函数RBF核）和k近邻（KNN，k=3，欧氏距离）作为外部分类器进行嵌入空间分析。样本来源方面，FVC2000数据集含10个身份、每身份80枚印痕；FVC2000(R)为每身份保留10枚印痕的缩减版本；SOCOFing数据集选取100个身份、每身份10枚印痕的子集。
研究结果部分包含以下五个方面的内容。
**分类性能方面**，HyFiT框架在所有评估协议上均显著优于基线CNN架构。缩减印痕灰度FVC2000(R)协议在HyFiT+交叉熵+KNN配置下达到最高92.58%的分类准确率；彩色FVC2000协议在softmax监督下准确率超过82%。值得注意的是，基于嵌入的SVM和KNN分类在多数情况下优于直接softmax分类，表明学习到的嵌入空间包含比分类器决策边界更强的几何判别信息。SOCOFing协议在所有学习策略下均呈现最具挑战性的实验场景，尽管softmax监督下获得中等分类性能，整体准确率仍远低于FVC2000协议。
**统计稳定性分析**显示，交叉熵嵌入学习配置的标准差普遍低于三元组损失配置，表明优化稳定性更优。多印痕FVC2000协议因充足的类内变异而展现出最强的统计稳定性；缩减印痕FVC2000(R)协议虽然平均性能较高，但变异度有所增加；SOCOFing协议因类别众多且印痕稀疏，在所有配置中稳定性最差。该分析进一步支持了"高分类准确率不一定意味着稳定或几何鲁棒的嵌入"这一核心发现。
**验证与嵌入几何分析**揭示了不同协议间嵌入鲁棒性的显著差异。多印痕FVC2000协议持续产生最强验证表现，AUC值高、EER低、嵌入分离裕度大。彩色FVC2000协议的AUC达0.9736，EER为0.0806。缩减印痕FVC2000(R)协议虽保持较高分类准确率，但验证性能相对于标准多印痕配置有所下降，EER升高至0.1222（灰度）和0.1333（彩色）。SOCOFing协议表现最弱，AUC仅0.8942，EER高达0.1929，表明稀疏印痕多类协议创造了高度困难的嵌入学习条件。特别重要的是，多个协议在保持可接受分类准确率的同时表现出退化的验证可靠性，证实了分类器-嵌入差异现象。
**嵌入分布与可分性分析**提供了对表示空间几何结构的直接洞察。FVC2000协议的类内距离均值（μ
intra）较低，类间距离均值（μ
inter）较大，分离裕度（Δ）充足；SOCOFing协议的μ
intra为19.1197，μ
inter仅22.6861，分离裕度仅3.5664，且类内/类间距离分布存在大量重叠，表明嵌入混合严重。距离分布标准差分析还显示，稀疏印痕条件下的几何变异性和嵌入一致性显著降低。
**t-SNE可视化与协议敏感性**定性验证了上述定量发现。多印痕FVC2000协议呈现高度紧凑且良好分离的嵌入簇；缩减印痕FVC2000(R)协议 neighboring簇间重叠明显增加；SOCOFing协议则显示出最严重的嵌入混合，类间分离微弱、簇紧致性降低。这些观察直接支持了面向验证的发现，并表明分类器级预测准确率可能无法反映稀疏印痕多类条件下学习到的流形的内在不稳定性。
在讨论部分，研究通过消融与比较分析进一步确认了以下关键结论。混合CNN-Transformer架构在所有协议上均一致优于传统CNN基线，特别是在缩减印痕和稀疏多类协议下，表明全局上下文建模对捕获长程脊线依赖至关重要。嵌入基评估策略（SVM/KNN）在多种设置下展现出优于直接softmax分类的性能，说明嵌入空间具有更强的固有几何可分性。三元组损失的表现则高度依赖协议：在多印痕条件下提供中等嵌入判别能力，但在印痕稀缺条件下性能较弱且不稳定，表明度量学习优化对类内变异性不足高度敏感。
研究的核心结论可概括如下：多印痕指纹协议通常促进紧凑嵌入分布和稳定验证导向的几何结构，而缩减印痕和稀疏多类协议显著限制了模型可用的身份特异性脊线变异多样性，从而增加嵌入重叠、降低验证鲁棒性。本研究确立的"分类器-嵌入差异现象"表明，高分类准确率可能伴随弱嵌入几何和不稳定验证行为同时存在。最终研究结论指出，指纹嵌入质量具有高度协议敏感性，且强依赖训练时的类内变异性；仅凭分类准确率不足以评估生物特征表示质量，面向验证且协议感知的评估策略对于在实际采集条件下可靠运行的指纹识别系统至关重要。HyFiT框架以378万参数的轻量级设计，为嵌入中心化生物特征评估提供了高效且可解释的基础，同时保持了适合实际部署的计算效率。
