基于树状层级融合网络的多模态指部特征识别研究：提升生物特征识别的安全性与准确性

本文创新性地提出基于树状层级融合网络(THiFNet)的多模态指部生物特征识别方法，通过残差非局部(Res-NL)主干网络提取指纹/指静脉的多尺度特征，并构建层级卷积树(HiCT)动态选择通道注意力模块，有效解决传统固定架构网络对图像分布差异大的多模态特征建模难题。实验表明该方法在三个数据集上达到SOTA性能，为生物识别安全领域提供新思路。

　　

亮点

• 指纹和指静脉图像同时包含细节特征和长程特征。为此，我们提出结合非局部操作与残差连接的残差非局部(Res-NL)主干网络，其中残差连接避免网络加深时细节特征丢失，而非局部操作学习长距离点对点关系以精准捕获多尺度信息。

• 提出层级卷积树(HiCT)自适应选择并组合通道注意力块，学习具有分布差异的指纹与指静脉图像间的隐含关联，从而生成具有强识别能力的多模态特征空间。

• 通过卷积运算、压缩激励和有效通道注意力等多重互补操作构建树状边缘，实现特征交互与整合的层级融合，在精度与识别时间间取得良好平衡。

方法

由于指纹和指静脉在分布与表征上的不一致性，构建网络架构以学习精确的共性特征空间成为深度学习方法的重点。基于树状架构[24]能自适应选择传递路径，在有限参数量下生成更具多样性的共性特征空间，实现潜在性能提升。

受树状网络启发，我们引入...

实验结果

本节首先介绍多模态指部生物特征数据集、实施细节和评估指标。4.3节评估所提多模态识别方法的有效性；4.4节通过消融实验验证HiCT各组件的先进性；4.5节评估训练样本量变化时网络的鲁棒性；最终将所提方法与...

结论

本文提出基于树状层级融合网络的通道注意力信息融合方法，提升识别精度与安全性。多模态生物源具有互补性，能为个体识别提供更全面的信息。所提Res-NL主干网络通过结合非局部操作与残差连接，更好捕获指纹和指静脉图像中的长程信息（如静脉连续血管和指纹纹线走向），同时...