基于 Transformer 模型的 OCT 潜在指纹层感知软生物特征推断

《Pattern Recognition》：Layer-aware soft-biometric inference on OCT latent fingerprints using transformer-based models

　　

•首个基于 3D OCT 潜在指纹的层感知软生物特征建模。
•我们构建了一个胶带提取潜在指纹的体素 OCT 数据集。
•提出 GAAIOCT-ViT，一种层感知 Transformer，包含多重置换卷积（MPC）模块、层次特征交互调节器（HFIM）和空间 - 通道 ViT（SC-ViT），并通过消融实验验证了 MPC、HFIM 和 SC-ViT 的必要性。
•软生物特征示例（性别、年龄）达到 0.890 和 0.880 的准确率，持续超越包括 Swin、CrossFormer++、Ortho 和 iFormer 在内的强 CNN/ViT 基线。
•可视化实验证实，3D OCT 体数据中的逐层线索比 2D 视图提供了更丰富、互补的信息。

引言
指纹由独特且持久的脊纹 - 谷纹图案组成，凭借其永久性和个体性，是最可靠的生物特征之一，用于个人身份识别 [1]。详细的指纹脊纹图案反映了遗传和发育影响 [2]，支持其在安全系统、警方数据库和法医分析中的广泛应用。这些图案还包含细微的形状差异，有助于推断软生物特征（例如性别和年龄），从而缩小嫌疑人范围，并支持在犯罪学、健康分析和个性化技术中的应用 [3]。因此，人们不仅对指纹识别感兴趣，也越来越关注将其作为软生物信息来源。

许多研究试图从指纹数据中推断软生物属性，特别是性别和年龄。早期工作主要依赖于从指纹图案中手动提取的特征，如脊纹计数 [4]、脊纹密度 [5] 和基于细节点的统计 [6]。尽管这些手工制作的指标捕捉了粗糙的摩擦脊纹特征，但它们未能代表高阶空间结构，因此预测准确率有限。深度学习，尤其是卷积神经网络（CNN）的兴起，使得能够直接从指纹图像中进行数据驱动的特征学习，并提高了属性推断性能 [7]。包括 VGGNet [8]、ResNet [9] 和 EfficientNet [10] 在内的几种基于 CNN 的架构已被应用于指纹软生物特征建模。最近，使用自注意力机制对图像块之间的全局关系进行建模的视觉 Transformer（ViTs）已成为具有竞争力的替代方案 [11]、[12]。多头自注意力（MSA）提供了灵活的长程上下文聚合能力，有助于具有挑战性的指纹分类及相关推断任务。

尽管取得了进展，现有的指纹属性推断方法面临两个限制，阻碍了对潜在指纹数据的充分利用。首先，大多数方法将潜在指纹视为 2D 表面强度图像，丢弃了体积成像提供的三维脊纹 - 谷纹形态和深度分辨结构；这些逐层线索可以为软生物特征推断提供额外信号。其次，大多数当前管道使用单通道灰度图像，因此忽略了 3D 信息，其中面内（x-y）脊纹细节和强度特征会随着深度（z）在皮下层中变化。将体积展平为 2D 可能会移除特定的层次结构和细微的个体间差异，而这些差异本可改善分类的鲁棒性。

我们使用光学相合断层扫描（OCT）[13] 来解决第一个限制，这是一种非接触、深度分辨的成像方法，可以扫描半透明材料并重建指纹的脊纹 - 谷纹三维结构，当残留物嵌入粘合介质时，可以捕获微米级的潜在指纹体积。关键在于，潜在指纹是体积性的：残留物可以渗透或在基底内分层，留下无法通过纯表面标记表示的深度结构。我们认为这种 3D 变化携带了与面内纹理互补的软生物特征线索，并有助于软生物特征推断。与先前的 2D 表面指纹和活体手指 3D 成像工作不同，我们研究 3D 潜在指纹，并且据我们所知，提供了对其逐层结构用于软生物特征推断的首次系统分析。我们首先构建了一个 3D OCT 潜在指纹数据集，然后进行了统计分析：对于每个深度层，我们计算基本摘要（例如，平均值、方差），按软生物特征属性（例如，性别、年龄）对结果进行分组，并评估面内（x-y）脊纹图案如何随深度（z）变化。我们使用直方图和逐层折线图可视化分布，揭示了 2D 投影所遗漏的特定层次变化和细微的主体间差异。这些发现表明深度包含判别性信息，并激励了一种在 3D 体积而非单个 2D 灰度图像上操作的深度感知管道。

为了解决第二个限制（即 2D 单通道管道丢失深度信息），我们设计了 GAAIOCT?ViT，一种专为体积潜在指纹打造的三阶段架构，利用深度线索，并受逐层统计信息指导，显示在整个 z 堆栈中存在非均匀、层依赖的模式。在第一阶段，方向不敏感的多重置换卷积（MPC）模块沿高度、宽度和深度分支提取互补特征，保留了 2D 展平会丢失的深度线索。第二阶段采用层次特征交互调节器（HFIM），这是一个多头混合卷积块，执行自适应多尺度提取，然后通过逐点卷积融合跨头信息。第三阶段引入了带有自适应分段特征注意力（ASFA）的空间 - 通道 ViT（SC-ViT），用分段局部注意力和全局特征注意力取代了普通的 MSA，有效地平衡了细粒度细节和全局集成。这些组件共同处理多尺度结构，同时融合局部和全局信息，使模型非常适合从 OCT 体积中进行软生物特征推断。

因此，我们的主要贡献总结如下三个方面：
•据我们所知，我们构建了一个综合的体积潜在指纹 OCT 数据集，并在这种模式用于软生物特征推断的首次系统研究中，提供了逐层统计证据，表明 z 层结构携带了超越 2D 纹理的互补线索。
•我们提出了 GAAIOCT?ViT，一种层感知三阶段模型，结合了 MPC（x–y–z 特征提取）、HFIM（层次特征交互）以及带有 ASFA 的 SC-ViT（空间和层注意力），以有效利用层分辨信息。
•大量实验和消融实验展示了在 OCT 体积上的最先进性能；可视化分析证实了层互补特征，验证了 3D 线索用于软生物特征推断的价值。

除了方法学进步外，从潜在指纹中进行 3D 软生物特征推断在法医学和安全领域具有明确的实用价值。在犯罪现场应用中，便携式 OCT 扫描结合 GAAIOCT?ViT 可以快速且非接触地从胶带、包装或玻璃上的指纹中估算软生物特征属性，有助于通过优先搜索 AFIS（自动指纹识别系统）来缩小嫌疑人范围，并引导有限的实验室资源（例如 DNA 测试）。

章节片段
从手工制作特征到用于指纹软生物特征推断的 CNN
指纹软生物特征推断的早期工作（例如性别和年龄）主要依赖于手工制作的脊纹指标。例如，Guangdin 等人 [14] 报告了每 25 平方毫米 13 条脊纹的阈值，较低的脊纹密度与男性指纹相关。Acree 等人 [15] 手动计算了 66 个表皮区域的脊纹，并将这些计数与性别特定模式联系起来。然而，这种手动流程仅捕捉粗糙的摩擦脊纹特征，因此实现的准确率有限

GAAIOCT?ViT：一种用于体积潜在指纹的层感知架构
GAAIOCT?ViT 的整体设计（图 1a）包含三个阶段，下采样比例分别为{1,4,16}，专为基于 OCT 的体积潜在指纹量身定制。第一阶段（图 1b）采用 MPC 模块提取低级高度/宽度/深度特征，同时避免使用重型 3D 内核。第二阶段（图 1c）引入 HFIM 进行多尺度表示学习和跨尺度融合，以适应分层深度结构。第三阶段（图 1d）采用 SC-ViT 共同捕捉局部细节和全局

OCT 潜在指纹体积的数据集和统计特征
我们使用自定义的光谱域 OCT 系统捕获潜在指纹体积，该系统中心波长为 850 纳米，并集成了软件控制的机械臂（DOBOT-CR3）以实现精确、可重复的探头定位。每次扫描覆盖 12mm×14mm 的横向视场，成像深度高达 2.27 毫米，扫描频率为 120kHz（每个 B 扫描包含 1000 个 A 扫描），轴向和横向分辨率分别约为 4 微米和 9 微米。指纹是通过依次按压每个手指的指尖作为胶带提取物收集的

结论
本工作探索了从 OCT 潜在指纹中进行软生物特征推断，利用超越传统 2D 表面图像的深度分辨体积信息。我们构建了一个 OCT 潜在指纹体积数据集，分析了逐层软生物特征线索，并提出了（GAAIOCT?ViT），一种用于深度感知特征提取和局部 - 全局表示学习的层感知 Transformer 框架。实验、消融、复杂度比较以及在 Harvard-GF 上的外部验证证明了

CRediT 作者贡献声明
Lingzhen Kong: 撰写 – 初稿，方法学。Xiyuan Hu: 撰写 – 审阅与编辑，方法学。Ning Zhang: 监督，数据整理。Chen Chen: 撰写 – 审阅与编辑，形式分析。Qiang Zhang: 监督，概念化。Fan Liu: 调查，形式分析。Lianyong Qi: 可视化。Yichao Zhou: 撰写 – 审阅与编辑，监督。Liang Xiao: 验证，监督。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能被认为影响了本论文中报告的工作。

Lingzhen Kong|Xiyuan Hu|Ning Zhang|Chen Chen|Qiang Zhang|Fan Liu|Lianyong Qi|Yichao Zhou|Liang Xiao