CFM：犯罪现场足迹匹配的高效框架

《Knowledge-Based Systems》：CFM: An efficient framework for footprint matching in crime scenes

　　- 我们研究了犯罪现场场景下的足迹匹配问题。- 我们构建了用于犯罪现场足迹匹配的 CFP 数据集。- 我们的 DFA 模块能够稳健地模拟环境扩散效应。- 我们的自适应分割策略能够捕捉细粒度特征。- 我们的 CFM 框架实现了最先进的匹配精度。## 引言每年，全球发生的无数刑事事件导致数十万人死亡。为解决这一问题，各国政府投入了大量资源用于犯罪防控。例如，在美国，刑事司法方面的公共支出占国内生产总值的 2.5%[1]。因此，开发更高效的犯罪防控方法对于维护社会稳定至关重要。在各种用于刑事调查的痕迹中，足迹的价值极高，因为它们是继 DNA 之后第二常见的物证形式[2]，且比面部特征或指纹更难伪造。如图 1(a) 所示，在刑事调查过程中，警方首先在犯罪现场收集待鉴定的足迹，用于与参考足迹进行比对。随后，他们确定产生这些足迹的具体鞋类类型，并要求所有嫌疑人穿着同类型鞋子在收集纸上行走。通过这种方式，警方获取了嫌疑人的足迹。由于不同人的体重和行走习惯各不相同，其足迹表现出不同的特征，如深浅和均匀度等。通过将嫌疑人的足迹与犯罪现场提取的足迹进行比对，调查人员可以优先筛选出候选匹配项以供进一步的法医鉴定。然而，与正常场景中的足迹不同，犯罪现场的足迹通常非常模糊且不完整，如图 1(b) 所示。这些足迹往往仅仅是细微的压痕，只有在紫外灯照射下才可见，肉眼无法直接识别。因此，法医专家仅依靠人工检查和经验来执行精确匹配具有很大难度。在本工作中，我们研究如何利用机器学习技术帮助警方解决犯罪现场的足迹匹配问题。为此，我们首先调研了计算机视觉领域的相关研究，包括指纹识别[3]、人脸识别[4]和行人重识别（ReID）[5]。我们发现这些领域中几乎没有任何现有算法能够有效解决犯罪现场的足迹匹配问题。这主要是由于两个障碍：首先，犯罪现场足迹的外观多样，难以收集覆盖所有情况的大规模数据集，因此将匹配方法泛化到未见域颇具挑战。其次，此前的算法大多基于显著特征，例如行人的衣着样式或指纹。然而，犯罪现场的足迹往往缺乏明显特征。由于犯罪者通常穿着鞋子，足迹的外观受鞋子影响很大。然而，既然穿过的鞋子可能被更换或丢弃，调查人员不能仅依靠嫌疑人的鞋子来识别犯罪者。相反，调查人员必须依赖间接线索，例如体型偏瘦的人足迹相对较长较窄，老年人的足迹重心通常更靠近脚跟。为了克服上述第一个障碍，我们提出了一种图像预处理算法，名为域不变足迹增强（DFA），主要包括两个阶段，即背景消除和可见度调整。在背景消除阶段，我们采用 OneCut 算法[6]分割出足迹区域并去除无关的背景区域。该步骤有效消除了由犯罪现场多样化环境引入的噪声。在足迹扩散阶段，我们在训练过程中通过形态学操作改变足迹的扩散程度。足迹扩散策略提高了网络对各类场景中足迹的表征鲁棒性。为了应对第二个障碍，我们提出了一个由粗到细的足迹匹配网络（CFFM）以生成判别性特征。受 MGN[7]启发，该网络采用了多分支架构。具体而言，一个分支用于提取粗粒度全局特征，另一个分支专门用于产生细粒度局部特征。同时应用三元组损失[8]和交叉熵损失来监督网络匹配嫌疑人的足迹与犯罪现场留下的待鉴定足迹。鉴于犯罪现场场景下足迹匹配专用公开数据集的有限性，我们构建了一个名为犯罪现场足迹（CFP）的数据集，包含 2753 张图像。CFP 数据集包括从犯罪现场收集的待鉴定足迹和在受控条件下从嫌疑人处收集的参考足迹。我们按照约 4:1:1 的比例将这些图像划分为训练集、验证集和测试集。我们同时还设计了训练和测试方案，包括用于衡量性能的指标。结合上述所有提出的技术，所得到的名为犯罪现场足迹匹配（CFM）的框架已在 CFP 数据集上进行了评估。实验结果表明，我们的 CFM 在 CFP 数据集上优于其他方法，并在所定义的域内和跨域评估方案下实现了令人满意的候选排序性能。我们的贡献总结如下：- 我们研究了犯罪现场场景下的足迹匹配问题，刻画了该任务的关键挑战，介绍了专用的犯罪现场足迹（CFP）数据集，并建立了相应的训练和测试方案。- 我们提出了一个专门针对该任务的框架（CFM）。具体而言，我们将形态学操作调整为模拟犯罪现场的足迹扩散（DFA），并将自适应分割策略引入多分支网络（CFFM）以捕捉细粒度的足迹特征。- 结合所提出的数据集和算法框架，我们相信本工作有助于实现智能刑事调查并提高司法系统的效率。## 章节摘要### 行人识别鉴于足迹匹配的公开出版物数量有限，我们首先回顾了一个密切相关且广泛研究的任务：行人识别。在行人识别中，现有方法利用人体生物特征，如人脸[8]、[9]、[10]、[11]、[12]、[13]、指纹[14]、[15]、[16]、[17]、[18]、足迹以及全身外观（ReID）[19]、[20]、[21]、[22]，来识别人物身份。传统的行人识别方法通常利用手工设计特征，如 HOG。### 犯罪现场足迹数据集本节介绍我们发布的数据集——犯罪现场足迹（CFP）数据集。第 3.1 节详细说明了数据采集、标注和划分流程。第 3.2 节介绍了相应的训练和评估方案。### 方法论本节详细介绍了所提出的犯罪现场足迹匹配（CFM）框架的实现。首先，第 4.1 节概述了 CFM 的概况。接下来，第 4.2 节和第 4.3 节分别介绍了 CFM 的两个关键组件，即域不变足迹增强（DFA）和由粗到细的足迹匹配网络（CFFM）。最后，第 4.4 节介绍了如何将所提出的 CFM 框架应用于实际犯罪现场。### 实验本节展示了实验细节。具体而言，第 5.1 节描述了方法的实现细节。然后，第 5.2 节通过与我们提出的框架 CFM 与现有最先进（SOTA）方法进行比较，展示了其优越性。第 5.4 节通过各种消融实验揭示了所提方法的有效性。### 局限性尽管本工作提出了一个高效的犯罪现场足迹匹配框架，但仍有一些问题值得进一步研究和讨论。首先，由于缺乏其他针对此类身份匹配任务的独立公开数据集，该框架目前仅在 CFP 数据集上进行评估。虽然这限制了跨数据集验证，但所提出的 CFM 框架在设计时就考虑了实际泛化性。具体来说，关于环境方面……### 结论在本工作中，我们研究了一个未被探索但极具价值的任务——犯罪现场足迹匹配。鉴于缺乏专用公开数据集，我们构建了犯罪现场足迹（CFP）数据集并建立了相应的训练和评估方案。随后，我们提出了 CFM，一个专门针对该任务设计的高效框架，该框架集成了域不变足迹增强（DFA）模块和由粗到细的足迹匹配网络（CFFM）。基于……### CRediT 作者贡献声明**刘立曼：** 写作–审阅与编辑、写作–初稿撰写、可视化、验证、软件、资源、方法论、调查研究、基金获取、正式分析、数据整理、概念构思。**吴涵：** 写作–初稿撰写、验证、软件、方法论、正式分析、数据整理。**程馨雨：** 写作–审阅与编辑、可视化、验证、软件。**俞恩：** 写作–审阅与编辑、写作–初稿撰写、可视化、方法论、正式分析。## 致谢本工作得到了**国家自然科学基金**资助（批准号 62576144）以及**湖北省科技计划项目**资助（批准号 2025BEB006）的支持。### 伦理考量与隐私合规鉴于法医数据的敏感性，构建和使用犯罪现场足迹（CFP）数据集需要严格遵守伦理准则和隐私保护标准。在本工作中，我们从以下方面充分考虑了伦理影响和隐私合规问题。- **数据**刘立曼 | 吴涵 | 程馨雨 | 俞恩 | 张天成 | 陈思佳 | 陶文兵