基于基准数据集的颅骨到面部匹配跨域身份表示方法

《Journal of Visual Communication and Image Representation》：Cross-domain identity representation for skull-to-face matching with benchmark dataset

　　•我们准备了一个基准数据集IITMandi_S2F。该数据集包含40名志愿者提供的颅骨X光图像以及从正面和侧面拍摄的人脸光学图像。•我们提出了一种利用孪生网络和三元组损失函数来学习跨域身份表示的新框架。•我们使用召回率@k、平均精度均值（mAP）@k以及平均倒数排名（MRR）@k等指标，对用于颅骨与人脸匹配的基于孪生网络的深度神经网络进行了全面的性能评估。引言颅面识别旨在根据颅骨特征来识别个人[1]。这一技术被广泛应用于法医学、历史学、人类学和考古学等领域[2]。在法医学中，当其他所有识别手段都无法使用时，面部识别对于识别死者尤其有用，尤其是通过骨骼遗骸进行识别[3]。当犯罪现场发现无法识别的颅骨时，执法人员首先会在颅骨上覆盖黏土来重建面部，然后再将其与失踪人员的面部图像数据库进行比对，以确定其身份。恐怖分子的识别也是众多可从成功识别中受益的法医案例之一，此外还包括山区大规模山体滑坡以及沿海地区海啸中的受害者识别。皮肤、头发和其他器官等软组织会随着时间逐渐腐烂，但骨骼可以保存更长时间，从而用于识别个人。此外，当对死者进行DNA检测时，确定DNA应与谁匹配也非常重要。因此，为了加快并提高效率，基于颅骨的识别对于缩小匹配范围至关重要。随着光学相机和X光成像等普遍存在的成像技术的进步，拍摄面部和颅骨已经变得更加经济且容易实现。此外，还可以使用非侵入式的3D面部数据采集技术[4]。更为重要的是，从照片中进行3D面部建模也受到了很多关注[5]。在应用模板变形技术时，人们假设如果颅骨在某些方面具有相似性，那么对应的面部的主要特征也应具有相似的形状[6]。通常，这类方法生成的重建结果中可能会出现模板面部一些视觉上意想不到的特征。传统方法则是根据解剖学数据和参考资料，手工将可塑材料塑形到未识别的颅骨上。根据Wilkinson的详细研究，这是一个非常主观的过程，需要大量的创造性解读，有时还会产生随机结果[7]。后来，这一过程主要有两种方法。第一种方法是进行颅面叠加，直接比较2D颅骨图像和面部图像[1]。第二种方法则是利用颅面重建技术构建3D面部模型，然后再将该模型与失踪人员的面部图像进行比对[8]。Tu等人提出了一种基于关键点的颅骨识别系统[9]。该方法通过从3D和2D面部提取关键点来确定面部特征，进而计算重投影误差。虽然这种方法用户友好且可行，但它没有考虑到面部关键点质量的不同。在基于关键点的算法改进颅骨识别方面，Huang等人提出了一种新的基于关键点质量的算法[10]，在该算法中，识别时会考虑不同关键点的权重。不过，由于2D和3D面部上的关键点都是手动标注的，这种方法仍然无法获得最佳的面部关键点。所有这些方法都面临着数据不足的问题，因为缺乏足够的颅骨与其对应面部图像的成对数据。现有的颅骨与面部匹配方法[11]由于采用手工设计的特征表示并通过线性变换进行学习，无法有效弥合颅骨图像与面部图像之间的差距。因此，为了解决所有这些挑战和问题，我们首先创建了我们的基准数据集IITMandi_S2F，其中包含X光图像及其对应的正面和侧面面部图像。接着，为了将颅骨与其对应面部的跨模态差异映射到同一个领域空间中，我们采用了深度神经网络， specifically孪生网络[12]。这是通过计算网络两侧特征表示之间的欧几里得距离来得出相似度指标，并如第4节所述，利用三元组损失函数对模型进行对比训练来实现的。据我们所知，这是首项利用2D X光图像进行颅骨-面部识别与检索的研究。此前，孪生网络已被用于草图到面部的识别[13]，但尚未用于颅骨到面部的识别。我们使用三种指标（即召回率、平均精度均值mAP以及平均倒数排名MRR）来评估所训练模型在我们用于颅骨-面部识别的基准数据集上的性能。本研究工作的总体贡献如下：•我们准备了基准数据集IITMandi_S2F，为颅面识别与重建的研究奠定基础。该数据集包含40名志愿者提供的颅骨X光图像以及从正面和侧面拍摄的人脸光学图像。•我们提出了一种利用孪生网络和三元组损失函数来学习跨域身份表示的新框架。•我们使用召回率@k、平均精度均值（mAP）@k以及平均倒数排名（MRR）@k等指标，对用于颅骨-面部匹配的基于孪生网络的深度神经网络进行了全面的性能评估。本文的整体结构如下。第2节回顾了颅骨-面部识别领域的现有研究。第3节介绍了所提出的IITMandi_S2F数据集，包括数据收集和预处理流程以及相关的伦理声明。第4节阐述了所提出的基于孪生网络的框架及其架构组成部分。第5节详细描述了实验设置、评估指标、基线对比以及定量和定性结果。第6节讨论了所提框架的优势、局限性及未来发展方向。第7节对全文进行总结，并说明了数据获取情况。最后，“资金支持”部分介绍了相关资助详情。相关研究由于目前缺乏公共基准数据集，基于颅骨进行人物自动识别的研究还相当有限。目前，颅面重建工作仍由艺术家或解剖学家手工完成。为了解决实际的3D形状问题，还有一些基于表面的形状分析及分类技术被提出[14]。最近也有了一些用于颅骨与面部重叠的自动技术出现。这些技术利用了软组织之间的关联。数据集详情深度神经网络需要大量数据集才能进行通用模型训练，而大规模获取面部和颅骨的成对数据几乎是不可能的。为了解决这个问题，我们使用了从正面和侧面拍摄的面部X光扫描图像。X光是一种价格低廉且随处可见的成像技术，能够提供关于颅骨结构的丰富信息，且适用于各种情况，比如骨骼、已腐烂的尸体以及活人。图3展示了一些样本。方法论我们使用孪生网络来进行跨域身份表示，计算给定的颅骨图像和面部图像之间的匹配得分。孪生神经网络由两个共享权重的网络组成[12]，通常通过三元组损失函数进行训练。但在我们的方法中，我们采用了预训练的深度模型作为孪生网络的核心，用于从面部图像中提取嵌入向量。由于颅骨图像来自不同的领域，我们保持了相同的模型核心。实验评估对所开发的自动颅骨-面部匹配系统进行彻底的验证，对于考虑其在现实生活中的实际应用以及为这种识别技术在刑事调查中的更高效用提供科学依据而言极为重要。我们在准备好的数据集上对所提出的颅骨-面部相似度匹配框架进行了评估。数据集的详细信息见第3节。我们使用了70%的图像对来进行模型训练。局限性与讨论我们所提出的研究为弥合颅骨X光图像与光学面部图像之间的巨大模态差异迈出了第一步。首先，它引入了基准数据集IITMandi_S2F。其次，它提出了基于孪生网络的框架，用于学习颅骨与面部图像之间的映射函数。如表2所示的实验结果表明，所提出的框架在IITMandi_S2F数据集上的表现始终优于各种基线方法。尽管取得了这些令人满意的结果，结论在本文中，我们提出了一种基于孪生网络的框架，通过跨域身份表示来实现颅骨与面部的匹配，尤其是在传统识别方法（如软组织特征、指纹、头发等）无法使用时。我们的方法学习了一个共享的嵌入空间，在该空间中我们可以计算给定的一对颅骨图像和面部图像之间的相似度得分。通过对比实验，我们证明了所提出的框架具有很好的应用前景。CRediT作者贡献说明Ravi Shankar Prasad：写作——审阅与编辑、写作——初稿撰写、可视化、验证、方法论、数据整理、概念构思。Dinesh Singh：写作——审阅与编辑、指导、方法论、概念构思。资金支持这项研究得到了印度政府教育部高等教育司印度理工学院曼迪分校的种子基金项目IITM/SG/DIS-ROS-SPA/111的支持。利益冲突声明作者声明他们没有任何已知的可能会影响本文所述工作的财务利益或个人关系。致谢我衷心感谢那些投入时间和精力协助我们创建基准数据集IITMandi_S2F的志愿者们，同时也感谢IIT曼迪健康中心在整个数据收集过程中给予的合作与帮助。在撰写本文时，作者们使用了Grammarly工具来修正拼写和语法错误。在使用该工具之后，作者们还根据需要对内容进行了审阅和修改。Ravi Shankar Prasad于2019年在印度贾坎德邦的兰契大学获得了工学学士学位，2022年在印度加尔各答的贾达普尔大学获得了生物医学工程硕士学位。他目前正在印度理工学院曼迪分校攻读智能系统专业的博士学位。他的研究兴趣包括机器学习和模式识别。Ravi Shankar Prasad|Dinesh Singh