基于零样本Segment Anything Model（SAM）的儿科手部X射线图像性别分类研究及其在法医人类学中的应用

本研究针对儿科手部X射线图像，开发了一种无需提示工程的零样本SAM分割方法，结合深度学习模型实现了高精度性别分类。研究人员通过系统评估SAM在X射线图像分割中的表现，提出基于几何准则的手部掩膜检测算法，并对比了多种图像表征方式。结果显示，该方法在测试数据上达到95%以上的分类准确率，并成功应用于史前手印的性别预测，为法医人类学和医学图像分析提供了高效、低成本的解决方案。

　　

在法医人类学和法医学领域，性别分类是一项基础性工作，尤其在处理大规模灾难和创伤事件时至关重要。传统上，法医专家依赖于分析骨骼尺寸，如骨盆和头骨的测量数据。然而，当这些较大骨骼因损伤或其他因素难以评估时，注意力便转向手部等较小的骨骼结构。手部骨骼的性别二态性（sexual dimorphism）基于骨比率、密度和尺寸等特征，这些差异可能与产前雄激素暴露和性别行为模式相关。近年来，随着深度学习模型在计算机视觉领域的显著进展以及医学成像技术的日益普及，法医图像分析的未来正转向人工智能（AI）自动化的潜力。例如，从X射线图像自动预测年龄和性别已成为一个新兴研究方向，其中手部骨骼结构作为分析目标备受关注。

尽管深度学习模型如卷积神经网络（CNN）在医学影像领域已展现出超越人类专家的性能，但医学图像的复杂性——包括低对比度、模糊边界以及解剖结构依赖年龄和性别等因素——仍带来巨大挑战。图像分割作为减少复杂性的关键步骤，能够将医学图像划分为有意义的区域，如解剖结构、骨骼或器官，从而提升后续分析的可靠性。近期，Segment Anything Model（SAM）作为一种通用图像分割解决方案，因其在广泛分割任务中的卓越跨域性能（即零样本学习能力）而受到关注。然而，SAM在医学影像任务中尚未证明与专门训练的模型相竞争，尤其是在X射线图像方面，相关研究较少。此外，SAM依赖空间或语义提示（如点、边界框或文本）来定制分割任务，这在处理大面积或高度非凸区域时可能不适用，且提示生成需要大量标注数据和专家知识，成本高昂。

针对上述问题，研究人员开展了一项全面研究，旨在利用零样本SAM改进儿科手部X射线图像的性别分类，并探索其在法医人类学中的应用。研究基于RSNA儿科骨骼年龄数据集，包含1个月至19岁儿科患者的左手X射线图像，系统评估了SAM在X射线图像分割中的表现，提出了一种基于几何准则的手部掩膜检测算法（避免成本高昂的重新训练和提示工程），比较了多种X射线图像表征方式（包括手部骨骼结构和手部轮廓），并应用深度学习模型和集成策略进行性别分类。此外，研究还通过聚合多个模型的归因图实现决策的可视化解释，并将训练于手部轮廓的模型迁移至史前手印的性别预测中。研究成果发表在《Computer Vision and Image Understanding》期刊上。

为开展研究，作者主要采用了以下关键技术方法：首先，使用零样本SAM进行手部分割，通过生成增强版X射线图像（如直方图均衡化、锐化和高斯模糊）提升分割效果；其次，设计基于几何规则的手部掩膜过滤策略，依据面积、质心位置、固体性和凸性缺陷等属性筛选候选掩膜；然后，构建六种图像表征（包括原始图像、手部数据、增强手部数据、手部轮廓及两种背景表征）用于性别分类；接着，采用EfficientNet-B0模型进行深度学习分类，并通过集成学习（10个模型的最大投票）提升性能；最后，利用LayerCAM生成归因图进行可视化解释，并通过加权几何中值聚合多模型注意力图。数据集来源于RSNA儿科骨骼年龄挑战数据集，包含14,036张左手X射线图像，分为训练集、验证集和测试集。

研究结果分为多个部分，以下按小标题简要归纳：

手部分割结果：零样本SAM在分割手部掩膜方面表现出色，整体检测率超过99%，假阴性率低于2%，假阳性率几乎为零。通过增强图像版本（如OR+HE+SH+GB）和规则过滤策略，SAM在测试集上达到98%的敏感度和100%的精确度。

性别分类结果：使用EfficientNet-B0模型和集成学习，不同图像表征的分类准确率各异。增强手部数据表现最佳，测试准确率达95.9%；手部轮廓数据准确率为84.2%；背景数据分类准确率接近80%，表明背景中可能存在误导性模式。分类错误主要集中在低龄组（如婴儿），因骨骼结构未成熟和样本不足导致。

可视化解释结果：通过LayerCAM生成的归因图显示，女性类关注腕掌关节（carpometacarpal joints），男性类关注桡腕关节（radiocarpal joint）。手部轮廓数据中，手指区域对性别分类有显著贡献，与人类数字公式的性二态性一致。

史前手印性别预测：将训练于手部轮廓的模型应用于五个史前手印（来自Cosquer、Chauvet等洞穴），预测结果与先前基于手部结构特征的假设高度一致，例如Cosquer手印被分类为女性，Chauvet手印为男性，证实了模型在法医人类学中的实用性。

研究结论部分强调，本研究证实了零样本SAM在手部X射线图像分割中的高效性，无需提示工程或重新训练即可实现高精度分割。性别分类结果展示了手部骨骼和形态特征的判别价值，深度学习模型结合集成学习能达到95%以上的准确率。可视化解释揭示了性别差异的解剖学基础，与以往研究证据一致。此外，背景分析表明，医学影像中背景多样性有限可能导致学习偏差，需在数据策展和预处理中加以注意。史前手印的性别预测验证了模型的泛化能力，为人类学研究提供了新工具。未来工作将关注年龄依赖性模式的演化、部分手部视图的预测潜力，以及开发自动工具以支持人类学家解读古代社会。总体而言，这项研究为法医和医学图像分析提供了一种低成本、高效的解决方案，具有重要的理论和应用意义。