面向X射线图像关键点定位的密集连接热力图回归网络

《Engineering Applications of Artificial Intelligence》：Densely connected heatmap regression network for X-ray image landmark localization

　　

摘要

脊柱 X 光图像中标点点的定位在疾病诊断和手术机器人路径规划领域具有重要的价值。然而，现有的 X 光图像标志点定位方法存在精度不足和对严重遮挡及大面积不均匀光照鲁棒性差的问题。我们提出了一种深度学习模型，即密集连接热图回归网络（Densely Connected Heatmap Regression Network, DHR-Net），用于 X 光图像中的标志点定位。DHR-Net 能有效融合不同深度和尺度的特征信息，因此在 X 光图像脊柱解剖标志点定位任务中，相比现有方法具有更高的精度和鲁棒性。DHR-Net 在前后位和侧位 X 光图像标志点定位任务中的平均定位误差分别为 1.41 毫米（mm）和 1.57 毫米。当使用 2 毫米作为判定阈值时，成功检测率分别为 68.69% 和 64.14%；当使用 3 毫米作为判定阈值时，成功检测率分别为 88.89% 和 79.80%。因此，DHR-Net 在脊柱 X 光定位任务中展现出令人瞩目的临床应用潜力。

引言

X 光图像在脊柱疾病治疗领域具有重大的应用价值和重要性，广泛用于疾病筛查和诊断、手术规划及评估等（Goodwin 等，2022）。X 光图像中标志点的检测是医学图像处理领域的一个重要研究任务。该任务在疾病诊断、骨龄评估以及手术机器人路径自主规划中起着相应的重要作用（Wu 等，2023）。在脊柱疾病诊断和治疗领域，X 光标志点的检测也非常重要（Yi 等，2020）。然而，传统的 X 光图像标志点定位方法通常需要医生手动操作，这对临床经验水平有一定的要求。此外，手动标注的标志点往往具有较大的主观性，且标注质量参差不齐。因此，迫切需要一种高效且准确的方法来精确定位脊柱 X 光图像中的标志点。

近年来，出现了几种 X 光图像标志点的自动检测方法。McCouat 等（2021）提出了一种使用堆叠沙漏网络自动定位关节 X 光图像中标志点的方法。Bier 等（2018）提出了一种不依赖于观察方向的 X 光图像标志点自动检测方法，可用于盆腔手术中的 2D/3D 对齐任务。Song 等（2020）提出了一种基于残差网络（ResNet）（He 等，2016）骨干网络的新型标志点检测算法，实现了头部分割标志点的检测。Lee 等（2017）提出了一种使用卷积神经网络的端到端深度学习系统，用于牙科 X 光图像的标志点检测。Wang 等（2021）提出了一种具有迭代方法的深度卷积神经网络，用于定位头部分割标志点。Lu 等（2024）提出了一种通用标志点检测模型 UniverDetect，可以同时学习 8 个领域中的 118 个分割标志点。Wang 等（2022a）提出了一种基于高分辨率网络（HRNet）（Sun 等，2019）的两阶段热图回归模型，实现了高效且稳定的头影测量标志点定位。Huang 等（2024）提出了基于归一化流的分布先验（NFDP），这是一种基于归一化流的标志点分布先验，作为可学习的惩罚项集成到回归和热图网络中，用于医学 X 光标志点定位。

Kasturi 等（2024）提出了一种基于 Transformer（Vaswani 等，2017）和 U-Net（Ronneberger 等，2015）的胸部 X 光图像解剖标志点定位算法，验证了 Transformer 在医学图像解剖标志点定位任务中的可行性。Laitenberger 等（2025）提出了一种基于视觉 Transformer（ViT）（Dosovitskiy 等，2020）架构的直接坐标预测方法，用于头影测量标志点检测。Elbatel 等（2026）提出了基于 Transformer 的 MedSapiens 模型，该模型通过低秩适配微调适配人体姿态估计基础模型 Sapiens，实现了医学图像中解剖标志点的高精度检测。Wu 等（2024）提出了跨年龄头影测量标志点检测（CeLDA），这是一种使用整体原型、跨图像对齐和掩码关系挖掘的跨年龄头影测量标志点检测方法。

近年来，许多学者提出了脊柱医学图像解剖标志点的自动检测算法。Wang 等（2024）提出了一种多阶段卷积神经网络，并通过两步法证明了其在准确识别 X 光图像中每个脊柱段的中心点和四个角点以及椎骨的四个角点方面的有效性。Wu 等（2017）提出了一种基于 BoostNet 的标志点定位算法，有效地结合了卷积神经网络和统计方法以适应 X 光图像的变化。Li 等（2023）提出了空间金字塔上采样网络（SPU-Net）方法，基于标志点定位实现了自动椎板切除手术切割平面规划。Fard 等（2022）提出了一种新的编码器 - 解码器卷积神经网络 PoseNet 及其相应的损失函数，以实现具有缺失脊柱的 X 光图像的标志点定位。Pisov 等（2020）提出了一种使用脊柱压缩性骨折检测网络进行 X 光图像标志点定位的方法。An 等（2022）提出了一种新的两阶段腰椎 X 光图像标志点检测网络，首先识别腰椎中心和第一骶骨椎（S1）的上终板，然后定位每个腰椎和 S1 的四个角点。Zhou 等（2023）提出了一种新的双视觉融合网络（DVFNet）框架，可以自动识别脊柱分割 X 光图像中的前后位（AP）和侧位（LAT）标志点。Cina 等（2021）提出了一种两阶段自动方法，用于定位 X 光图像中的腰椎上终板以计算相应的放射学参数。Choi 等（Choi 和 Jang，2024）提出了一种结合 Pose-Net 和 M-Net 的标志点检测算法，生成对应于标志点的热图以实现精确定位。Wang 等（2022b）提出了一种多输入 U-Net（MultiA-UNet）算法，专注于不同腰椎 X 光图像之间局部特征的相似性，以实现准确有效的标志点检测。

全局特征信息对于增强标志点定位算法的鲁棒性至关重要，但局部细节信息对于算法精度同样不可或缺（Wang 和 Zhang，2024）。因此，有效整合全局和局部特征信息是确保算法精度和鲁棒性的关键。Sun 等（2021）提出了一种新的多尺度空间特征融合网络，实现了果树树枝上标志点的检测，并有效解决了叶片遮挡问题。Zhang 等（2024）提出了一种多尺度、多维特征融合心脏标志点 3D 检测网络（2 MF-Net），可以减少结构相似性干扰。Lu 等（2023）提出了一种两阶段多尺度特征融合标志点检测算法，以解决不规则骨盆 X 光图像中标志点定位的任务。

总之，现有的脊柱 X 光图像标志点定位算法未能有效整合不同深度和尺寸的特征信息，导致在解剖标志点定位时的精度和鲁棒性较低。它们也容易受到机械遮挡和不均匀光照分布的干扰。因此，本文提出了一种集成多尺度卷积、注意力机制和密集跨阶段融合的脊柱解剖标志点定位算法。基于热图回归，旨在增强临床 X 光图像中的定位精度和稳定性。我们的主要贡献如下。

• (1)
  设计了一个非对称编码器 - 解码器：编码器提取多尺度和多深度特征，而解码器执行高效的特征融合。跨层全密集连接和可学习采样策略增强了不同深度和尺度特征之间的交互；
• (2)
  跨模块跨阶段密集级联，其中深层特征直接指导浅层学习，以减轻长路径上的信息衰减。

章节片段

网络架构

我们提出了一种有效的标志点检测算法，整合了多尺度和多级特征，称为密集热图回归网络（Dense heatmap regression network, DHR-Net），如图 1 所示。DHR-Net 由多个密集连接模块（DC-Modules）连接构成。每个 DC-Module 由多个特征提取块组成，这些块通过下采样和上采样块连接。每个 DC-Module 作为一个小型编码 - 解码网络结构，存在密集连接

结果

这确保了来自同一患者的所有裁剪补丁被分配到单个子集中，以防止数据泄漏。我们采用平均径向误差（MRE）和成功检测率（SDR）作为算法精度的评估指标，遵循国际生物医学成像研讨会（ISBI）2015 挑战赛中定义的标准。此外，我们还统计了每个算法的参数数量、训练时间和推理时间作为补充指标，其中训练时间测量

讨论

本研究提出了 DHR-Net，一种基于热图回归和密集连接架构的 X 光图像解剖标志点定位算法。DHR-Net 实现了前后位和侧位脊柱 X 光图像上脊柱解剖标志点的精确定位。如表 2 所示，DHR-Net 在前后位和侧位图像上的平均径向误差（MREs）分别为 1.41 毫米和 1.57 毫米。这些结果已与主流方案进行了全面比较和分析

结论

本研究提出了 DHR-Net，一种基于热图回归和密集连接架构的 X 光图像解剖标志点定位算法。如表 2 所示，DHR-Net 在前后位脊柱 X 光图像上的平均径向误差为 1.41 毫米，在侧位图像上为 1.57 毫米。以 2 毫米和 3 毫米作为评估阈值，其在前后位图像上的成功检测率达到 68.69% 和 88.89%，在侧位图像上分别为 64.14% 和 79.80%。实验结果表明

CRediT 作者贡献声明

Yonghong Zhang: 撰写 – 初稿，验证，软件，资源，方法论。 Xuquan Ji: 软件。 Baoduo Geng: 撰写 – 审阅与编辑，数据整理。 Guikai Wang: 验证，资源。 Yuanyuan Zhu: 验证，形式分析。 Lei Hu: 可视化，资源。 Yumei Xue: 项目管理，概念化。

利益冲突声明

经过全面彻底的审查和自评，我确认在本项目相关事项中不存在实际或潜在的利益冲突。这包括财务方面、个人或职业关系，或任何其他可能影响我的客观性、独立性或公正性的因素。

我自愿作出此声明并承担相应的法律责任，我意识到其含义。

致谢

本工作得到了京津冀地区基础研究工作合作专项（项目编号：J230020）和北京市自然科学基金 – 丰台创新联合基金（项目编号：L241072），以及逐正机器人有限公司的支持。

Yonghong Zhang|Xuquan Ji|Baoduo Geng|Guikai Wang|Yuanyuan Zhu|Lei Hu|Yumei Xue