SUK-SegNet：一种可解释的混合Swin-U-Knee变换器，结合测试时增强技术用于膝关节骨性关节炎X光片分割

《Neurocomputing》：SUK-SegNet: An interpretable hybrid swin-u knee transformer with test-time augmentation for knee osteoarthritis x-ray segmentation

　　Binit Roy|Debapriya Banik
印度特里普拉邦阿加尔塔拉，ICFAI大学计算机科学与工程系，邮编799210

摘要
膝关节骨性关节炎是一种常见的肌肉骨骼疾病，会导致疼痛、功能障碍以及生活质量下降。本研究提出了SUK-SegNet，这是一种兼具可解释性和高效性的混合Transformer-CNN框架，用于膝关节X光片的二值分割。该架构整合了预训练的Swin Transformer编码器以实现分层上下文表示，空间注意力模块用于突出显示具有解剖学意义的区域，混合扩张金字塔结构用于高效的多尺度特征提取，双门控融合解码器用于自适应特征整合，以及边缘感知优化模块用于实现边界敏感的预测。在Roboflow和扩展版Roboflow数据集上测试时，SUK-SegNet的Dice/IoU得分分别为74.02%/57.20%和94.32%/89.27%，性能优于TransUNet、DeepLabV3+、UNet++和Swin-UNet。混合扩张金字塔模块为ASPP风格的聚合方式提供了高效替代方案，而双门控融合与边缘感知优化模块则在几乎不增加额外开销的情况下提升了特征融合效果和边界精度。测试时采用水平翻转增强技术可提高推理过程中的预测稳定性。在没有重新训练的情况下，对该架构在DMID乳腺X光数据集上的跨数据集评估结果表明，其在较大领域差异情况下仍能保持分割能力。Grad-CAM可视化分析显示，模型在分割过程中会聚焦于具有解剖学意义的区域，从而提升了可解释性。不过，由于缺乏校准过的DICOM像素间距信息以及专家标注的关节间隙宽度参考值，本研究仅实现了膝关节区域的二值分割，未能直接估算毫米级的关节间隙宽度。未来的研究将探索利用DICOM影像或经过临床标注的关节间隙宽度数据集来实现精确的关节间隙宽度估算。该模型的实现代码可在Kaggle上获取。

引言
膝关节骨性关节炎是最常见的退行性关节疾病，也是全球范围内导致残疾寿命增加的主要因素之一[1]。2020年，约有5.95亿人患有骨性关节炎，占全球人口的7.6%，其中膝关节是最常受影响的关节。根据目前的流行病学趋势，到2050年，膝关节骨性关节炎的发病率预计将上升近75%[2][3]。日益严重的临床和社会经济负担使得人们更加需要能够进行早期结构评估和可靠疾病监测的客观、可重复的工具[4]。X光检查和磁共振成像仍是评估膝关节骨性关节炎的主要手段。通过这些图像准确识别骨骼、关节软骨、半月板及关节间隙，可以提取出诸如关节间隙宽度、软骨厚度等定量生物标志物，这类指标相比粗略的Kellgren Lawrence分级更能反映疾病的进展程度[5]。然而，手动逐片标注工作耗时较长，需要专业的肌肉骨骼放射科医生，且不同观察者之间的标注结果存在较大差异，这限制了该方法在大规模群体研究或纵向研究中的应用[6]。

基于经典图谱和水平集的分割方法在一定程度上减轻了人工 workload，但在存在骨赘、严重关节间隙狭窄以及扫描间差异的情况下，其稳定性较差。过去十年间，深度学习彻底改变了医学图像分割领域的发展格局。在最初的UNet架构基础上，出现了许多改进版本，如带注意力机制的UNet、残差UNet以及基于先验知识的3D UNet，这些模型在SKI10和骨性关节炎研究计划等公开基准测试中取得了优异的Dice分数，证明了其在膝关节组织分割方面的有效性[7][8][9]。近年来，基于Transformer的编码器以及混合CNN与视觉Transformer的架构则展现了更强的长距离上下文建模能力，同时像“任意物体分割模型”这样的基础模型也被用于三维膝关节MRI的分析，逐步缩小了通用分割模型与特定任务专用模型之间的差距[10][11][12][13]。表1总结了目前最先进的图像分割技术。尽管已取得显著进展，但仍有若干关键挑战亟待解决：模型的泛化能力仍然有限，因为在单一扫描设备、检测方案或特定人群群体上训练的模型，在面对领域差异时往往会出现性能下降[14]；模型的可解释性以及与临床应用的结合也尚未得到充分研究，因为“黑箱”式的预测结果难以获得临床医生的信任，而可解释人工智能分析方法在膝关节骨性关节炎分割研究中的应用也极为少见。因此，迫切需要开发出精准、能适应不同领域条件、高效且透明度高的分割框架，以便在真实的临床环境中得到广泛应用。

本研究旨在在数据量极为有限的情况下，提升用于骨性关节炎分析的膝关节X光片分割精度。所提出的SUK-SegNet框架的端到端处理流程如图1所示。我们的主要贡献包括：
1. 提出了SUK-SegNet，这是一种用于精确膝关节X光片分割的混合Transformer-CNN框架；
2. 设计了混合扩张金字塔结构，能够在不产生网格伪影的情况下捕获丰富的多尺度上下文信息；
3. 引入了双门控融合解码器和边缘感知优化模块，以实现更好的特征融合和更清晰的边界恢复；
4. 采用了测试时增强技术和优化后的阈值处理方法，提升了模型的稳健性及Dice分数；
5. 通过可解释的Grad-CAM可视化技术，增强了模型的临床可解释性和透明度。

问题表述与符号说明
该分割任务的目标是建立每张膝关节X光片与其对应的二值掩码之间的映射关系。可将整个数据集视为由多对样本组成的集合，其中表示输入图像，而则表示对应的、用于标识膝关节区域的真实掩码。每张灰度X光片首先会被转换为三通道图像，并调整为统一的空间分辨率，以确保训练过程的一致性。包含参数的分割模型会接收这些图像作为输入。

数据集描述
为进行实验，我们使用了通过Roboflow平台整理的公共膝关节X光数据集，这些数据集中包含了已标注好分割任务的影像资料。该数据集包含276张训练图像和25张验证图像，这些图像涵盖了在不同光照条件、拍摄角度及解剖结构变化下的膝关节区域情况[40]，能够为研究提供贴近实际的样本数据。

临床应用与可解释性
在数据量有限的条件下，SUK-SegNet在膝关节骨性关节炎X光片分割任务中表现出良好性能，以较低的复杂度实现了具有竞争力的Dice和IoU得分。其Grad-CAM可视化结果进一步提升了模型的可解释性，显示了模型在预测过程中会对具有解剖学意义的区域给予重点关注。虽然SUK-SegNet采用了基于Transformer的编码器，但其计算开销仍低于其他高性能分割模型。需说明的是，本研究并未声称SUK-SegNet是计算开销最小的分割模型。

结论
本研究提出了SUK-SegNet，这是一种兼具可解释性和高效性的混合Transformer-CNN框架，专门用于骨性关节炎相关分析中的膝关节X光片二值分割。该架构结合了基于Swin Transformer的上下文表示技术、空间注意力机制、轻量级多尺度特征聚合方法、自适应门控融合机制以及边缘感知优化技术，能够在数据量极为有限的情况下实现更准确的膝关节区域分割。在Roboflow及其扩展数据集上的实验评估结果验证了该框架的有效性。

CRediT作者贡献声明
Binit Roy：撰写——初稿、可视化、软件实现、方法设计、实验分析、概念构思。Debapriya Banik：撰写——审稿与编辑、项目监督、项目管理、实验分析、概念构思。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。Binit Roy是印度特里普拉邦ICFAI大学科学技术学院计算机科学与工程系的研究学者，他拥有西孟加拉科技大学的工学学士学位以及特里普拉大学（一所中央直属大学）的工学硕士学位，还曾担任ICFAI大学的访问教授。