颈椎骨成熟分期中的预测准确率是否反映解剖学注意力?来自可解释性留出厂商验证的证据

《Frontiers in Medicine》:Does predictive accuracy reflect anatomical attention in CVM staging? evidence from explainable held-out vendor evaluation

【字体: 大 中 小 】 时间:2026年10月15日 来源:Frontiers in Medicine 3.6

编辑推荐:

  背景: 深度学习在颈椎骨成熟(CVM)分期中展现出良好性能,但不同研究报告的准确率差异较大。图像预处理和成像系统的差异可能影响模型性能,而深度学习的黑箱特性使得预测是否基于临床相关的颈椎形态学尚不明确。 方法: 回顾性收集来自四家成像厂商的908张头颅侧位片。

  
背景: 深度学习在颈椎骨成熟(CVM)分期中展现出良好性能,但不同研究报告的准确率差异较大。图像预处理和成像系统的差异可能影响模型性能,而深度学习的黑箱特性使得预测是否基于临床相关的颈椎形态学尚不明确。 方法: 回顾性收集来自四家成像厂商的908张头颅侧位片。其中,来自三家厂商的708张图像用于模型开发和内部验证,来自留出厂商的200张图像用于外部测试。研究在六种预处理流程下评估了ResNet-50和Swin Transformer。评估指标包括分类准确率、宏F1(Macro-F1)、相邻分期准确率和严重误分类率。采用Grad-CAM和注意力展开(attention rollout)进行定性可解释性分析。 结果: 外部精确分期准确率始终低于内部性能。ResNet-50在最小-最大加Z分数归一化下取得最高外部准确率0.47,Swin Transformer在最小-最大加对比度受限自适应直方图均衡化(CLAHE)下取得0.42。相邻分期准确率显著更高,但严重误分类仍然存在。预处理效应具有架构依赖性,没有单一策略能同时稳定提升两种模型。可解释性图谱显示,注意力与C2–C4的对齐程度不一,且偶尔强调非经典解剖区域或成像相关区域。 结论: 深度学习在CVM分期中的性能未能在不同成像条件下稳定泛化,预处理对不同架构的影响各异。这些发现提示,基于机器学习的CVM模型预测应谨慎解读,尤其当应用于不同成像条件下获取的数据时。
论文解读文章
一、研究背景与问题提出
准确识别青春期生长高峰是正畸诊断与治疗计划制定的基础。在用于评估骨骼成熟度的生物学指标中,颈椎骨成熟(CVM)分期因其操作简便且头颅侧位片在临床中常规可获得而被广泛采用。McNamara和Baccetti将该方法细化为聚焦第二至第四颈椎(C2–C4)的六阶段分类系统(CVM1–CVM6),通过评估C2–C4下缘凹陷的出现与进展以及C3–C4形态变化来判断骨骼成熟阶段。CVM分期直接关系到功能矫治器或骨性矫治等生长改良治疗的最佳时机选择,过早或过晚干预均可能影响疗效。近年来,人工智能尤其是计算机视觉技术的进步推动了医学图像分析的自动化发展,基于卷积神经网络(CNN)和Transformer架构的CVM自动分期研究不断涌现。然而,已发表研究的预测准确率差异极大,从约57%到95%不等,这种分散性给临床可靠性带来不确定性。造成差异的因素包括数据集特征报告不充分、超参数优化过度导致独立临床数据上的稳健性下降、不同厂商的影像对预处理策略的响应不一致,以及多数模型缺乏可解释性,临床医生难以判断预测是源于有意义的解剖特征还是偶然的伪影。基于此,本研究旨在系统评估图像预处理流程对CVM分期性能的影响、在相同的多厂商条件下比较CNN与Transformer架构,并利用可解释人工智能(XAI)技术考察模型注意力是否与既定的临床CVM评估标准一致。
二、研究设计与核心发现
研究人员回顾性收集了来自宁波口腔医院、济南口腔医院和惠州口腔医院三个临床中心的908张头颅侧位片,涉及Sirona、NewTom、Meyer和Vatech四家成像厂商。其中708张图像(Sirona 440张、NewTom 150张、Meyer 118张)用于模型开发和内部验证,200张Vatech图像被完全留出用于外部测试。所有图像由一名具有10年以上临床经验的 orthodontist 按照McNamara和Baccetti方法进行CVM分期标注,一个月洗脱期后重复评估,Cohen's κ=0.91,不一致图像由第二名资深 orthodontist 协商裁决。研究人员采用YOLOv8模型自动检测并裁剪颈椎区域(ROI),检测器精度0.993、召回率0.991、mAP50–95为0.865。在统一的实验框架下,设置了六种预处理流程:P1为原始图像直接输入,P2为ROI裁剪后直接输入,P3为ROI加最小-最大归一化,P4为ROI加最小-最大归一化加CLAHE,P5为ROI加最小-最大归一化加Z分数归一化,P6为ROI加最小-最大归一化加直方图处理。两种架构——ResNet-50(CNN)和Swin Transformer(视觉Transformer)——在相同的优化协议下独立训练,外部数据集仅用于评估,不参与任何训练或模型选择。研究采用精确分期准确率、宏F1、相邻分期准确率和严重误分类率作为评价指标,外部准确率的95%置信区间通过1000次自助重采样估计,并采用配对自助重采样进行统计检验。可解释性分析方面,ResNet-50使用Grad-CAM生成类别判别性显著图,Swin Transformer使用注意力展开聚合各层自注意力图,两者均覆盖正确分类和误分类样本。
三、主要研究结果
3.1 数据集特征
内部开发集共708张图像,按厂商分布进行约80:20分层划分,训练集566张、验证集142张;外部验证集200张全部来自Vatech系统。年龄范围8–39岁(开发集)和8–36岁(外部集),女性/男性分别为360/348和111/89。CVM分期分布存在中度类别不平衡,CVM5最多(开发集179张、外部集52张),CVM6最少(开发集45张、外部集17张),该分布反映了临床连续采集病例的自然患病模式。
3.2 各流程和架构的分类性能
内部验证准确率在各预处理流程间波动范围狭窄,ResNet-50为0.49–0.54,Swin Transformer为0.49–0.63,表明内部测试时对图像级处理策略的敏感性有限。然而,这些内部差异并未转化为外部测试集上的稳定提升,外部准确率在所有流程下均一致低于内部验证准确率。内部性能相对较高的流程并未可靠地泛化到异构成像来源,提示图像级预处理并不能实质改变深度学习模型在头颅侧位片CVM分期上的泛化行为。
3.3 外部验证与错误模式分析
在独立外部数据集上,ResNet-50的精确分期准确率范围为0.37–0.47,P5(ROI+最小-最大+Z分数归一化)取得最高值0.47(95% CI: 0.40–0.54);Swin Transformer的准确率范围为0.29–0.42,P4(ROI+最小-最大+CLAHE)取得最高值0.42(95% CI: 0.35–0.49)。宏F1值方面,ResNet-50为0.261–0.362,Swin Transformer为0.189–0.300。相邻分期准确率显著高于精确分期准确率,ResNet-50为0.820–0.915,Swin Transformer为0.765–0.975;严重误分类率分别为0.085–0.180和0.025–0.235。配对自助重采样检验显示,ResNet-50中P5与P2的差异达到统计学显著(P=0.032),但与其他流程的差异均不显著;Swin Transformer中数值最优的P4与其他所有流程的差异均无统计学意义。这表明数值上最优的预处理流程不应被解读为统计上优于其他流程,且较高的相邻分期一致性并未消除临床相关的严重错误。
3.4 定性可解释性分析
基于原始图像的预测中,ResNet-50的Grad-CAM频繁聚焦于C2–C4目标区域之外的区域,如颅底、牙列和第一颈椎棘突;Swin Transformer的注意力则分布于整个颈椎区域和后颅区域。值得注意的是,非解剖学伪影——包括图像比例尺(标尺)和周边光带——在正确分类和错误分类案例的注意力图中均频繁被高亮,提示存在潜在的捷径学习模式。
3.5 预处理对模型注意力的影响
没有单一预处理流程能在两种架构上一致优于其他流程。基于外部精确分期准确率,P5对ResNet-50最优,P4对Swin Transformer最优,表明预处理的有效性是架构依赖性的而非跨模型类型普遍适用。相同图像在不同预处理流程下产生不同预测结果,细微的特征增强策略偶尔将预测从正确转为错误或反之,且缺乏一致的解剖学基础。
四、讨论与结论
讨论部分指出,预处理策略对CNN和Transformer模型产生差异化影响,这源于两种模型不同的特征提取机制:Z分数归一化可能降低CNN特征提取的厂商相关灰度变异性,而CLAHE可能增强Transformer表示所需的椎体边界和凹陷周围的局部对比度,但这些机制性解释仍属探索性。研究揭示了训练与验证性能之间的显著差距——训练准确率接近1而内部验证准确率仅0.49–0.63,表明存在明显过拟合,跨厂商分布差异构成额外的泛化挑战。XAI分析发现预测常受C2–C4规范区域之外特征的影响,包括舌骨、气道形态和牙齿发育,这与捷径学习或“聪明汉斯”效应一致,模型利用相关辅助线索而非预期解剖特征;同时模型对甲状腺护罩、正畸矫治器和图像比例尺等非解剖混杂因素敏感。ROI提取虽缓解了部分混杂因素,但部分ROI实验中性能的适度下降提示全局上下文线索可能对预测有贡献。研究强调,CVM分期直接指导治疗时机,错误可能产生不可逆后果,AI输出不应凌驾于临床判断之上。局限性包括:第二评估者仅评估不一致案例导致全数据集观察者间一致性无法量化、XAI定性解读存在挑战、未探索多模态整合、外部验证仅使用单一留出厂商、统一优化协议未针对各架构独立调优、未显式编码CVM分期的序数关系。结论部分指出,在本研究评估的模型和实验条件下,跨厂商成像条件下预测性能与解剖相关注意力并不总是对齐,性能指标本身可能无法完整刻画CVM分期中的模型行为,基于机器学习的CVM预测应谨慎解读,不应替代临床判断。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号