编辑推荐:
为解决 CT 序列代表性切片筛选难、多模态数据利用不足问题,研究人员构建强化学习驱动的知识蒸馏辅助多模态模型(含 DRLIS 和 KDAMM 模块)。在自收集数据集上,模型 accuracy 达 88.65%、AUC 为 0.9542,为骨质疏松 opportunistic screening 提供新方案。
骨质疏松是一种以骨量减少、骨结构退化为特征的全球性骨骼疾病,其高患病率和严重并发症(如骨折)给公共健康带来巨大负担。当前临床虽以双能 X 线吸收测定法(DXA)作为诊断 “金标准”,但无症状性导致高危人群筛查率极低,多数患者直至骨折才被确诊。开发高效的机会性筛查模型成为迫切需求。然而,现有多模态模型面临两大挑战:一是 CT 图像序列中代表性切片难以精准筛选,传统方法依赖人工选择易引入冗余信息;二是缺乏完整模态数据的样本无法直接用于融合,造成数据浪费且影响模型性能。
为攻克上述难题,山东大学齐鲁医院的研究团队开展了一项创新研究,相关成果发表在《Computer Methods and Programs in Biomedicine》。该研究构建了一种基于强化学习驱动的知识蒸馏辅助多模态模型,整合人口学特征、常规实验室指标(如血常规、尿常规)和 CT 图像,旨在提升骨质疏松机会性筛查的准确性和数据利用率。
研究采用的关键技术方法包括:1. 深度强化学习图像选择模块(DRLIS),通过强化学习框架自动从 CT 序列中筛选最具诊断价值的切片,无需人工标注;2. 知识蒸馏辅助多模态模型(KDAMM),利用单模态 “教师网络” 向多模态 “学生网络” 传递知识,有效利用不完整模态样本;3. 实验数据来自自收集的回顾性队列,经伦理委员会批准(KYLL-2020 (KS)-743)。
结果
模型性能评估
在自收集数据集上,该多模态模型实现了 88.65% 的准确率(accuracy)和 0.9542 的曲线下面积(AUC),较现有模型分别提升 2.85% 和 0.0212,显著优于单一模态或传统融合方法。
组件有效性验证
通过消融实验证实,DRLIS 模块可精准识别包含骨密度降低、结构退化的关键 CT 切片,避免冗余信息干扰;KDAMM 模块通过知识蒸馏机制,将不完整模态样本的信息有效整合至多模态模型中,提升数据利用率达 30% 以上。
特征重要性分析
SHAP 值计算表明,人口学特征(如年龄、BMI)和实验室指标(如维生素 D 水平)与 CT 图像特征具有互补性,共同贡献于骨质疏松预测,其中 CT 图像的纹理特征权重最高。
结论与讨论
本研究提出的知识蒸馏辅助多模态框架为骨质疏松机会性筛查提供了新范式。DRLIS 通过强化学习实现 CT 切片的智能筛选,突破了传统人工标注的局限性;KDAMM 则创新性地利用知识蒸馏技术,解决了多模态数据不完整的难题,拓宽了模型的适用范围。实验结果表明,该模型在准确性和鲁棒性上均达先进水平,为临床大规模推广骨质疏松早期筛查提供了技术支撑。未来可进一步整合更多模态数据(如基因信息),并在更大样本队列中验证模型泛化能力,推动其向临床实际应用转化。