《Scientific Reports》：Deep transfer learning-based approaches with multimodal fusion to improve the prediction of knee osteoarthritis progression: data from the OAI and MOST cohorts
编辑推荐：
膝骨关节炎（knee osteoarthritis, KOA）的有效诊断与管理日益依赖于整合多种数据源，包括影像学与临床信息。本研究旨在评估在迁移学习（transfer learning, TL）辅助下应用多模态深度学习模型以增强KOA进展预测的效果。采用深度
膝骨关节炎（knee osteoarthritis, KOA）的有效诊断与管理日益依赖于整合多种数据源，包括影像学与临床信息。本研究旨在评估在迁移学习（transfer learning, TL）辅助下应用多模态深度学习模型以增强KOA进展预测的效果。采用深度学习模型（ResNet-34与DenseNet-201）分别提取磁共振成像（magnetic resonance imaging, MRI）与X射线影像特征。通过中间融合策略，评估了包含MRI、X射线及影像-临床数据的单模态、双模态与多模态配置。研究人员从骨关节炎倡议（Osteoarthritis Initiative, OAI）与多中心骨关节炎研究（Multicenter Osteoarthritis Study, MOST）队列中筛选了共计1714例患者。迁移学习策略包括：使用ImageNet预训练权重的一步迁移，以及先在某一KOA队列（OAI或MOST）上预训练、再在外部KOA队列（MOST或OAI）上进行微调与验证的两步迁移。结果表明，基于ImageNet的迁移学习显著提升了X射线模型的预测性能，在OAI与MOST队列中的AUC评分均超过0.7。对于基于MRI的模型，缺乏大规模预训练权重限制了迁移学习的性能增益。多模态配置相对于单模态或双模态模型未表现出明确优势。在无迁移学习条件下，DenseNet性能优于ResNet。上述发现强调了迁移学习在预测影像学KOA进展方面的潜在价值。
**研究背景与问题**
膝骨关节炎（knee osteoarthritis, KOA）的有效诊断与管理日益依赖于整合多模态影像数据与临床信息。数据融合技术能够结合多种数据源提升机器学习模型的性能，但在现有研究中，跨模态特征交互、编码器结构比较以及迁移学习（transfer learning, TL）策略对KOA进展预测的影响尚未被系统评估。既往深度学习研究多聚焦于KOA诊断或分级，针对长期纵向进展预测的研究较少；同时，医学影像数据集规模有限（通常<5000张），限制了复杂模型的有效训练。因此，研究人员利用OAI（Osteoarthritis Initiative）与MOST（Multicenter Osteoarthritis Study）两个大型公共KOA队列，系统评估了不同迁移学习策略与多模态融合方法对预测KOA影像学进展的贡献。
**研究内容与结论**
研究人员从OAI和MOST队列中筛选出1714例基线KL分级为2或3级的患者，定义进展为从基线到队列特定随访时间点（OAI为48个月，MOST为60个月）内侧关节间隙狭窄（medial joint space narrowing, JSNM）分级的增加。研究构建了基于ResNet-34和DenseNet-201编码器的多种模型配置，包括单模态（X射线或MRI）、双模态（MRI+X射线、MRI+影像-临床数据、X射线+影像-临床数据）以及三模态（MRI+X射线+影像-临床数据）融合模型，采用中间融合策略。迁移学习方面，实施了一步迁移（ImageNet预训练权重）和两步迁移（先在另一KOA队列预训练，再在目标队列微调）。结果显示：ImageNet迁移学习显著提升了X射线模型的预测性能（AUC最高达0.786）；MRI模型因缺乏3D预训练权重而未获得明显增益；多模态融合并未一致优于单模态或双模态配置；无迁移学习时DenseNet-201性能优于ResNet-34。研究还发现负预测值（NPV）系统高于正预测值（PPV），提示模型更适用于排除低风险患者。该研究为迁移学习与多模态融合在KOA进展预测中的应用提供了系统性证据，表明X射线结合ImageNet迁移学习是一种兼具效能与成本效益的策略。
**主要关键技术方法**
研究使用两个前瞻性多中心队列（OAI与MOST）的回顾性二次分析数据，最终纳入1714例患者。影像预处理：X射线采用ROI裁剪至120×120像素并缩放至350×350；MRI中OAI使用矢状位DESS序列，MOST使用冠状位STIR序列，分别裁剪至固定尺寸并归一化。模型架构：2D ResNet-34与DenseNet-201用于X射线特征提取，3D对应版本用于MRI特征提取；影像-临床数据经三层多层感知机（multilayer perceptron, MLP）处理。融合策略采用中间融合，即拼接各编码器提取的特征后输入MLP进行二分类。迁移学习包括一步迁移（ImageNet权重初始化X射线编码器）和两步迁移（跨队列预训练后微调），使用5折分层交叉验证评估AUC、PPV和NPV，采用DeLong检验比较AUC差异。
**研究结果**
*无迁移学习的模型表现*：在OAI队列中，仅单模态MRI（DenseNet-201）AUC超过0.7（0.708±0.051）；在MOST队列中，单模态X射线、X射线+影像-临床数据、X射线+MRI及多模态模型（DenseNet-201）的AUC均超过0.7。DenseNet-201整体优于ResNet-34，多模态融合未能超越单模态或双模态。
*ImageNet一步迁移学习*：X射线单模态模型性能显著提升，OAI队列中ResNet-34 AUC为0.721±0.019（p=0.006），DenseNet-201为0.733±0.043（p=0.001）；MOST队列中分别达到0.769±0.031和0.786±0.035（p<0.001）。OAI队列中多模态ResNet-34取得最佳AUC（0.749±0.012），MOST队列中多模态DenseNet-201最佳（0.785±0.017）。
*跨队列两步迁移学习*：X射线模型跨队列迁移后AUC有所提升但未达统计学显著。MRI模型中DenseNet-201优于ResNet-34（OAI：0.677±0.022 vs 0.589±0.032；MOST：0.674±0.051 vs 0.616±0.024）。X射线+影像-临床组合的跨队列迁移性能稍低于ImageNet初始化。双模态X射线+MRI在OAI（0.750±0.022）和MOST（0.784±0.047）均达到高AUC。与ImageNet初始化相比，外部队列迁移的X射线模型性能与MRI模型相比更具竞争力。
*PPV与NPV*：PPV范围0.34–0.74，使用迁移学习的模型PPV普遍更高；NPV范围0.60–0.87，且随融合策略变异较小。OAI中最高NPV（0.87）见于无迁移学习的双模态X射线+影像-临床模型（DenseNet-201）；MOST中最高NPV（0.80）见于双迁移学习的双模态MRI+影像-临床模型。
**讨论与结论**
研究表明ImageNet迁移学习对X射线模型增益显著，而MRI因缺乏3D预训练资源受限。多模态融合未显示一致优势，可能源于模态间信息冗余及中间融合对高维特征的不平衡压缩。影像-临床变量的增量价值有限，与既往研究一致。跨队列迁移中，OAI→MOST方向优于反向，可能归因于队列规模、成像协议、随访时长等差异。结论强调，基于X射线的单模态或双模态配置配合ImageNet迁移学习是兼顾性能与成本的有效方案；模型高NPV特性支持其作为筛查工具识别低进展风险膝关节。未来应探索MRI进展终点、其他融合策略及可解释性框架。
