基于多模态决策链融合的膝骨关节炎智能诊断系统Osteo-Fusion：结构-功能协同评估新范式

本研究针对膝骨关节炎(KOA)传统诊断依赖单一模态、早期识别率低的临床痛点，提出创新性多模态决策链融合模型Osteo-Fusion。通过整合X光结构评估与步态功能分析的双模态数据，采用两阶段决策链(VGG-16优化+迁移学习)实现疾病诊断与严重程度分级，在X光分类任务中取得98.5%训练准确率，步态分类F1-score达0.98，系统整体准确率85%。该研究为KOA的自动化早期筛查提供了结构-功能协同评估新范式。

　　

膝骨关节炎(KOA)作为全球致残率最高的退行性关节疾病，每7名成年人中就有1名患者。传统诊断主要依赖X光检查，但存在电离辐射风险且对早期软组织病变不敏感；而步态分析虽能捕捉功能异常却缺乏结构评估。更棘手的是，现有AI诊断系统多采用单一模态，难以兼顾结构损伤与功能障碍的关联性，导致临床误诊率高达26%。如何突破"结构-功能"评估割裂的瓶颈，建立更精准的早期诊断体系，成为骨科AI领域亟待解决的难题。

为此，研究人员开发了名为Osteo-Fusion的创新性诊断系统。这项研究通过融合X光结构成像与步态功能分析的双模态数据，首次将决策链(Decision chaining)概念引入KOA诊断领域。系统采用两阶段决策流程：第一阶段通过优化VGG-16模型分析X光片实现疾病筛查(准确率98.5%)，第二阶段基于步态视频的VGG-16模型进行严重程度分级(F1-score 0.98)。这种"先定性后定量"的串联架构，既避免了多模态数据直接融合的信息干扰，又显著降低了计算复杂度。论文发表于《Intelligence-Based Medicine》，为骨科疾病智能诊断开辟了新路径。

关键技术包括：1)基于Media Pipe的步态关键点检测与ROI提取；2)优化VGG-16模型(冻结前11层+自定义顶层)的迁移学习策略；3)决策级融合(Decision-level fusion)中的两阶段决策链架构；4)采用OAI数据集(4796例X光)和KOA-PD-NM步态数据集(10,000+视频帧)进行模型训练。

【材料与方法】
研究团队创新性地提出"结构-功能"协同评估框架：X光模态聚焦关节间隙狭窄(JSN)、骨赘形成等结构特征；步态模态捕捉步幅长度、膝关节屈曲角度等功能参数。通过决策链设计，系统仅在X光检测阳性时启动步态分析，既保证诊断完整性又提高效率。数据预处理阶段，X光图像经灰度转RGB、归一化(像素值[0,1])及6种增强处理；步态视频通过姿态估计提取33个关键点，经20像素扩展后裁剪ROI区域。

【结果】
单模态测试显示：优化VGG-16在X光二分类任务中训练/验证准确率达98.5%/96%，precision-recall均超过0.95；步态三分类任务中，对中度、重度病例的识别率接近100%(F1-score 0.98)。决策链系统整合测试显示：整体准确率85%，加权F1-score 0.8325，特别在 Moderate/Severe 分级表现优异(precision 0.98-1.00)。GRAD-CAM可视化证实模型能准确定位关节间隙和步态周期关键帧。

【结论与讨论】
该研究突破性地实现了三大创新：1)首次将决策链架构应用于KOA多模态诊断，避免特征级融合的信息损失；2)通过Media Pipe实现动态步态特征提取，弥补传统X光的软组织评估盲区；3)优化VGG-16模型在保持轻量化的同时提升分类性能。临床价值在于：对中度/重度病例的精准识别(准确率>98%)可辅助制定个性化治疗方案；而85%的整体准确率显示其在基层医疗机构的推广潜力。未来通过引入热成像等新模态，有望构建更完善的"结构-功能-代谢"评估体系。

SARITA GULIA团队的工作标志着KOA诊断从单一影像判读迈向多模态智能决策的重要转折。这种融合解剖结构与运动功能的评估范式，不仅适用于骨关节炎，也为其他退行性疾病的早期诊断提供了可借鉴的技术框架。