关于膝关节骨关节炎严重程度分级的多模态空间约束对比学习研究

《Journal of Biomedical Informatics》：Study on multimodal spatially-constrained contrastive learning for knee osteoarthritis severity grading

膝关节骨关节炎（KOA）的严重程度分级存在单模态数据覆盖不足和类别分布不平衡的问题。本文提出多模态时空约束对比学习（MSCL）模型，通过融合动态足底压力、人体关键点轨迹和静态足底压力数据，利用跨模态注意力机制实现时空特征融合，并采用金字塔卷积网络提取静态压力的空间约束特征。对比学习模块直接嵌入KL分级标签的数值信息，缓解类不平衡问题。实验表明，MSCL模型在KOA分级中达到0.94的宏平均准确度，F1分数提升7%，尤其在早期病变检测中表现出高灵敏度，为临床提供非侵入式分级工具。

　　
膝关节骨关节炎（KOA）的严重程度分级是临床诊断中的关键环节，直接影响治疗方案的制定。近年来，基于步态分析的KOA分级方法逐渐成为研究热点，但其面临单模态特征覆盖不足、数据类别分布不均等挑战。针对这些问题，Wu等学者提出了一种名为Multimodal Spatial-constraint Contrastive Learning（MSCL）的混合模型，通过整合动态足底压力、静态足底压力和人体关键点轨迹等多模态数据，结合空间约束与对比学习机制，显著提升了KOA分级的准确性和鲁棒性。该研究通过大量实验验证了模型的有效性，并在跨模态融合、知识先验引导和类别不平衡缓解等方面展现出创新性。

### 研究背景与核心问题
KOA是一种以关节软骨退变和骨质增生为特征的退行性疾病，全球患者数量预计将在2050年达到1.3亿。传统分级方法依赖X光、MRI等影像学检查，存在辐射暴露、成本高、操作复杂等缺陷。基于步态分析的KOA分级方法近年来受到关注，但其主要瓶颈在于：
1. **单模态特征覆盖不足**：现有研究多依赖单一模态数据（如IMU传感器测量的动态步态或静态足底压力图像），难以全面捕捉膝关节疾病的生物力学特征。例如，静态足底压力虽能反映关节空间狭窄和骨质增生，但缺乏动态信息；动态步态数据虽包含运动特征，却可能忽略解剖结构约束。
2. **类别分布严重失衡**：临床数据中，轻度（Grade 0）和重度（Grade 4）病例样本量较大，而中间阶段（Grade 1-3）样本稀少，导致模型对早期病变（Grade 1）和进展期病变（Grade 3）的识别能力不足。

### MSCL模型的核心架构
该模型通过三个模块协同工作，形成“数据融合-约束引导-对比优化”的完整技术链条：

#### 1. 多模态时空融合分支
- **动态足底压力处理**：采集患者行走时足底压力分布（采样率300Hz，分辨率100×100），通过图像分块和时序建模提取动态压力模式。关键技术包括：
- **空间自注意力机制**：捕捉足底不同压力区域的局部关联性，识别关键压力点（如内侧髌骨压力异常升高）。
- **时序卷积网络**：分析步态周期内压力变化的动态特征，捕捉如步态周期延长（常见于Grade 3患者）等时序模式。

- **人体关键点轨迹处理**：采用多目标跟踪算法（如MHFormer）提取22个骨骼节点的三维运动轨迹，构建时空图结构：
- **图卷积网络（GCN）**：将骨骼连接关系编码为图邻接矩阵，捕捉如膝关节内旋角度异常（与内侧髌骨压力增大相关）等空间约束特征。
- **Transformer时序建模**：对关键点轨迹进行全局注意力计算，识别疾病进展中的模式偏移（如Grade 4患者膝关节活动范围显著缩小）。

#### 2. 静态足底压力空间约束分支
- **金字塔卷积网络**：对静态足底压力图像进行多尺度特征提取，逐步抽象出解剖结构先验：
- **低层特征**（64×64）：捕捉足弓形态、足底接触面积等基础解剖结构。
- **高层特征**（4×4）：抽象出如膝关节内侧支撑压力分布不均等关键病理特征。
- **知识先验注入**：通过空间约束向量调节动态压力和关键点轨迹的融合结果，例如强制模型关注内侧髌骨区域压力变化（该区域在Grade 2-4中异常率高达80%以上）。

#### 3. 对比学习优化模块
- **标签直接嵌入**：跳过传统方法中将KL分级标签转换为文本描述的中间步骤，直接将4级分类标签映射为语义向量。例如：
- Grade 1：映射为包含“早期软骨磨损”语义特征的向量
- Grade 4：映射为包含“重度骨赘形成”语义特征的向量
- **双阶段对比学习**：
- **训练阶段**：通过三元组对比（positive-negative-pseudo%）优化特征表示，使不同KL等级的样本在向量空间中保持合理距离。例如，Grade 3与Grade 4样本的余弦相似度被控制在0.3以下。
- **推理阶段**：采用近邻分类算法，将新样本的嵌入向量映射到最近的KL等级标签。

### 关键技术创新点
1. **跨模态时空约束机制**：
- 通过交叉注意力门控（Cross-Attention Gating）实现动态压力与关键点轨迹的融合。例如，当模型检测到患者存在膝关节外翻（关键点轨迹异常）时，会自动增强对对应区域足底压力变化的关注。
- 空间约束模块将静态足底压力的解剖先验（如股骨远端形态）编码为可学习的约束向量，有效解决了传统方法中“运动伪影干扰解剖特征识别”的问题。

2. **面向类别失衡的对比学习设计**：
- 采用“软标签”策略，将每个样本同时映射到相邻两个KL等级（如Grade 2映射为0.5 Grade 1 + 0.5 Grade 3），避免传统方法中因样本量差异导致的特征偏向。
- 通过自适应温度系数（temperature）调整对比损失，使模型在少样本类别（如Grade 1仅4例）中仍能保持高召回率（达100%）。

3. **动态-静态联合优化**：
- 静态足底压力模块提取的解剖先验被量化为空间约束向量，通过门控机制动态调整动态压力和关键点轨迹的融合权重。实验表明，引入空间约束后，Grade 3的识别准确率从0.62提升至0.88。
- 例如，在识别Grade 3患者时，模型会强化对髌骨轨迹偏移（动态特征）和内侧髌骨压力集中（静态特征）的综合分析。

### 实验验证与结果分析
#### 数据集特征
- **样本量**：43例KOA患者（Grade 0-4分布为18/4/18/28/33）和9名健康对照。
- **模态采集**：
- 动态足底压力：3次重复行走试验，压力分布分辨率100×100。
- 静态足底压力：自然站立位采集，通过二值化处理提取骨骼接触区域。
- 关键点轨迹：1080P摄像头记录步态，提取22个关节的三维坐标（每秒30帧）。

#### 性能指标对比
| KL等级 | MSCL模型 | 基线方法 | 改进幅度 |
|--------|----------|----------|----------|
| Grade 0 | 准确率100% | 89% | +11% |
| Grade 1 | F1=0.59 | 0.51 | +16% |
| Grade 2 | F1=0.87 | 0.72 | +21% |
| Grade 3 | F1=0.77 | 0.52 | +47% |
| Grade 4 | F1=0.86 | 0.79 | +9% |

#### 关键性能突破
1. **Grade 1识别**：
- 模型通过对比学习将早期软骨磨损（ Grade 1特征）与正常关节（Grade 0）的语义向量距离控制在0.15以内，显著优于传统SVM方法（距离0.28）。
- 采用Shapley值分析发现，动态足底压力（D）对Grade 1的贡献度达0.14，高于静态压力（S）的0.24。

2. **跨阶段分类**：
- 首次在步态分析中实现Grade 3与Grade 4的精确区分（F1=0.77 vs 0.86），传统方法在此阶段准确率骤降至0.52。
- 通过引入“相邻级差惩罚”机制，强制模型对连续分级（如Grade 2→3→4）的特征差异进行建模，使跨级误判率降低37%。

3. **鲁棒性提升**：
- 在数据增强阶段采用“跨模态信号重组”技术，通过随机交换不同模态（如动态压力与关键点轨迹）的时间戳，使模型对数据采集顺序不敏感。
- 在Grade 4分类中，通过联合优化动态压力（压力峰值异常）和静态压力（足弓塌陷）特征，使特异性达到97%。

### 临床应用价值与局限性
#### 优势体现
- **非侵入性评估**：仅需步态采集和足底压力测试，即可完成从Grade 0到4的分级（耗时约5分钟/人次）。
- **早期筛查能力**：Grade 1的召回率达100%，特别适用于社区筛查场景。
- **多模态互补**：动态压力（反映关节负荷变化）与静态压力（反映解剖结构改变）的结合，使模型对疾病进展的敏感度提升42%。

#### 局限性分析
1. **数据依赖性**：
- 当前模型主要针对中国人群（平均年龄62岁），对亚洲以外人群（如欧洲白人）的适用性有待验证。
- 病例数量有限（43例），未来需通过多中心合作扩大样本量（目标5年内达到2000例）。

2. **技术实现挑战**：
- 在Grade 3分类中，模型存在约27%的误判率，可能与该阶段生物力学特征复杂（如髌股关节压力分布与软骨退变并存）相关。
- 对步态异常较轻的Grade 1患者，模型与临床医生（放射科医师）的评估结果存在15%的分歧率。

3. **临床整合瓶颈**：
- 需开发专用硬件设备（如集成IMU和压力传感器的智能鞋垫），成本约为传统设备的3倍。
- 与现有KL分级标准（依赖X光影像）的协同应用仍需优化，建议采用“模型建议+影像复核”的二级诊断流程。

### 方法论启示
1. **跨模态时空建模**：
- 通过交叉注意力机制，动态足底压力（反映运动负荷）与关键点轨迹（反映关节运动学）得以协同优化。例如，当模型检测到膝关节外翻角超过5°时，会自动增强对内侧足底压力区域的关注。

2. **知识先验的工程化应用**：
- 静态足底压力模块提取的解剖特征（如胫骨结节宽度）被编码为约束向量，通过门控机制（γ门控）对动态特征进行加权调整。实验显示，该设计使模型对骨赘形成的识别准确率提升19%。

3. **对比学习的改进方向**：
- 当前采用基于KL标签的对比学习，未来可探索结合放射学影像特征（如MRI的软骨体积损失）进行多模态对比，进一步提升分级精度。
- 在数据稀缺场景下，建议采用“主动学习-半监督对比”混合策略，通过模型引导临床医生优先采集高信息量样本。

### 结论与展望
该研究首次将静态足底压力的解剖先验与动态步态的时序特征相结合，通过对比学习框架有效解决了单模态方法的覆盖不足和类别不平衡问题。实验表明，MSCL模型在整体性能（宏观准确率94%）和关键临床指标（Grade 1召回率100%）上均优于现有方法。未来工作应重点解决以下问题：
1. **多中心数据验证**：计划在3年内完成与5家三甲医院的数据共享协议，覆盖不同人种和地域特征。
2. **轻量化部署**：开发边缘计算版本（模型参数量<50MB），适配智能可穿戴设备。
3. **临床决策支持系统**：与医院电子病历系统对接，实现分级预警（如Grade 3自动触发影像学复核流程）。

该研究为KOA的自动化分级提供了新范式，其技术路线（多模态融合+空间约束+对比学习）可扩展至其他运动系统疾病的智能诊断，具有广阔的临床转化前景。