编辑推荐：
膝骨关节炎（KOA）治疗面临缺乏个性化调整难题。研究人员构建 KOA 治疗优化模型，用强化学习算法（DDPG、DQN、BCQ）优化治疗策略。结果显示 BCQ 算法成功率最高（79.1%），为慢性病管理及精准治疗提供新思路。
在当今社会，膝骨关节炎（KOA）如同一个隐匿在人群中的 “健康杀手”，悄然影响着无数人的生活。它是一种全球范围内普遍存在的慢性疾病，随着人口老龄化加剧，其发病率不断攀升。从 1990 年到 2017 年，中国 KOA 患者数量从 2610 万激增至 6120 万 ，全球 40 岁以上成年人中约 23% 患有 KOA，45 岁以上人群中，61% 有 KOA 的影像学证据，且近一半患者出现相关症状。女性、肥胖者以及有膝关节损伤史的人更是 KOA 的高危人群。
传统的 KOA 治疗方法，像是非药物治疗、药物治疗和手术干预，虽然在一定程度上能缓解症状，但却存在着明显的短板。它们就像 “一刀切” 的方案，无法针对每个患者的个体差异进行个性化调整，难以满足患者日益增长的个性化治疗需求。与此同时，人工智能（AI）技术在医学领域的蓬勃发展，为 KOA 的治疗带来了新的曙光。不过，当前 AI 在 KOA 治疗中的应用也面临诸多挑战，比如数据集规模小、模型泛化能力有限，以及不同医疗机构成像设备缺乏标准化等问题，这些都严重阻碍了 AI 技术在临床中的广泛应用。而治疗推荐系统的发展更是滞后，基于深度学习的治疗推荐系统在临床验证和应用方面还有很长的路要走。
为了突破这些困境，四川大学华西医院的研究人员勇挑重担，开展了一项极具意义的研究。他们致力于构建一个基于强化学习的智能 KOA 康复治疗决策支持系统，希望通过这个系统，不仅能精准识别影响治疗决策的关键特征，还能模拟不同治疗方案对患者的效果，从而优化个性化治疗方案，实现 KOA 患者的精准长期康复管理，提高他们的生活质量。最终，这项研究成果发表在了《Journal of NeuroEngineering and Rehabilitation》上，为该领域的发展注入了新的活力。
在研究过程中，研究人员运用了多种关键技术方法。首先，他们收集了 2012 年 1 月至 2023 年 12 月四川大学华西医院康复医学中心的 2836 例 KOA 患者数据，包括历史数据和前瞻性数据。然后，从电子病历系统中提取 122 个变量，利用随机森林算法计算特征重要性，结合迭代特征消除（IFE）和顺序向后选择（SBS）算法进行特征选择，最终确定 20 个关键特征。基于这些关键特征，运用深度强化学习算法，包括深度确定性策略梯度（DDPG）、深度 Q 网络（DQN）和批量约束 Q 学习（BCQ），构建动态治疗推荐系统。
研究结果如下：
- 模型训练与验证：通过大量模拟实验，发现这三种强化学习算法在优化治疗策略方面效果显著，其推荐行为的平均奖励值明显优于原始数据中 KOA 患者的治疗情况。在测试集上，BCQ 算法的反事实奖励（R′）中位数为 32.6，R′ - R 的中位数为 36.1，治疗优化成功率达 79.1%；DDPG 算法 R′中位数为 54，R′ - R 中位数为 52.1，成功率为 76.2%；DQN 算法 R′中位数为 59.9，R′ - R 中位数为 57.9，成功率为 68.1%。由此可见，BCQ 算法表现最佳。
- 治疗行为推荐差异：对比三种算法推荐的治疗行为与实际治疗行为发现，DQN 算法推荐存在明显偏差，对某些治疗组合推荐次数与实际接受次数差异巨大；BCQ 算法推荐分布更平衡，与患者实际接受模式更契合；DDPG 算法推荐模式过于保守，过度偏向单一治疗组合。
研究结论和讨论部分表明，不同算法在治疗推荐上存在显著差异。BCQ 算法在模拟实际治疗行为方面具有良好的适应性和准确性，更适合融入临床决策支持系统；DDPG 算法在实现策略多样性和复杂性上存在局限，其策略学习机制有待优化；DQN 算法虽然推荐多样性较好，但在匹配患者实际治疗选择上存在偏差。
此外，研究也指出了自身的局限性。例如，注射治疗分类存在异质性，富血小板血浆（PRP）和透明质酸（HA）虽都属关节内注射，但生物学机制和临床效果有差异，模型分类可能忽略这些差异；氨基葡萄糖临床疗效存在争议，国际指南推荐级别低，未来需更多大规模随机对照试验验证其在个性化治疗中的作用；当前模型未充分考虑疾病进展过程中患者治疗方式的动态变化，可引入时间序列建模或因果推断方法改进；研究仅聚焦非手术治疗，未涉及手术治疗决策优化。
尽管如此，这项研究依然意义重大。它首次将特征选择技术与强化学习算法相结合，构建了 KOA 动态治疗推荐系统，为慢性病管理提供了创新方法，展示了个性化医疗和精准治疗策略在 KOA 治疗领域的可行性，为后续研究指明了方向，有望推动 KOA 治疗向更精准、更个性化的方向发展。
