基于因果强化学习的轻度认知障碍个性化适应性干预方案优化

《npj Digital Medicine》：Causal reinforcement learning for personalized adaptive interventions in mild cognitive impairment

　　

摘要

轻度认知障碍（MCI）的预防需要个性化、适应性策略，然而目前的临床指南仍依赖基于经验的静态方法。我们开发了一种因果强化学习（CRL）框架，通过T-learner结合保守Q学习（CQL）来估计个体处理效应（ITE），从而优化连续动作空间中的MCI适应性干预方案。数据来自一项序贯多重分配随机试验（SMART），涉及61名参与者（平均年龄71.0±6.0岁；女性占67.2%），涵盖三种干预模式：虚拟现实太极、线下太极和计算机认知训练。基线认知评分、合并症及社会人口学因素定义了状态空间；ITE作为奖励信号。在探索性连续动作空间分析中，CRL生成的策略估计能够在四种机器学习算法下（均P < 0.001）较动态治疗方案平均提高Memory Guard认知评分1.03分，同时所需干预强度显著降低（每周15–90分钟 vs 120–240分钟）。SHAP分析显示，糖尿病状态、年龄和基线认知水平是治疗方案分配的关键驱动因素。探索性异质性分析表明，高血压患者、年长者、男性及受教育程度较高者获益减弱，而较高的基线认知储备则预示更大收益。该框架可为MCI的个性化预防提供数据驱动方法，实现兼顾个体治疗异质性的适应性干预。该试验已在中国临床试验注册中心注册（注册号ChiCTR2100042748；注册日期2021年1月27日）。