基于反事实推理与Buckley-James方法的纵向生存数据Q学习框架：动态治疗策略优化新范式

本研究针对生存分析中右删失数据导致的动态治疗策略(DTR)优化难题，提出融合反事实框架与Buckley-James(BJ)方法的线性Q学习算法(BJ-Q)。通过条件期望填补删失值并构建多阶段Q函数，在模拟和HIV临床试验中验证了该方法在识别最优治疗序列方面的优越性，为精准医疗决策提供新工具。

　　

在医疗决策领域，如何利用存在大量删失的生存数据优化多阶段治疗方案，一直是临床研究的核心挑战。传统Cox比例风险模型受限于风险比例假设，而加速失效时间(AFT)模型虽提供更直观解释，却难以处理动态决策场景。更棘手的是，当患者随访因失访或研究终止而中断时，关键的生存时间数据往往呈现右删失特征，导致现有强化学习方法在估算累积生存收益时产生偏差。

针对这一难题，美国俄亥俄州立大学生物统计系的Jeongjin Lee与明尼苏达大学莫里斯分校的Jong-Min Kim团队在《Journal of the Royal Statistical Society Series A: Statistics in Society》发表创新研究。他们巧妙融合反事实推理框架与经典的Buckley-James(BJ)估计方法，开发出线性Buckley-James Q学习(BJ-Q)算法。该方法通过条件期望填补删失的生存时间，并构建多阶段Q函数，首次实现了在存在高比例删失情况下动态治疗策略(Dynamic Treatment Regimes, DTR)的精准优化。

关键技术方法包括：(1)基于Kaplan-Meier估计的Buckley-James删失数据填补技术，计算E[T_i,k|Y_i,k,δ_i,k,H_i,k]；(2)反向递归Q函数估计框架，将填补后的生存时间与未来最大奖励结合；(3)线性回归建模处理高维协变量；(4)通过ACTG175 HIV临床试验数据(含75%删失率)验证临床适用性。

主要研究结果：

方法部分

建立包含K个决策点的理论框架，定义历史变量H_i,k=(B_i,0,X_i,1,A_i,1,...,X_i,k,A_i,k)。通过BJ方法推导删失生存时间的条件期望表达式：

Y^*_i,k = δ_i,kT_i,k + (1-δ_i,k)E[T_i,k|T_i,k>C_i,H_i,k]，其中δ_i,k为删失指示符。

模拟研究

在单阶段场景中，BJ-Q在n=1000样本量下决策准确率达97.3%，显著优于Cox-Q的76.8%。

。两阶段分析中，BJ-Q累积决策准确率(89.0%)远超Cox-Q(50.8%)，证明其处理多阶段决策的稳定性。

真实数据分析

应用于ACTG175数据集时，BJ-Q重建的生存曲线清晰显示AZT+ddI联合疗法(红色)显著优于ddI单药(蓝色)。

，验证了方法在极端删失(75%)下的可靠性。

这项研究开创性地将生存分析经典方法与强化学习相结合，解决了删失数据下DTR优化的关键难题。其理论价值体现在：(1)拓展了BJ估计器在反事实推理中的应用；(2)建立了Q学习与AFT模型的数学连接；(3)开发出可处理高维协变量的计算框架。临床实践中，该方法使研究者能更准确评估如HIV、癌症等慢性病的阶段治疗效益，为FDA等监管机构提供新的疗效评估工具。未来工作将聚焦于拓展至双删失数据场景，并整合随机生存森林等机器学习技术以提升估计稳健性。