基于排序强化学习方法的2型糖尿病风险因素自适应因果发现

《BMC Bioinformatics》：Adaptive causal discovery with ordering–based reinforcement learning-approach for type 2 diabetes mellitus risk factors

　　

摘要

背景

探究2型糖尿病（T2DM）风险因素的因果关系对于揭示疾病潜在机制以及为预防和治疗提供依据至关重要。然而，临床中的风险因素数据通常具有高维度特征，这限制了许多传统因果发现方法的性能。基于排序的强化学习因果发现方法（CORL）通过变量排序来缩小搜索空间，但在初始状态构建时对所有变量状态一视同仁，无法体现各风险因素的重要性差异。

方法

为解决这些问题，本研究提出了一种专为T2DM风险因素设计的自适应CORL框架（ACORL）。首先，将因果图搜索转化为变量排序任务，利用集成随机森林分类器估算各特征的贡献度，从而构建出加权初始状态。接着，通过强化学习奖励机制优化变量排序，进而生成有向无环图。随后，运用普通最小二乘线性回归剪枝和经验信息熵估计方法去除冗余关系，并量化因果关系的强度。最后，在合成数据集和真实临床数据集上开展对比实验，以评估所获结果的结构准确性和医学合理性。

结果

在合成数据集上的模拟实验表明，与CORL相比，ACORL将结构汉明距离从3降低到1，F1分数从50%提升至85.71%。在真实临床数据上，ACORL发现的因果关系与现有医学知识高度一致：在包含13个特征的NHANES数据集中，正确边率可达83.3%，而在包含29个特征的NHANES数据集中这一比例高达91.6%。此外，它在低维度的Pima数据集上也能达到与基准方法相当的性能，且训练迭代次数显著更少。

结论

本研究提出了一种用于2型糖尿病因果发现的自适应强化学习框架。所提出的ACORL模型能够有效利用特征间的差异性及统计优化方法，发现具有医学合理性的风险因素间因果关系。因此，它为那些在大规模临床研究中分析风险因素结构的流行病学研究者提供了一种高效且可靠的工具。