利用强化学习和迁移学习研究冠心病治疗的临床实践差异

《npj Cardiovascular Health》：Investigating clinical practice variations in coronary artery disease treatment using reinforcement and transfer learning

　　

摘要

我们的研究旨在探讨强化学习是否能够识别临床实践中的差异，以及迁移学习是否有助于缓解不同性别和医疗机构的数据分布偏差。我们使用了2009年至2019年间加拿大阿尔伯塔省41,000多名患有冠状动脉阻塞疾病的患者的资料，进行了三项实验：1）利用离线评估方法分析不同分组中医生决策策略的表现；2）为每组分别设计并评估基于保守Q学习算法和离线评估方法的强化学习策略；3）应用迁移学习提升强化学习在目标群体上的表现。与男性患者相比，女性患者在自身医生决策策略下的预期收益显著较低。采用从男性患者那里学到的决策策略虽能提高女性的收益，但仍低于男性患者的水平。强化学习策略的表现优于传统医生决策策略。仅使用目标群体10%的数据，迁移学习就能有效缓解数据分布偏差。不过，仍存在一些混杂因素，需要进一步研究以验证我们的研究结果。