李小英教授及其合作团队采用强化学习算法优化2型糖尿病患者的血糖控制：一项概念验证试验

　　

2型糖尿病（T2D）是最常见的慢性疾病，给社会造成巨大的经济负担。最新数据显示，我国每9个成人中就有一个糖尿病患者，其中将近50%的糖尿病患者使用胰岛素注射治疗。如何为这些糖尿病患者精确高效地调整胰岛素用量一直以来是困扰医学界的难题。

传统的胰岛素剂量调整很大程度上依赖医生的经验，并遵循临床指南调整患者胰岛素，达到血糖控制目标。由于糖尿病患者对胰岛素反应的个体差异性，以及糖尿病病程进展对胰岛素需求的变化，传统的胰岛素治疗模式无法满足日益增长和动态变化的临床需求，因此制定个体化、精准、动态的胰岛素调整策略具有重要的临床意义和社会价值。

2023年9月14日，复旦大学代谢与整合生物学研究院/附属中山医院内分泌科李小英、复旦大学附属中山医院内分泌科陈颖团队联合北京邮电大学王光宇团队在Nature Medicine发表了文章Optimized glycemic control of type 2 diabetes with reinforcement learning: a proof-of-concept trial。这一工作采用强化学习算法构建了2型糖尿病的胰岛素决策模型；并从计算机模拟效果、专家评估、真实世界患者疗效评估，证实了该模型可制定个体化、精准、动态的胰岛素治疗方案，或将作为潜在的有效工具辅助临床医生管理2型糖尿病患者，减轻医疗负担，助力分级诊疗，赋能慢病管理。

在本研究中，该团队构建了一个庞大的住院患者2型糖尿病（T2D）电子健康记录（EHRs）数据集，共纳入了12,981名T2D住院患者，总计119,941个治疗日。该数据集包括了患者至少7天的胰岛素使用方案和血糖的连续记录。每位患者的数据都以时间序列的形式表示，包括人口统计学信息、血液生化指标、药物和胰岛素使用信息。基于这些数据，团队开发了基于强化学习的动态胰岛素调节方案（RL-DITR），包括一个用于跟踪个体血糖状态演变的患者模型和一个用于长期治疗中进行多步规划的策略模型。这种基于模型的RL方法通过与患者模型的交互并不断迭代来学习最佳策略。此外，团队还引入了监督学习（SL），通过使用临床专业知识确保决策安全。为了评估该AI系统在临床应用中的表现，团队进行了从开发到部署的逐步临床评估，包括（1）AI与医生比较的内部验证和外部验证研究（2）包含重测试的前瞻性部署研究；（3）概念验证可行性临床试验（图1）。

图1 研究总览

研究者首先构建了预测患者血糖状态的患者模型，并在内部、外部验证集上测试了该患者模型的准确性。结果显示，预测血糖值准确地跟随了过渡趋势。AI模型在内部测试集中表现良好，皮尔逊相关系数（PCC）为0.70（95%置信区间（CI）：（0.70, 0.71）和平均绝对误差（MAE）为2.13（95% CI：2.12, 2.15）mmol/L。在外部测试集上评估时，AI模型的PCC为0.71（95% CI：0.70, 0.72）和MAE为2.28（95% CI：2.25, 2.30）mmol/L。研究者进一步研究了模型在沿时间轴预测患者每日WTR状态（过去24小时内血糖值在3.9-10.0 mmol/L的目标范围内）方面的表现，发现先随着时间推移，输入信息变多，模型的预测更加准确。总体而言，患者模型预测准确且与临床结果高度相关，可用作强化学习模型的交互环境。

作者进一步评估了RL系统在优化个性化胰岛素建议方面的性能。对于每日治疗剂量预测，AI策略在内部测试集和外部测试集上表现良好，MAE分别为1.10 U（95% CI：1.07, 1.12）和1.20 U（95% CI：1.15, 1.26）。此外，临床医生和AI策略之间存在高度相似的趋势，表明AI能够学习和模仿医师的实践。研究者进一步研究了患者血糖结局（WTR比率）是否随实际给药剂量与RL方法建议的剂量之间的差异而变化，结果表明，接受与AI算法建议的剂量类似的患者通常可以实现较好的血糖控制，当实际给药剂量与AI算法建议的剂量差距较大时患者结局变差。

为验证AI的可行性，作者进行了包括内部队列和外部队列的两项回顾性模拟研究。首先，在内部验证队列中，他们比较了AI系统与医生在为40名T2D患者提供胰岛素剂量建议方面的表现。定量评估结果显示，以专家小组建议的剂量为参考，AI系统的MAE为1.18 U，优于初级医生（1.46 U）和中级医生（1.27 U），略低于高级医生（0.95 U）。AI模型与专家的一致性也高于初级医生。定性评估结果显示，AI模型的有效性、安全性和可接受性高于第一组和第二组初级医生的方案，略低于第三组高级医生的方案。这些结果表明，AI模型优于初级医生，达到了有经验医生的水平。接着，在包含了45名T2D患者中的外部验证队列中，团队比较AI方案和既往医生方案的表现。结果显示，由专家小组主观测量评估的AI方案的可接受性、有效性和安全性与既往医生方案相似。重测试结果表明AI模型在专家评估下优于人类医生方案。

在回顾性数据集上验证AI方案的可行性后，研究者将系统部署于实际临床，并进行了包含20名T2D患者的前瞻性部署研究。结果显示，AI模型表现出了稳定的有效性、安全性和可接受性。值得一提的是，经过一段时间人机互动，医生在重测试中表现出了对AI系统更高的采纳率。

最后，为探究AI在住院糖尿病患者的血糖控制中的临床效用和安全性，研究者进行了一项概念验证可行性试验。共有16名T2D住院患者参加了试验，基线时受试者的平均HbA1c为8.8±1.1%，平均糖尿病病程为12.0±8.9年。所有住院患者接受了5天的AI干预。在试验期间，有90.2%的AI建议被医生采纳。结果显示，与治疗期第一天的前24小时相比，治疗期最后24小时的血糖曲线的显著改善。每日平均血糖、餐前血糖和餐后血糖均随AI治疗而降低，分别从第一天的11.1±3.6 mmol/L、10.2±2.8 mmol/L和12.3±4.2mmol/L降至治疗的最后24小时的8.6±2.4 mmol/L、7.8±2.2 mmol/L和9.7±2.4 mmol/L，达到了预先设定的学堂目标。此外，在试验结束时，70.3%的餐前血糖达到了5.6-7.8 mmol/L 的目标范围，68.8%的餐后毛细血糖达到了<10.0 mmol/L的目标。持续血糖监测（CGM）结果显示，目标范围内（3.9-10.0 mmol/L） 的血糖浓度时间百分比（TIR）不断改善，且血糖浓度<3.9mmol/L的百分比低于4%，在试验期间未发生严重低血糖或酮症酸中毒等不良事件。医生调查显示，大多数医生表示AI界面是易于理解（4.57/5.00），节省时间（4.50/5.00），有效（4.00/5.00）和安全（4.29/5.00），AI系统的总体满意度得分为4.14/5.00。

总之，该研究基于中山医院等多家医疗机构的住院2型糖尿病患者的电子病历数据，采用强化学习算法，以患者模型作为环境，通过和动态患者环境的试错交互来学习有效的策略，并引入有监督学习以保证决策的安全。为评估模型的性能，研究团队进行了一系列从计算机模拟到临床部署的研究。模型开发阶段的评估显示，患者模型可以准确预测患者血糖状态，而策略模型可以学习和模仿医师的实践，并给出优化的胰岛素推荐。回顾性模拟研究采用定量和定性指标比较AI和医生方案，结果显示与初级和中级医生相比，模型在2型糖尿病患者血糖管理方面表现出更好的控制高血糖和降低低血糖风险性能。前瞻性临床部署研究进一步证实了AI推荐剂量的可接受性，且随着人机互动和信任提高，医生对AI推荐剂量的采纳率提高。最后，概念验证的可行性临床试验发现采用该模型干预期间，患者每日平均血糖显著下降并达到血糖控制目标，且干预过程中未发生严重低血糖或酮症酸中毒等不良事件。总而言之，该研究结果表明，RL-DITR系统有潜力成为优化T2D患者血糖控制的AI工具，帮助医生更好的管理糖尿病患者。值得注意的是，虽然该研究主要是在2型糖尿病住院患者中进行实施和测试，但如果进行适当的集成和持续开发，该系统可以扩展应用到诸如门诊患者管理和居家患者管理等广泛的临床场景，实现糖尿病患者的全方位智慧管理。

此外，李小英教授作为原创新药葡萄糖激酶激活剂多格列艾汀研发的主要负责人之一，成功推动了该药在中国的一系列临床研究，证明了葡萄糖激酶激活剂通过调节血糖稳态实现降糖作用，成为全球首个全新靶点的糖尿病药物，两项研究同时发表在Nature Medicine期刊上。

原文链接：https://www.nature.com/articles/s41591-023-02552-9