《Nature Communications》：Empowering clinical trial design with agentic intelligence and real-world data
编辑推荐：
临床试验设计（Clinical Trial Design, CTD）是一个耗时的过程，需要大量的领域专业知识。大规模真实世界数据（Real-World Data, RWD），如电子健康记录（Electronic Health Records, EHR），编码了
临床试验设计（Clinical Trial Design, CTD）是一个耗时的过程，需要大量的领域专业知识。大规模真实世界数据（Real-World Data, RWD），如电子健康记录（Electronic Health Records, EHR），编码了基于实践的证据，对CTD具有巨大价值。近年来，许多机器学习方法被开发用于从RWD中提取此类真实世界证据（Real-World Evidence, RWE）以指导CTD，但它们仍然需要与领域专家进行广泛的迭代沟通，以进一步细化并最终发挥作用。在本文中，研究人员介绍了EmulatRx，一个用于帮助CTD的代理框架，该框架通过提取RWE来辅助CTD。通过跨不同角色的代理进行迭代对话和分析，EmulatRx能够自主细化试验方案，最终生成一份包含洞见的稳健报告，为更好的CTD提供信息。研究人员将EmulatRx应用于急性和慢性疾病的CTD过程，其中急性疾病（如脓毒性休克、急性心力衰竭、急性肺水肿和急性肾损伤）使用MIMIC-IV数据，慢性疾病（如阿尔茨海默病和帕金森病）使用覆盖纽约市五个医疗系统的INSIGHT网络。结果证明了EmulatRx在促进和加速CTD过程方面的能力。
### 论文解读：利用代理智能和真实世界数据赋能临床试验设计
**研究背景与问题**
随机对照试验（Randomized Controlled Trials, RCTs）仍是评估医疗干预疗效与安全性的金标准，但其时间、成本及伦理考量促使研究者寻求优化临床试验设计（Clinical Trial Design, CTD）流程的方法，以提高效率和成功率。真实世界数据（Real-World Data, RWD），如电子健康记录（Electronic Health Records, EHR），蕴含大量基于实践的循证证据，对指导CTD极具价值。过去十年间，多种统计与机器学习模型被开发用于提取真实世界证据（Real-World Evidence, RWE），其中目标试验模拟（Target Trial Emulation, TTE）是代表性框架，旨在用RWD模拟RCT。尽管TTE潜力巨大，但实施中面临三大挑战：首先，试验方案中的自然语言描述需与RWD的结构化信息（如OMOP标准）映射，需严格的计算表型过程；其次，方案中的信息可能在RWD中缺失，需领域专业知识判断是否舍弃或构建有效替代；第三，RWD的观察性质引入选择与混杂偏倚，需适当的协变量平衡与因果推断方法。此外，即便TTE生成了洞见，仍需与领域专家反复沟通、迭代调整，该过程依然耗时。因此，亟需一种自动化、高效的框架来加速RWE提取并赋能CTD。多智能体系统（Multi-Agent Systems, MAS）的快速发展为构建自主系统提供了可能，其通过多个自主实体（代理）的交互与协作实现复杂目标。
**研究内容与结论**
为解决上述问题，研究人员提出了EmulatRx，一种基于大语言模型（Large Language Models, LLMs）的多智能体框架，旨在通过自动从EHR中提取和优化RWE，结合人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF），加速CTD过程。EmulatRx包含五个专业化代理：Supervisor（主管）、Trialist（试验专家）、Informatician（信息学专家）、Clinician（临床专家）和Statistician（统计专家），它们通过结构化对话协作完成协议规范、数据提取、协变量选择、统计建模和结果解读等关键步骤。该框架应用于急性疾病（如脓毒性休克、急性心力衰竭、急性肺水肿和急性肾损伤）的MIMIC-IV数据，以及慢性疾病（如阿尔茨海默病和帕金森病）的INSIGHT网络（涵盖纽约市五个医疗系统）数据。结果表明，EmulatRx能有效促进并加速CTD流程，在知识图谱查询、实体解析、SQL生成、因果推断和临床建议等方面均展现出优越性能。论文发表于《Nature Communications》。
**主要关键技术与方法**
EmulatRx框架采用多智能体设计，各代理由LLM驱动并配备专用工具：Trialist利用从ClinicalTrials.gov构建的知识图谱进行试验信息标准化与检索；Informatician基于Criteria2Query 3.0框架将试验规范映射为OMOP兼容的SQL查询，并整合非结构化临床笔记的NLP分析以丰富队列构建；Statistician自主选择统计方法（如倾向评分匹配PSM、逆概率治疗权重IPTW、双重稳健估计）进行协变量平衡与生存分析，并实现基于Shapley值的资格标准优化和自适应样本量计算；Clinician通过检索增强生成（RAG）模块检索生物医学文献（如PubMed）提供临床决策支持。所有代理通过LangGraph框架实现结构化图控制流，确保可重复性。数据来源包括MIMIC-IV（急性疾病）和INSIGHT网络（慢性疾病）。
**研究结果**
**Overview（概述）**：EmulatRx是一个模块化多智能体框架，包含Supervisor、Trialist、Informatician、Clinician和Statistician五个代理。它们通过结构化对话协作，支持动态交互与反馈循环。框架采用LangGraph实现图控制流，确保可重复性。最终输出综合试验设计报告，包含协议表、统计汇总和可视化。研究人员使用MIMIC-IV和INSIGHT数据，选取20项临床试验（10项急性病、10项慢性病）评估五个维度的性能，并对比GPT-4o、Phi-4、DeepSeek-R1和Gemma 3四种LLM。
**Evaluations on Trialist（试验专家评估）**：试验专家从ClinicalTrials.gov收集1363项试验构建知识图谱。通过三种案例查询（复杂程度递增）评估检索准确性：基于知识图谱的查询在所有条件下均准确识别所有相关试验，而直接使用ClinicalTrials.gov API在包含附加资格标准时性能下降，直接LLM查询召回率低。在实体解析中，使用20项试验的资格标准进行手动标注（Cohen's Kappa≥0.7），GPT-4o取得最佳性能（召回率98.9%，精确率96.7%），显著优于其他模型，尤其在处理多概念或省略范围时表现突出。
**Evaluations on Informatician（信息学专家评估）**：信息学专家负责SQL生成。研究人员将SQL错误分为七类（语义错误与结构错误），发现GPT-4o在所有错误类型中准确率最高，尤其在逻辑一致性、模式引用和完整性约束方面表现优异。错误总数与资格标准复杂度呈显著正相关（Spearman's ρ=0.45, p=0.043）。此外，通过NLP分析非结构化临床笔记，EmulatRx额外识别出33名仅靠结构化数据无法发现的合格患者，展示了非结构化数据分析的敏感性。
**Evaluations on Statistician（统计专家评估）**：统计专家使用合成数据集评估因果推断能力。第一项评估使用1000名受试者的数据集，模拟不同真实风险比（HR=0.5, 1, 2, 3），统计专家估计的HR值均接近真值（如HR=0.5时估计0.6345），且四种LLM因工具架构得到相同数值结果。第二项评估通过SOFA评分分层揭示异质性治疗效果：整体分析无显著效应，但分层后亚组效果显著（如GPT-4o驱动下SOFA<8.0组HR=1.3849，SOFA≥8.0组HR=0.7280）。资格标准优化算法通过Shapley值估计各标准重要性，在噪声条件下平均绝对误差较低。适应样本量计算演示显示，基于真实世界数据的计算可将所需样本量从6971降至3107。
**Evaluations on Clinician（临床专家评估）**：临床专家生成的回答在可读性、正确性、连贯性、创造性和实用性五个维度由三位领域专家进行5点李克特量表评估。GPT-4o以平均分4.88领先，Phi-4（4.78）和DeepSeek-R1（4.71）紧随其后，Gemma 3得分最低（4.40）。消融实验表明RAG模块对知识锚定至关重要，能使回答更丰富且包含上下文。
**Showcases（案例展示）**：通过三个病例展示EmulatRx在多样化临床问题上的运作：案例1（Nesiritide对急性心力衰竭患者的影响）中，统计专家选择IPTW与双重稳健估计，得到HR=0.5913，提示显著疗效；案例2（肾脏替代疗法对严重急性肾损伤的效果）中得到HR=0.6443，表明生存获益；案例3（氢化可的松对脓毒性休克患者的效果）中得到HR=1.2983，提示潜在风险。各案例均体现代理间动态交互与自主迭代。端到端执行时间测量显示GPT-4o中位数5.75分钟，大幅快于人工数天至数周。
**总结与讨论**
**讨论总结**：EmulatRx代表了代理系统在赋能CTD方面的进步，将传统手动、专家密集型过程转变为自主流程。其模块化设计通过角色分工反映临床研究团队的自然分工，代理间协作与RLHF集成确保行为与人类专家对齐。研究强调，EmulatRx生成的效果大小取决于底层真实世界数据集与队列定义；系统可自动触发亚组分析和不良事件建模以揭示异质性效应或安全信号。局限性包括：缺乏统一基准评估标准、未整合多模态数据（如影像、基因组）、跨系统普适性待验证，以及未来可集成更多生物医学知识图谱以增强推理能力。
**研究结论翻译**：EmulatRx代表了在利用代理系统赋能临床试验设计方面的一项进展。通过集成角色专业化的大语言模型代理，EmulatRx将传统手动、专业知识密集且耗时的CTD过程转变为自主化流程。在五个代理中，试验专家展示了检索和标准化试验信息的能力，使用GPT-4o获得95.4%的高F1分数；信息学专家将这些解析元素转化为SQL查询，显示LLM可将试验信息映射到结构化队列定义；统计专家通过在合成数据和RWD上与金标准HR估计匹配，有效执行了因果推断工作流；临床专家通过基于文献的结构化推理确保了医学有效性和可解释性。值得注意的是，GPT-4o在各项任务中始终优于本地部署模型（Phi-4、DeepSeek-R1和Gemma 3），尤其在逻辑准确性、语法正确性和临床相关性方面。通过将CTD模块化为不同角色，EmulatRx反映了临床研究团队的自然分工，其架构使代理能够协作迭代，以精炼资格定义、提出替代协变量或调整统计模型，从而镜像CTD实践中动态、跨学科的本质。人类反馈强化学习的集成进一步使模型行为与人类专家对齐，允许代理提高响应质量。这些设计使EmulatRx不仅作为流水线运作，更作为持续精炼知识与执行的学习生态系统。
