基于图检索增强生成(GraphRAG)与智能体生成式人工智能(Gen-AI)框架并引入人在回路(HITL)验证的健康经济模型(HEMs)概念化:概念验证研究

《PharmacoEconomics - Open》:Conceptualising Health Economic Models Using a Graph Retrieval-Augmented, Agentic AI Framework with Human-in-the-Loop Validation: Proof-of-Concept Study

【字体: 大 中 小 】 时间:2026年10月14日 来源:PharmacoEconomics - Open 2.0

编辑推荐:

  目标:健康经济模型(HEMs)对于评估医疗干预的成本效果、为政策决策提供信息并指导报销策略至关重要。本研究考察采用生成式人工智能(Gen-AI)进行HEMs概念化的可行性。研究人员开展了两项概念验证(PoC)研究,实施首个用于模型概念化的智能体Gen-AI增强

  
目标:健康经济模型(HEMs)对于评估医疗干预的成本效果、为政策决策提供信息并指导报销策略至关重要。本研究考察采用生成式人工智能(Gen-AI)进行HEMs概念化的可行性。研究人员开展了两项概念验证(PoC)研究,实施首个用于模型概念化的智能体Gen-AI增强方法。方法:开发了一个智能体Gen-AI框架,通过先进提示工程纳入思维链(CoT)推理算法,并结合自洽性,在外部Python编程环境中执行。在该框架内,智能体执行层(“agent”)自主编排多步骤的检索—推理—生成任务。此外,通过将大语言模型(LLM)与外部数据库链接,实施基于图的检索增强生成(RAG)技术;该数据库由用户选择的、针对HEM的数据整理而成。探索了两个案例研究:乳腺癌,代表数据丰富疾病领域;转甲状腺素蛋白淀粉样多神经病(ATTR-PN),代表数据稀疏的罕见病。结果:智能体Gen-AI框架成功生成两项关键输出,随后针对已发表文献以及来自健康经济(HE)建模人员和临床医生的专家评审进行了验证:(1)疾病概念图,展示疾病进展及其相关健康状态;(2)模型结构图,描绘患者在不同健康状态之间的转移。结论:研究结果表明,Gen-AI增强方法可增强HEM概念化的多个方面,包括问题定义、疾病与治疗效应路径开发、模型结构推荐以及模型规范计划起草。据作者所知,这是首个将人在回路(HITL)、思维链—自洽性(CoT–SC)和基于图的RAG等前沿Gen-AI技术整合用于HEM概念化或更广泛健康经济学与结果研究(HEOR)应用的研究。
健康经济模型(HEMs)是评估医疗干预成本效果、为政策决策提供信息并指导报销策略的重要工具。传统HEM开发劳动密集且耗时,需具备健康经济学、数据分析和临床敏锐度。其概念化阶段是关键瓶颈:时间与资源有限、概念建模专业知识不足、概念化常被低估,可能导致模型基础结构薄弱,无法捕捉现实复杂性或满足利益相关者需求,也忽视替代框架测试机会。随着医疗路径和数据文献日益复杂,传统方法面临可扩展性问题,难以适应快速变化的临床指南、卫生政策与治疗范式。近年来,大语言模型(LLM)等人工智能进展显示可自动化复杂认知任务。NICE关于AI用于证据生成的意见强调AI可提高证据合成与概念化效率;ISPOR工作组将HEM概念化视为Gen-AI关键应用;HEOR近期提出混合智能框架,通过HITL和AI-in-the-loop(AITL)结合生成式AI与人类专长。在此背景下,研究人员开展本研究,目的是评估智能体Gen-AI框架概念化HEM的可行性,并通过两个PoC研究验证:一个为数据相对丰富的肿瘤学,另一个为证据极少的罕见病,以检验框架在证据可用谱两端的适应性。研究问题包括:LLM能否按最佳实践和指南准确复制或增强HEM概念化步骤;HITL、提示工程和RAG等Gen-AI技术如何模拟人类推理以自动化HEM概念化;将LLM整合入HEM开发工作流有何潜在益处和局限。研究显示,该框架可生成疾病概念图和模型结构图,并经已发表文献和专家评审验证,提示Gen-AI增强方法可增强HEM概念化的多个方面,并可能显著减少分析师时间。

为开展研究,研究人员构建了智能体Gen-AI框架,在外部Python环境中执行CoT–SC提示工程,设计超过500个提示;对同一提示进行k=5次独立运行,并由另一LLM(GPT 5.1)作为裁判经多数投票保留最频繁状态、转移和结构模式。采用GraphRAG,将LLM连接至用户选择、HEM特异的外部数据库;知识图由Microsoft GraphRAG索引管道自动构建,LLM抽取实体关系,人类专家审核批准。语料含HEM最佳实践、HTA指南(NICE、Canada's drug agency,CDA)、区域临床指南、疾病领域文件、PICO元素及clinicaltrials.gov公开试验数据(MONALEESA-3和APOLLO);未提供现有模型以防数据泄漏。智能体采用ReAct式reason–act–observe循环,维护scratchpad审计轨迹。HITL验证由两位HE建模者(10–12年和5–6年经验)和两位临床医生(10年和15+年经验)完成。

3.1 研究1:模型概念化——肿瘤学(数据丰富案例研究):该PoC研究旨在概念化晚期乳腺癌成本效果模型,利用MONALEESA-3试验已发表数据,评估Ribociclib联合fulvestrant与标准治疗相比,用于绝经后HR阳性、HER2阴性晚期乳腺癌。智能体Gen-AI框架生成疾病概念图,展示HR阳性、HER2阴性乳腺癌进展和管理阶段及转移。推荐模型结构为队列Markov模型,识别四个主要健康状态:无进展(progression-free,PF)、第一次进展、第二次进展和死亡(吸收态)。状态间转移反映疾病进展与治疗反应路径,转移由进展事件及对应治疗线移动驱动,每个非死亡状态每周期均可转移至死亡。智能体承认partitioned survival是晚期乳腺癌HTA提交中更常用替代方案,但偏好该队列Markov结构,因其使治疗线转移明确,支持按治疗线区分成本和效用,并捕捉标准partitioned-survival模型不能表示的序贯效应;该结构也避免依赖GraphRAG语料之外的个体患者水平生存数据。

3.2 研究2:模型概念化——罕见病(数据稀疏案例研究):第二个案例研究聚焦ATTR多神经病(hATTR-PN)患者中RNAi疗法的成本效果模型概念化,使用关键试验APOLLO已发表数据,评估RNAi疗法与标准治疗相比。hATTR-PN是一种罕见、进行性疾病,以致残性多神经病为特征。疾病路径按HITL方法概念化。推荐模型为Markov模型,包含七个健康状态,基于多神经病残疾(PND)阶段0、I、II、IIIA、IIIB、IV加死亡吸收态。智能体推理认为PND分期直接映射为离散、临床有意义且互斥的健康状态;疾病进展表现为向更高PND阶段转移,终身时间范围,有效疾病修饰治疗下可能存在有限双向移动。智能体选择PND而非较老的家族性淀粉样多神经病(FAP)分期系统(FAP 1–3,广泛对应FAP 1至PND 1–2、FAP 2至PND 3A–3B、FAP 3至PND 4),因PND在门诊到轮椅过渡段提供更细残疾粒度,且为APOLLO试验所用分期系统。智能体指出离散事件模拟原则上可捕捉更细患者异质性,但在PoC阶段不必要,因PND分期暗示结构化进展路径且超罕见适应症个体水平数据有限。

3.3 生成概念的外部验证:外部验证通过将智能体生成输出与各适应症已发表经济评价按预设四标准进行结构化比较。PoC 1中,智能体生成的四状态队列Markov结构(PF、第一次进展、第二次进展、死亡)与NICE技术评估TA687中用于Ribociclib联合fulvestrant的三状态队列Markov模型比较。结果显示,智能体推荐结构与已发表提交属同一模型家族,并复现核心设计选择:队列Markov方法、终身时间范围、NICE参考案例对齐、以进展和死亡为主要建模事件。框架通过分离第一次和第二次进展增加一个状态,使治疗线转移明确;这与晚期乳腺癌建模中治疗序贯的当前方法学讨论一致,并被人类专家评审接受为合理改进而非偏离。在四个预设比较标准层面未发现结构性差异。PoC 2中,智能体生成的七状态Markov模型以PND分期定义健康状态,与NICE高度专业化技术评估HST10公司提交(patisiran治疗遗传性转甲状腺素蛋白淀粉样变性)比较。两者核心疾病分期逻辑一致:均以PND阶段作为神经病疾病严重度的主要决定因素,进展建模为相邻PND阶段间转移,死亡吸收态可从任何健康状态到达。但HST10公司模型额外按NT-proBNP阈值(低于3000 pg/mL与≥3000 pg/mL)对六个PND阶段分层,共12个存活健康状态而非6个。智能体七状态结构复现PND分期维度,但未捕捉心脏生物标志物分层。该差距反映基于语料方法的约束:GraphRAG检索语料来自已发表文献和临床指南,而非个体患者水平数据;此类生物标志物分层转移结构通常来自患者水平分析。研究人员也指出,该简化在罕见病设置中有实质合理性:关键试验人群小,分为12个状态而非6个会减少每层转移概率估计可用观测数,增加最稀疏状态估计不精确或不稳定风险。仅PND分期因此代表简约结构,临床可解释且统计可行,并与HST10提交引入心脏生物标志物分层之前的早期hATTR-PN成本效果文献概念化方法一致。智能体需直接访问患者水平数据或被显式提示预推导分层方案,才能复现额外心脏维度。两模型周期长度(6个月)和时间范围(终身,40年)一致。人类专家评审认为,缺乏心脏生物标志物分层是基于语料Gen-AI概念化对多器官疾病的普遍限制,而非本PoC特异限制。

讨论部分总结:该PoC表明,整合CoT–SC提示工程、GraphRAG检索和结构化人工验证的HITL智能体Gen-AI框架,可支持数据丰富(肿瘤学)和数据稀疏(罕见病)背景下的HEM概念化。主要发现是,结构化AI—人类协作可产生与已发表HTA提交中使用的模型结构和疾病概念图大体一致的输出,同时显著减少概念化阶段所需分析师时间。两个案例研究的选择用于评估方法稳健性;外部验证显示生成模型概念与公认模型结构具有结构一致性。在两种案例中,智能体均未提出超出NICE对该适应症可接受临床和经济合理选择空间的结构。效率方面,自动概念化运行约1小时,包括专家验证和多次探索性重跑为1–2天;纯手动概念化可长达3个月。成本方面,框架搭建工程投入约3–4周,由兼具健康经济学和AI工程专长团队完成;当时OpenAI定价下,GPT-5.2 API用于全套PoC实验约每项PoC研究94美元。已有研究显示GPT-4可高精度复制已发表HEM,混合智能框架可增强HEOR工作流,GPT-4可用于网络Meta分析数据提取和R脚本生成等;但据作者所知,本研究首次在HEOR中系统整合HITL、先进LLM如GPT-5.2、GraphRAG和CoT–SC为统一框架用于HEM或HEOR用例。GraphRAG与向量嵌入显著减少大型数据解析和查询时间。局限包括:输出适合PoC但不应视为最终结果,尚未进行Delphi小组和结构化专家启发;虽避免语料层面数据泄漏,但不能排除LLM预训练已接触此类数据;外部验证未盲法,评审知道输出Gen-AI来源及比较模型,可能影响判断;未来应采用盲法或双盲专家评审。框架设计将架构与底层模型分离,CoT–SC推理协议、GraphRAG知识骨干、智能体执行循环和HITL检查点均独立于特定LLM,因此可替换新基础模型;但更长上下文、更强原生推理、原生检索和领域微调可能改变HITL价值重点。该框架并非作为通用智能体聊天机器人基准竞争者,因其LLM不可知,且通用聊天机器人辅助单个元素不等同于领域基础和治理过程。先进推理技术计算和技术专长需求高,最终质量依赖人类专家审查。未来方向包括优化ToT和GoT等分层推理、开发用户友好界面、构建HEM特定应用、处理数据隐私和GDPR/HIPAA合规、整合电子健康记录(EHR)实时数据流等。结论部分翻译:尽管挑战仍然存在,特别是需要人类专业知识指导和验证Gen-AI生成输出,以及有效运行这些模型所需的大量计算资源,但将Gen-AI整合到HEM开发过程中的益处日益明显。针对驱动本研究的核心问题——是否可能通过LLM等语言模型概念化健康经济模型?——决定性答案是肯定的,条件是强有力的人类治理。框架性能取决于检索质量和专家验证;作者建议进一步研究测试可推广性和决策影响。本研究表明,LLM如GPT-5.2(OpenAI)确实可协助HEM概念化阶段,而该阶段传统上是人力密集型过程。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号