智能体人工智能系统在多阶段验证中增强免疫相关不良事件临床检测:面向人机协同的实时结构化表型提取

《Nature Cancer》:An agentic AI system enhances clinical detection of immune-related adverse events in a multi-phase validation study

【字体: 大 中 小 】 时间:2026年10月30日 来源:Nature Cancer 28.0

编辑推荐:

  免疫相关不良事件(irAEs)可影响多达40%接受免疫检查点抑制剂治疗的患者,但其识别长期依赖繁琐、不一致的人工病历审阅。研究人员开发了智能体大语言模型系统,从临床文书中提取六类irAEs的存在、时间状态、严重程度分级、归因与确定性。回顾性分析中,该系统对当前

  
免疫相关不良事件(irAEs)可影响多达40%接受免疫检查点抑制剂治疗的患者,但其识别长期依赖繁琐、不一致的人工病历审阅。研究人员开发了智能体大语言模型系统,从临床文书中提取六类irAEs的存在、时间状态、严重程度分级、归因与确定性。回顾性分析中,该系统对当前事件检测的宏观平均F1达0.92,多分类严重程度分级F1为0.66,自一致性机制使F1提升0.14;最优配置单条病历成本约0.02美元。前瞻性静默部署3个月期间,二分类F1为0.72–0.79。在临床试验人员参与的随机交叉研究中,智能体辅助使标注时间减少2.71分钟(P<0.001),完全匹配准确率提高(比值比1.45;95%置信区间1.01–2.08;P=0.045),标注者间一致性由Krippendorff’s α 0.22–0.51提升至0.82–0.85。研究表明,智能体人工智能结合人工核验,可提升irAE评估的效率、性能与一致性。
研究背景与问题提出
免疫检查点抑制剂(ICI)已重塑肿瘤治疗格局,但可达40%患者会发生免疫相关不良事件(irAEs,immune-related adverse events)。这类毒性可累及多器官,且严重事件可能危及生命。理想的安全监测要求不仅知道“有没有”,还要明确时间状态(当前活跃或既往)、严重程度(按CTCAE分级)、与ICI的归因关系及诊断确定性。然而,大量临床证据以非结构化文本散落在电子健康记录(EHR,electronic health record)中,结构化字段与ICD编码召回有限;传统人工审chart耗时、易错且标注者间差异大。既往自然语言处理(NLP)与早期大语言模型(LLM)研究多停留在“患者/就诊级有无irAE”的二分类,缺乏细粒度属性提取,也难以支持实时监测与监管报告。为此,研究人员构建并验证一套智能体(agentic)LLM系统,在回顾性开发、前瞻性静默部署与人机协同随机研究三阶段中,检验其提取六类irAE细粒度表型的能力与 workflow 价值。论文发表于《Nature Cancer》。
主要技术方法概述
研究人员采用波士顿学术医疗中心2015–2024年接受ICI治疗的回顾性队列病历,聚焦肺炎、肝炎、心肌炎、皮炎、甲状腺炎与结肠炎六类高发或致命性irAE。系统以GPT-4.1-mini为主干,构建多智能体流水线:事件拆分器将文书路由至各器官特异性管道,相继由检测智能体、CTCAE分级智能体、归因智能体与确定性智能体处理;检测与分级阶段引入自一致性(self-consistency)机制,即每阶段并行推理3次并由裁判智能体仲裁。金标准由医师与研究协调员依CTCAE v5.0与既定指南双重标注。随后开展884份病历的前瞻性静默部署,并以17名临床研究人员完成2×2交叉随机人机协同实验,用广义估计方程与Krippendorff’s α评估效率、准确率与一致性。
研究结果
Note-level irAE系统开发与评估(阶段1)
在263份专家标注病历上,默认智能体架构结合自一致性取得最优:时间无关的irAE检测宏观F1为0.93,当前事件检测F1为0.92,既往事件0.91;多类CTCAE分级当前事件宏观F1为0.66,皮炎与甲状腺炎较高、结肠炎较低。归因与确定性二分类F1达0.92–0.94。移除自一致性后检测F1降至0.78,证明多跑共识显著贡献性能;单份病历成本约0.021美元。
前瞻性静默验证(阶段2)
系统接入EHR数据仓库,3个月内处理884份实时文书。性能较回顾性下调但仍具实用价值:当前事件综合二分类F1为0.72,既往0.79;归因F1为0.77,确定性0.80。说明分布偏移下系统可运行,但需持续监测与再校准。
随机用户效应研究(阶段3)
17名临床研究人员标注20份文书。智能体辅助将中位标注时间由428秒降至242秒(减少43.5%),GEE估计少2.71分钟(P<0.001);完全匹配准确率由19.4%升至25.9%(OR 1.45,P=0.045);当前分级Krippendorff’s α由0.22–0.51升至0.82–0.85,归因与确定性一致性同步大幅提升。88%参与者偏好AI辅助界面,证据高亮功能被认为关键。
讨论与结论翻译
讨论指出,该研究将irAE识别从劳动密集型回顾审阅,推向可扩展、可审计的实时细粒度提取。智能体分解加自一致性与证据片段抽取,兼顾准确性与可追溯性;多阶段验证框架(回顾—前瞻—人机嵌入)为临床AI落地提供模板。局限包括仅覆盖六类irAE、单中心EHR语言分布、依赖专有模型与未外接患者结局。开放问题为跨机构验证、开源本地化部署与漂移监控。
研究结论部分翻译:
总之,研究人员开发并验证了智能体LLM系统及交互界面,可在回顾与前瞻场景中实时提取irAE的存在、严重度与归因等临床细节。在人机协同下,智能体辅助提升了irAE标修的效率、性能与一致性。经外部验证与以结局为导向的试验后,此类系统有望强化并加速实时安全监测、试验数据标修与高可靠性肿瘤诊疗。
你想把这篇解读压缩成300字摘要,还是整理成答辩式评审意见?
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号