肺毛霉病与侵袭性肺曲霉病AI诊断的方向性错误:多智能体架构与更换骨干模型均无法稳定降低误判风险

《Journal of Fungi》:Neither More Agents nor Different Backbone Models Consistently Reduces Directional Diagnostic Error of Artificial Intelligence Agents in Pulmonary Mucormycosis Versus Invasive Pulmonary Aspergillosis

【字体: 大 中 小 】 时间:2026年10月30日 来源:Journal of Fungi 4.3

编辑推荐:

  摘要专业翻译 肺毛霉病(pulmonary mucormycosis, PM)与侵袭性肺曲霉病(invasive pulmonary aspergillosis, IPA)临床表现相似,但一线治疗方案不可互换:伏立康唑(voriconazole)对毛霉目(Mu

  
摘要专业翻译 肺毛霉病(pulmonary mucormycosis, PM)与侵袭性肺曲霉病(invasive pulmonary aspergillosis, IPA)临床表现相似,但一线治疗方案不可互换:伏立康唑(voriconazole)对毛霉目(Mucorales)真菌无活性。在培养、组织病理学或分子检测结果回报之前,将毛霉病误判为曲霉病,可能使治疗导向对毛霉目无活性的方案。研究人员探究了人工智能(artificial intelligence, AI)诊断智能体在此确诊前窗口期的错误方向。研究人员在最终诊断揭晓前截断了140例已发表的肺部病例报告(47例毛霉病、45例侵袭性曲霉病、48例其他诊断),并由两名设盲医师审阅每份报告。智能体须选择一个诊断,不允许弃权。研究人员将单一智能体与模拟多智能体会诊(由运行于同一骨干模型的专科角色智能体组成,经主持人汇总意见)进行比较;在三个骨干模型中析因分离各设计要素(包括一页式指南提示)的效应;并在十个骨干模型中重复该比较。跨骨干模型而言,经指南提示的单一智能体将毛霉病误判为曲霉病的比例维持在4.3%–19.1%,而多智能体会诊的这一比例范围为10.6%–74.5%;在同一模型内,改变设计可将该比例从8.5%移动至74.5%。该会诊配置在多个设计要素上与单一智能体不同,在全部十个骨干模型中均出现更多错误(在113个不一致的病例–骨干模型配对中,103个仅会诊出错),且惩罚幅度在不同骨干模型间相差约三十倍。在三个选定骨干模型的探索性析因实验中,会诊结构与更多此类错误相关,而指南提示与更少此类错误相关,全部12个配对比较方向一致;然而,指南提示将这些病例转移至“其他”类别,并未识别出更多毛霉病病例。曲霉病错误的减少并不意味着整体错误谱更优:在140例病例集上评估的所有智能体配置中,智能体仅识别出18%–55%的毛霉病病例。两名设盲医师彼此高度一致(κ = 0.856),但在43例子集中与参考诊断的匹配率仅为55.8%和58.1%,无脚手架的前沿模型亦如此(58.1%);这些数字描述的是截断文本上的观察表现,并非可实现的上限。然而,在同一14例毛霉病病例上,每位医师各判出1例曲霉病,而会诊判出12例。在这项分类错误的探索性评估中,多智能体设计或更换骨干模型均未能一致降低这一方向性错误。

论文解读

一、研究背景与问题提出

世界卫生组织将烟曲霉(Aspergillus fumigatus)列为关键优先级真菌病原体,将毛霉目列为高优先级真菌病原体。肺毛霉病(pulmonary mucormycosis, PM)是由毛霉目真菌引起的侵袭性感染,病理学特征为血管侵袭、血栓形成和组织坏死,好发于糖尿病、血液系统恶性肿瘤、移植、长期糖皮质激素暴露或重症病毒感染等免疫受损人群。一项纳入79项研究、1544例患者的荟萃分析显示,肺毛霉病汇总死亡率为57.1%,2010至2020年间发表的研究中死亡率仍达49.8%。死亡率与有效治疗启动的延迟密切相关,因此在免疫受损患者出现新发肺部浸润时,毛霉病应纳入初始鉴别诊断而非仅在经验性治疗失败后才考虑。
然而,最可能取代毛霉病诊断的是侵袭性肺曲霉病(invasive pulmonary aspergillosis, IPA),后者远为常见,估计每年有210万人发生侵袭性曲霉病,粗死亡率约180万。两种感染均可能表现为持续发热、咳嗽、呼吸困难、胸膜性疼痛或咯血,胸部CT均可显示结节、实变、空洞和晕征,宿主谱亦高度重叠。这一鉴别诊断的代价是不对称的:伏立康唑是IPA的一线选择但对毛霉目无活性,毛霉病则需要及时启动脂质体两性霉素B或艾沙康唑并纠正可逆宿主因素。若诊断过程在证据不足时过早收敛于曲霉病,真正的毛霉病患者可能在最关键的治疗窗口期接受无效方案。
早期诊断侵袭性霉菌病本质上是信息何时可得的问题。培养敏感性有限,组织病理学和直接镜检依赖侵入性标本,分子检测并非普遍可及,血清和灌洗液生物标志物对曲霉病比对毛霉病更具信息价值。因此,确定诊断的证据往往在首次治疗决策之后才出现。人工智能(AI)诊断智能体正进入这一窗口期,其中备受关注的设计是多智能体会诊——将同一病例分发给多个专科智能体,由主持人汇总意见形成最终诊断。这模仿了临床多学科团队的形式,但当智能体共享同一骨干模型、同一训练分布、同一提示框架和同一不完整病例时,聚合可能只是重复同一先验多次。若主持人将这种一致性视为额外证据,罕见但治疗关键的诊断可能被挤出差分诊断。现有研究通常比较多个要素同时变化的完整系统,总体准确率既无法定位差异来源,也无法揭示错误向某一高风险诊断的系统性偏移。

二、研究设计与核心发现

本研究不围绕总体准确率展开,而是聚焦于错误方向:系统出错时指向的治疗路径比出错频率更重要。研究人员构建了经临床审计的140例确诊前肺部叙事数据集(47例毛霉病、45例严格侵袭性曲霉病谱、48例其他肺部诊断),每例由两名设盲医师审查并标注截断时是否存在鉴别证据。研究人员比较了模拟多智能体会诊与经指南提示的单一智能体,在十个骨干模型中重复该比较,并在三个骨干模型上运行2×2×2析因实验以分离智能体结构、指南提示和结构化抽象三个要素的效应。
核心发现如下:第一,跨十个骨干模型,模拟多智能体会诊在全部模型中均比经指南提示的单一智能体产生更多PM→IPA错误,差异从Claude Opus 5的2.1个百分点到DeepSeek V4 Flash的66.0个百分点不等,不和谐配对总计103例对10例。第二,在三个选定骨干模型的析因实验中,会诊结构与更多PM→IPA错误相关(全部12个配对比较方向一致),指南提示与更少此类错误相关(同样全部12个配对一致),而结构化抽象效应较小且不一致。第三,指南提示并未增加毛霉病识别数量,只是将错误从“曲霉病”转移至“其他”。第四,完整错误谱显示,所有配置的毛霉病召回率仅为17.9%–55.3%,无一接近临床可用水平;罕见病智能体虽召回率最高(55.3%),但将93例非毛霉病病例中的11.4–14.0例误判为毛霉病。第五,在43例医师子集上,两名设盲医师彼此高度一致(κ = 0.856),但与参考诊断的匹配率仅为55.8%和58.1%,无脚手架的前沿模型亦为58.1%;在同一14例毛霉病病例上,每位医师各判出1例曲霉病,而会诊判出12例。

三、关键技术方法

研究人员从RareArena公共基准中筛选病例,该基准基于PubMed Central去标识化病例报告构建。首先使用大语言模型对1591条候选记录按部位分类(肺部、肺外、播散性、不确定),保留554条,分层人工核验160条筛选决策,阳性预测值95.0%,阴性预测值96.3%。随后抽取150例配额样本(毛霉病、曲霉病、其他各50例),回溯源文章核验诊断和肺部受累,排除7例;剩余143例由两名设盲医师独立审查(J.X.和L.L.),分歧由资深医师(X.M.)裁决,主要诊断一致率140/143(97.9%,κ = 0.969)。最终冻结数据集为140例:47例毛霉病、45例侵袭性曲霉病谱、48例其他肺部诊断,含70例RDS和70例RDC叙事。两名设盲医师为47例毛霉病病例标注截断时证据状态(五级互斥分层),一致率39/47(83.0%)。智能体配置由三个二水平设计要素交叉形成:智能体结构(单一智能体或模拟多智能体会诊)、指南提示(有无)、结构化抽象(有无),共八种组合。析因实验在DeepSeek V4 Flash、GLM-5.2和Claude Opus 5三个骨干模型上运行,每个模型×智能体组合以温度0和top-p 1运行五次。十模型比较覆盖Gemini 3.5 Flash、GPT-5.5、Claude Opus 5、Kimi K3、Qwen3.8-Max、MiniMax M3、Seed2.1 Pro、DeepSeek V4 Flash、GLM-5.2和GLM-5。医师参考子集为43例分层随机抽样(14例毛霉病、14例曲霉病、15例其他;固定随机种子20260701),由一名作者医师(L.L.)和一名非作者感染科医师阅读,另以单次无脚手架Claude Opus 5调用作为对照。质量控制包括语义重写、来源识别探针、378份输出人工审查和严格数据集重算。

四、研究结果

3.1 近半数毛霉病病例在决策时点无鉴别证据。 140例最终病例在三类诊断间大致均衡。47例毛霉病病例中,21例(44.7%)在截断前不含PM–IPA鉴别证据,其余为10例毛霉目倾向、9例曲霉倾向、4例双证据、3例其他鉴别证据。两名审查者在裁决前一致率39/47(83.0%)。
3.2 跨十个骨干模型,模拟会诊配置比经指南提示的单一智能体产生更多毛霉病→曲霉病错误。 全部十个模型中会诊均产生更多PM→IPA事件,差异从2.1到66.0个百分点不等。最极端情况为DeepSeek V4 Flash上会诊将47例中的35例(74.5%)判为IPA。不和谐配对总计103例(仅会诊出错)对10例(仅单一智能体出错)。两种设计下的错误率无明确秩相关(Spearman ρ = 0.26,95% CI ?0.45至0.77)。
3.3 三个选定骨干模型的析因实验:会诊结构、指南提示和结构化抽象的独立关联。 会诊结构与更多PM→IPA事件相关(全部12个配对比较),平均差异在DeepSeek为+12.95例、GLM-5.2为+4.65例、Claude Opus 5为+2.70例。指南提示是唯一与更少PM→IPA事件相关的要素(全部12个配对比较一致),但毛霉病召回率未改变,减少的PM→IPA被PM→OTHER增加所抵消。结构化抽象效应较小且不一致。完全指定的会诊(含提示和抽象)仍比经指南提示的单一智能体产生更多PM→IPA事件(三个模型分别为+23.0、+9.4、+5.5个百分点)。
3.4 按截断时证据状态的分层探索。 无鉴别证据的21例中,内容匹配会诊比单一智能体多产生34.3(DeepSeek)、16.2(GLM-5.2)、10.5(Claude Opus 5)个百分点的PM→IPA;有证据的26例中差异收窄至13.8、3.8、1.5个百分点。指南提示在两个分层中均与更少PM→IPA相关。
3.5 曲霉病错误减少不等于毛霉病识别更早。 DeepSeek上经指南提示的单一智能体PM→IPA仅4.4/47(9.4%),但毛霉病识别仅13.2/47(28.1%),62.6%判为“其他”。四种智能体×三模型的毛霉病召回率范围为17.9%–55.3%。罕见病智能体召回率最高(37.4%–55.3%),但将93例非毛霉病病例中的11.4–14.0例误判为毛霉病。
3.6 同一毛霉病病例上,医师与会诊的错误方向不同。 14例毛霉病子集中,两位医师各识别8例,各判1例曲霉病、5例“其他”;模拟会诊识别0例,判12例曲霉病;无脚手架Claude Opus 5与医师分布相同(8例识别、1例曲霉病、5例“其他”)。两位医师彼此一致率39/43(90.7%,κ = 0.856),但与参考诊断一致率仅24/43和25/43(κ = 0.339和0.373);无脚手架模型为25/43(58.1%,κ = 0.371)。对比之下,143例数据集审查中(可见确认信息)审查者一致率140/143(97.9%,κ = 0.969)。
3.7 稳健性与质量控制。 排除3例慢性肺曲霉病对照不改变任何毛霉病相关计数。语义重写后各模型×智能体×重复单元的PM→IPA总数变化不超过1例,但单例标签有3–7例切换。来源识别探针显示三个模型分别正确识别12(8.6%)、16(11.4%)、21(15.0%)篇源文章;排除被识别病例后两项主要对比方向不变。378份输出人工审查中审查者一致376/378,自动映射匹配最终人工标签375/378。

五、讨论与结论

讨论部分指出,本研究结果应在三个层面解读:作为观察,特定会诊配置在全部十个骨干模型中产生更多PM→IPA错误;作为析因证据(仅限三个选定骨干模型),匹配内容要素后会诊结构仍与更多此类错误相关;作为机制,共享骨干模型的智能体可能重述共享先验,这是未经检验的假设。指南提示是唯一在全部12个配对比较中与更少PM→IPA相关的要素,但它未增加毛霉病识别,只是将错误转移至“其他”,因此不应视为提高诊断准确性。AI真菌病评估不能仅依赖总体准确率:错误在侵袭性霉菌病中临床不等价,应按错误谱分类报告。研究人员提出决策支持的最低输出规范,核心为“高-risk诊断保留率”字段,要求系统明确陈述“哪些治疗不一致的诊断尚未排除”和“哪些证据仍然缺失”。
结论部分翻译如下:在确诊前窗口期,所评估的诊断智能体表现出类似公认临床陷阱的错误模式——将毛霉病判为曲霉病——且该倾向的强度随智能体构建方式而变化。本研究所评估的特定模拟多智能体会诊在全部十个测试骨干模型中产生更多PM→IPA错误,极端情况下达47例中的35例。在三个选定骨干模型的析因实验中,匹配指南提示和结构化抽象后,会诊结构仍与更多此类错误相关。共享一个骨干模型的多个智能体并非独立的临床意见来源,其一致性不应被视为可靠性的代理指标。多智能体设计或更换骨干模型均未一致降低方向性错误;错误落点随系统构建方式而变化,在三个选定骨干模型中,与更少PM→IPA错误最一致相关的要素是一页式疾病特异性指南提示,但它改变了错误落点(移至“其他”)而非增加毛霉病识别数量。方向性误诊减少不意味着整体错误谱更优:PM→IPA率最低的智能体识别不足三成毛霉病病例,召回率最高的智能体将约七至八分之一的非毛霉病患者判为毛霉病,无一配置达到临床可用水平。两名设盲医师和无脚手架前沿模型在相同43例截断文本上与最终参考诊断的一致率仅约56–58%,这是小子集中的观察表现而非文本允许的上限;然而在同一14例毛霉病病例上,医师错误多落于“其他”,会诊智能体错误多落于曲霉病——即可能将管理导向偏离毛霉目的标签。这些探索性发现来自经过整理的、类别平衡的已发表病例报告,应在连续临床病例、多中心数据集或前瞻性诊断流程中复制后再指导临床实践。侵袭性真菌病决策支持的评估应相应改变:以完整错误谱取代单一准确率指标,“尚未排除的治疗不一致诊断”和“缺失的鉴别证据”应成为强制评分输出字段,临床价值应在允许系统推迟最终诊断的前瞻性环境中检验。本研究仅涉及分类错误,不确立所评估任何智能体的治疗后果或临床安全性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号