专有与开源大语言模型在介入肿瘤学多源信息提取中的系统比较评估

《CardioVascular and Interventional Radiology》：Comparative Evaluation of Proprietary and Open-Source Large Language Models for Systematic Multi-source Information Extraction in Interventional Oncology

本研究针对肝细胞癌（HCC）经动脉化疗栓塞术（TACE）临床报告中关键变量提取效率低下的问题，系统比较了GPT-4o、Gemini 1.5 Pro等专有模型与Llama 3.1系列开源大语言模型（LLMs）的性能。结果显示专有模型在mRECIST肿瘤反应评估、AFP动态监测等核心指标提取中显著优于开源模型（准确率0.87±0.21 vs 0.77-0.80），但血管侵犯检测仍是所有模型的薄弱环节，证实了AI辅助决策的潜力与人类监督的必要性。

　　

在肝癌治疗领域，经动脉化疗栓塞术（TACE）作为中期肝细胞癌（HCC）的基石疗法，其疗效高度依赖对多源临床数据的精准解读。然而，放射学报告、介入手术记录和随访资料中蕴含的关键信息——如肿瘤反应评估（mRECIST）、甲胎蛋白（AFP）动态变化、巴塞罗那临床肝癌（BCLC）分期等——往往以非结构化文本形式存在，导致临床决策效率低下且易受主观差异影响。随着慢性肝病引发的HCC发病率持续攀升，开发能够自动化提取临床变量的智能系统已成为介入肿瘤学的迫切需求。

为系统评估人工智能在TACE数据提取中的实际效能，由德国弗莱堡大学医院领衔的研究团队开展了一项回顾性研究，成果发表于《CardioVascular and Interventional Radiology》。研究团队选取了2012-2024年间50例HCC患者的556份纵向TACE相关报告，通过对比专有模型（GPT-4o、Gemini 1.5 Pro）与开源模型（Llama 3.1 70B、Llama 3.1 405B）在提取预定义二元变量（如mRECIST反应、AFP动态）和有序变量（如肝段侵犯、血管侵犯）方面的表现，揭示了不同架构LLMs的临床适用性边界。

关键技术方法包括：采用单中心回顾性队列设计（n=50患者/556报告），通过标准化系统提示词和输出模板确保模型对比公平性；建立混合效应回归模型（含患者级随机截距）评估准确性、有序评分和纵向误差率；由两名资深放射科医生独立标注金标准，并通过共识机制解决分歧（Cohen's k=0.81）。

模型整体性能比较

专有模型在二元变量提取中显著领先，GPT-4o以0.87±0.21的准确率居首，Gemini（0.85±0.16）次之，而Llama 3.1 70B（0.80±0.22）和405B（0.77±0.24）表现较差（p<0.05）。在有序变量评估（1-5分制）中，GPT-4o（4.15/5）与Gemini（4.10/5）同样优于开源模型（3.65-3.77/5），尤其在肝段识别等TACE规划关键任务中优势明显。

任务特异性表现

肝段侵犯识别任务中，Gemini（4.10/5）与GPT-4o（4.08/5）近乎完美，而Llama模型（3.66-3.80/5）存在显著漏判。血管侵犯检测成为所有模型的短板，最佳表现者Gemini仅获3.60/5分，反映出对影像描述细微差异的解析能力不足。在AFP趋势分析中，GPT-4o（0.92）远超其他模型（均为0.64），凸显其处理时间序列数据的独特优势。

纵向误差分析

GPT-4o在二元变量追踪中展现出极强稳定性（误差率0.01），显著优于Gemini（0.09）和Llama模型（0.18-0.21）。

热力图分析进一步验证了专有模型在诊断分期（准确率>0.90）和随访评估阶段的持续优势，而开源模型在复杂任务中表现波动较大。

研究结论指出，专有LLMs能够高效自动化提取TACE流程中大部分关键临床变量，尤其在肝段定位、mRECIST评估等核心环节已接近实用化需求。然而，血管侵犯检测等需要多模态信息融合的复杂任务仍是技术瓶颈，且开源模型当前性能与专有模型存在代际差距。该研究为AI辅助介入肿瘤学决策提供了实证依据，同时强调临床整合必须坚持人类专家监督、标准化文档规范与多中心验证三大原则，方能真正实现技术赋能与医疗安全平衡。