《Frontiers in Neurology》：Toward trustworthy diagnostic AI: debiasing and grounding large language models for seizure semiology interpretation
编辑推荐：
大语言模型（large language models, LLMs）已被提出用于将自由文本癫痫发作症状学映射为发作起始区（seizure-onset zone, SOZ）似然，但在不进行额外训练的情况下，推理时干预能否改进原始SemioLLM基准仍不清楚。研究
大语言模型（large language models, LLMs）已被提出用于将自由文本癫痫发作症状学映射为发作起始区（seizure-onset zone, SOZ）似然，但在不进行额外训练的情况下，推理时干预能否改进原始SemioLLM基准仍不清楚。研究人员在1,268条Semio2Brain数据行上，跨七种本地部署的开放权重LLM，评估了两种此类干预——自一致性内部的候选顺序置换，以及病例特异性标注示例的TF-IDF检索——单独及联合使用（检索增强的顺序不变自一致性，RAOI-SC）。性能采用加权F1（weighted-F1）和宏F1（macro-F1）、配对bootstrap置信区间（paired bootstrap confidence intervals），以及针对自一致性基线的精确McNemar检验（exact McNemar tests）进行评估，并采用多维可靠性画像，涵盖引用覆盖率与条件可验证性、检索一致性、严格模式遵循和置信度集中度；TF-IDF最近邻分类器和分组划分敏感性分析限定了任何增益可能反映检索泄漏而非干预本身的程度。对于七种模型中的六种，RAOI-SC的加权F1点估计高于自一致性，但该改善仅在四种模型中由配对置信区间支持，且仅在一种模型Mistral-7B-Instruct-v0.3中由McNemar检验支持；单独的TF-IDF最近邻基线在行级划分下达到55.72加权F1，一旦将相同文本和出版参考重复项分组，则分别降至50.43和48.97。这些结果支持对检索和顺序置换作谨慎、模型特异性的解读，即将其视为可测试的提示干预，而非普遍更优或经临床验证的方法，并界定了一个行级基准；该基准本身不能建立患者级或来源级泛化。
研究背景：癫痫影响约7000万人，约三分之一药物难治；切除性手术成功依赖术前准确定位发作起始区（seizure-onset zone, SOZ）。发作症状学可自患者和目击者报告获得，是无需侵入监测的易得定位信息。SemioLLM建立自由文本症状学至SOZ似然任务，显示大语言模型（large language models, LLMs）性能依赖提示策略，但存在自信错误（校准）、伪造引用（事实性）、固定候选顺序位置偏差、静态少样本不匹配等不同失败模式。本研究仅针对后两者：候选顺序置换检验七区域顺序变化能否稳定自一致性（self-consistency, SC）；TF-IDF（term frequency–inverse document frequency）检索以词法相似标注行替代静态示例；不直接验证引用或校准。目的为在无额外训练下评估推理时干预能否改进原始SemioLLM基准，并界定检索泄漏与行级泛化边界。
研究人员在1,268条Semio2Brain行上，跨七种本地开放权重LLM评估零样本、少样本、思维链（chain-of-thought, CoT）、少样本CoT、SC、检索少样本（FS-Retrieved）、候选顺序置换SC（SC-Perm）及联合的检索增强顺序不变自一致性（retrieval-augmented order-invariant self-consistency, RAOI-SC）；用加权/宏F1、配对bootstrap置信区间、精确McNemar，以及引用覆盖率/条件可验证性、检索一致性、严格模式、置信度集中度诊断；TF-IDF最近邻和相同文本/出版参考分组敏感性分析限定泄漏。结论：RAOI-SC效应具模型和指标依赖性；六/七模型加权F1点估计较高，但配对区间仅支持四模型，McNemar仅支持Mistral-7B-Instruct-v0.3；OpenBioLLM-8B和Med42-v2-8B准确率显著下降；行级基准不能证明患者或来源级泛化。意义是提供透明比较框架，分开报告准确率、归因、格式和置信度集中度。
关键技术方法（≤250字）：数据为Semio2Brain数据库（SemioLLM所用同一公开手术病例报告meta分析）中经术后无发作和区域计数过滤的1,268行；七种7–14B开放权重指令微调LLM本地部署。对每个留出查询，以TF-IDF余弦相似度在其他四折检索前三条标注行作示例；SC在温度0.7生成五样本，以分量中位数聚合并归一化；候选顺序逐样本独立置换七区域后恢复规范顺序；RAOI-SC联合二者。评估采用加权/宏F1、配对bootstrap、精确McNemar、严格模式、引用覆盖/可验证性、检索一致性和熵，并行TF-IDF最近邻及相同文本/出版参考分组敏感性分析。
4.1 基线比较：七种本地模型在五种基线及RAOI-SC上的加权/宏F1常排序不同；稀有区域性能低，聚合加权F1主要受颞叶和额叶驱动，表观增益不等同平衡解剖定位。与已发表SemioLLM模型比较为描述性。
4.2 消融研究：RAOI-SC在六模型加权F1点估计高于SC，但宏F1变化较不一致；检索贡献较大，单独顺序置换较小且不一致。由于FS-Retrieved与自一致性条件在采样及示例存在、来源和相关性上同时不同，该比较为描述性而非干净析因分解，RAOI-SC不是独立第三机制。扣带回、下丘脑和岛叶许多模型-区域组合准确率接近零。
4.3 跨模型可靠性诊断：七模型为小而异质样本，不作群体引用覆盖率13.0%–100.0%；OpenBioLLM和Med42条件可验证性高但覆盖少，Qwen和Phi几乎总给来源但少于半数匹配整理书目。检索一致性在FS-Retrieved与RAOI-SC间变化小，只描述与检索标签一致而非正确性。严格验证显示GLM-4有16.32%、OpenBioLLM有12.54%的RAOI-SC行完全无效；熵仅表示置信度集中度非校准。准确率、归因、格式和集中度应分开。
4.4 配对统计比较与检索敏感性：2,000次配对全行bootstrap和精确双侧McNemar显示，Qwen2.5-14B-Instruct、Mistral-7B-Instruct-v0.3、Gemma-2-9B-it、GLM-4-9B-Chat的RAOI-SC减SC加权F1区间正向排除零；Phi-4和Med42-v2-8B不确定；OpenBioLLM-8B下降。仅Mistral准确率显著提高（p=4.27×10
?7），OpenBioLLM和Med42显著下降（p=4.90×10
?24、6.04×10
?8）。TF-IDF标签共识基线行级加权F1为55.72，相同文本分组50.43，出版参考分组48.97；下降限定LLM检索条件解释，支持模型和指标特异性结论而非普遍获益。
讨论部分：RAOI-SC以模型和指标依赖方式改变性能；四模型配对加权F1正向，但仅Mistral准确率显著改善；检索常贡献较大，单独置换较小且不一致。TF-IDF标签共识行级有竞争力而分组后下降，故LLM结果测量基准行性能，非未见患者或来源泛化。可靠性指标暴露权衡：条件引用可验证性依赖覆盖率；检索一致性可能奖励错误邻居传播；严格模式验证识别宽松解析隐藏失败；熵未建立校准。最稀有区域识别仍差；聚合F1和回顾性诊断不证明临床获益、诊断安全或照护准备。证据未建立超越在本基准适应和联合评估既有技术的新颖性。局限包括行级折非患者/出版级、无患者标识、重复描述跨折；未同提示比较固定、随机和最近真实示例，无法将检索效应仅归因邻居选择；TF-IDF为词法，数据不平衡且单标签，稀有区域宏估计不稳定，无外部队列或临床医生错误裁定；引用可验证性、检索一致性、模式遵循、熵分别不等同完整性、正确性、事实性、校准；bootstrap反映行抽样非生成不确定性；关键超参数固定非系统调优；七模型不代表2026年全部可用模型。未来应使用患者/来源分组外部队列，同提示比较固定、随机和最近真实示例，跨种子重复生成，评估密集临床检索器，报告校准概率和类别特异性结果，并纳入盲法临床裁定。
研究结论翻译：在该行级Semio2Brain基准中，将TF-IDF选定示例与候选顺序置换自一致性结合产生模型和指标依赖的效应。四种模型有正向配对加权F1区间，但仅Mistral有显著配对准确率改善；OpenBioLLM和Med42显著准确率下降。分组检索敏感性和严格模式验证进一步削弱广泛性能主张。因此RAOI-SC应视为可测试的提示配置，而非普遍更优或临床验证方法。实际贡献是透明比较框架，纳入配对分析、宏F1、泄漏敏感性、引用覆盖率、严格模式验证、检索一致性和置信度集中度，供未来患者级评估。
