致编辑的信,

我们感谢Shankar和Xu对我们近期工作的深入且有建设性的反馈 [1]。他们强调了集成策略、多模态评估、结构化数据整合以及具有临床意义的错误评估,这些为探讨大型语言模型在神经学推理中的作用提供了有价值的补充。

我们完全同意,超越基于文本的案例描述和准确率指标至关重要。然而,该领域的最新发展表明,核心挑战可能正在从模型性能转向模型行为 [2]。在临床神经学中,诊断推理的评判标准不仅仅在于结论是否正确,还在于得出该结论的推理过程是否连贯、稳定且具备适应性。随着新证据的出现,诊断结果会不断更新,而系统对临床表现细微差异的稳定性尤为关键。从这个意义上说,准确率是一种结果,而临床可靠性则取决于推理的结构和一致性。

当我们在发现高诊断准确率的同时也存在模型间一致性较低的现象时,这一视角就显得尤为重要。这种情况并非简单的性能差异,而可能反映出更深层次的认知不稳定性,即那些单独看来可靠的系统,在稍有不同的条件下可能会得出相互矛盾甚至不相容的结论 [3]。从临床角度来看,这种不稳定性并非次要问题,而是安全应用的核心顾虑。

值得注意的是,大型语言模型的推理行为与神经学中已有的诊断推理模型有着有趣的相似之处。临床推理可以被视为一種隐式的贝叶斯推理形式,其中先验概率会根据新证据不断得到更新 [4]。与此同时,神经科医生通常依赖整体模式识别能力,能够快速将各种症状、体征及背景因素整合为连贯的诊断假设。

在这方面,人类认知的双过程模型——例如卡尼曼提出的快速直觉性过程(系统1)与较慢的分析性过程(系统2)之间的区别 [5]——为我们提供了一个有用的分析视角。大型语言模型似乎兼具这两种推理模式的特征,但却缺乏临床医生在直觉与分析过程转换过程中所具有的元认知调节能力 [6]。这或许可以解释为何不同的模型即便采用不同且内在不一致的推理路径,仍能达到相似的准确率。

然而,当前大型语言模型中这些机制的共存可能导致一种混合式推理方式,这种推理缺乏临床推理所要求的内部校准与一致性。与人类诊断医生不同,后者的推理无论是分析性的还是直觉性的,都受到共同培训、临床经验以及反馈循环的影响,而大型语言模型则可能通过不同且不透明的路径得出正确答案 [7]。这或许也能解释为何不同的模型在某些病例上会出现较大分歧,却仍能取得相似的准确率。

有鉴于此,未来的研究或许可以在基于性能的评估标准之外,加入对推理行为的明确评估,包括在干扰条件下的稳定性、类似病例间的一致性,以及表达和传递不确定性的能力。虽然集成方法、多模态整合以及检索增强策略都是具有前景的方向,但也需要评估它们如何影响系统背后的推理机制。

最后,基于迭代式和交互式大型语言模型框架的新范式——这类框架具备逐步完善假设、有针对性地收集信息以及动态整合多模态数据的能力——可能会进一步挑战传统基于静态案例的评估方法的合理性。这类系统更接近于现实世界中临床推理的纵向性和适应性特征,或许需要新的评估方法。

在这种背景下,关键问题或许已不再是大型语言模型能否实现高诊断准确率,而是它们的推理方式如何、其推理的一致性如何,以及它们的推理是否与神经学临床决策的认识论基础相契合。