商用多模态大语言模型在乳腺癌病理特征提取中的局限性评估

《Breast Cancer Research》：Commercial multimodal large language models show systematic model-specific errors in breast cancer pathology reporting: a paired concordance study

　　

摘要

背景

乳腺癌的治疗取决于组织病理学特征，如诺丁汉分级（Nottingham grade）和受体定义的亚型（receptor-defined subtype），但在人力资源短缺的情况下，专业病理学家的接诊能力有限。商用多模态大型语言模型（MLLMs）可以通过付费接口在没有本地硬件的情况下读取苏木精和伊红（H&E）染色图像，但之前的病理学评估仅能处理较为粗糙的任务。

方法

我们进行了一项单中心回顾性配对一致性研究，将三种主流商用MLLM（Claude Sonnet 4.6、Gemini 2.5 Pro、GPT-5.5）与一位经过认证的乳腺病理学家的结果进行了比较，研究对象为427例浸润性乳腺癌病例。每个模型都收到了相同的病例概述信息以及每例16张H&E染色组织切片，并使用了相同的提示信息。我们评估了临床相关特征的逐项一致性，比较了原始一致性结果和经机会校正后的一致性结果，并分析了每个模型的错误方向。在111个病例中，两名对报告结果不知情的病理学家重新阅读了提交的切片图像，同时分别审查了模型处理的图像数据包，以此建立切片层面的参考标准以及研究内部的观察者间一致性基准。

结果

没有任何一个模型能够达到足以支持自主提取任何病理特征的一致性水平。在对110个病例的图像数据进行盲审时，没有发现任何病例存在淋巴血管侵犯（lymphovascular invasion），仅在一个病例中发现了神经周围侵犯（perineural invasion）；Claude和GPT-5.5均未检测到这些特征，而Gemini在26个病例中检测到了淋巴血管侵犯，但这些病例的图像并未提供足够证据支持这一诊断。有5个病例中不存在浸润性癌（invasive carcinoma），但在这15个模型-病例对中，有14个对仍然给出了诺丁汉分级（Nottingham grade）的判断。Claude在原始组织类型一致性方面的表现最好（87.4%），然而它将所有小叶癌（lobular carcinoma）和微乳头癌（micropapillary carcinoma）都归类为“非特殊类型”（no-special-type），这一排名在按类型划分的敏感性分析中发生了逆转。在针对IHC定义的受体类别进行的探索性阴性对照分析中，所有三个模型对HER2阳性（HER2-positive）的检测敏感性均低于3.6%，这与仅依赖H&E染色图像的预期结果相符。两位病理学家对提交切片的诊断一致性为中等水平（-grade的Kappa值为0.51）；模型与报告结果的等级一致性范围为0.27–0.42，与第二位病理学家的诊断结果（0.36）相当。

结论

所评估的三种MLLM均未达到能够自主提取临床相关乳腺病理特征的一致性水平。在相同的提示条件下，每个模型都表现出系统性的错误倾向，包括错误地判出了输入数据中并不存在的病理现象；对各个模型进行的有限二次分析（如改变提示内容、调整推理过程或使用同一厂家提供的更高级别模型）并未消除这些错误模式，目前尚无法确定这些错误是源于模型本身的预设信息还是模型与提示信息之间的交互作用。这些发现不支持将这些模型用于自主诊断；任何辅助用途都需通过前瞻性研究来验证，包括对肿瘤进行有针对性的图像采样和病理学家的复核。

背景

乳腺癌的治疗依赖于组织病理学特征，如诺丁汉分级和受体定义的亚型，但在专业人员稀缺的地区，专业病理学家的服务难以获得。商用多模态大型语言模型（MLLMs）可以通过付费接口在无需本地硬件的情况下读取苏木精和伊红（H&E）染色图像，但之前的病理学评估仅能处理较为基础的任务。

方法

我们进行了一项单中心回顾性配对一致性研究，将三种主流商用MLLM（Claude Sonnet 4.6、Gemini 2.5 Pro、GPT-5.5）与一位经过认证的乳腺病理学家的结果进行了比较，研究对象为427例浸润性乳腺癌病例。每个模型都收到了相同的病例概述信息以及每例16张H&E染色组织切片，并使用了相同的提示信息。我们评估了临床相关特征的逐项一致性，比较了原始一致性结果和经机会校正后的一致性结果，并分析了每个模型的错误方向。在111个病例中，两名对报告结果不知情的病理学家重新阅读了提交的切片图像，同时分别审查了模型处理的图像数据包，以此建立切片层面的参考标准以及研究内部的观察者间一致性基准。

结果

没有任何一个模型能够达到足以支持自主提取任何病理特征的一致性水平。在对110个病例的图像数据进行盲审时，没有发现任何病例存在淋巴血管侵犯，仅在一个病例中发现了神经周围侵犯；Claude和GPT-5.5均未检测到这些特征，而Gemini在26个病例中检测到了淋巴血管侵犯，但这些病例的图像并未提供足够证据支持这一诊断。有5个病例中不存在浸润性癌，但在这15个模型-病例对中，有14个对仍然给出了诺丁汉分级。Claude在原始组织类型一致性方面的表现最好（87.4%），然而它将所有小叶癌和微乳头癌都归类为“非特殊类型”，这一排名在按类型划分的敏感性分析中发生了逆转。在针对IHC定义的受体类别进行的探索性阴性对照分析中，所有三个模型对HER2阳性（HER2-positive）的检测敏感性均低于3.6%，这与仅依赖H&E染色图像的预期结果相符。两位病理学家对提交切片的诊断一致性为中等水平（-grade的Kappa值为0.51）；模型与报告结果的等级一致性范围为0.27–0.42，与第二位病理学家的诊断结果（0.36）相当。

结论

所评估的三种MLLM均未达到能够自主提取临床相关乳腺病理特征的一致性水平。在相同的提示条件下，每个模型都表现出系统性的错误倾向，包括错误地判出了输入数据中并不存在的病理现象；对各个模型进行的有限二次分析（如改变提示内容、调整推理过程或使用同一厂家提供的更高级别模型）并未消除这些错误模式，目前尚无法确定这些错误是源于模型本身的预设信息还是模型与提示信息之间的交互作用。这些发现不支持将这些模型用于自主诊断；任何辅助用途都需通过前瞻性研究来验证，包括对肿瘤进行有针对性的图像采样和病理学家的复核。