PolyPath：基于百万令牌上下文大模型的多切片病理报告生成突破

本文展示了利用Gemini 1.5 Flash大模型（LMM）的百万令牌长上下文能力，首次实现从多达40,000个10X放大图像块（相当于11小时视频数据）中生成多切片病理诊断报告。专家评估显示，对于5切片以内的病例，生成报告临床准确率达68%（95% CI: [60%, 76%]），为跨WSI（Whole Slide Image）的病理AI诊断开辟了新范式。

　　

数据集

我们基于PathAlign¹的最新数据构建工作，其主要数据集包含来自某三级教学医院的约35万张全幻灯片图像（WSI）及对应病理报告的脱敏回顾性数据。该数据集代表了美国大型医院系统中病理学家阅片的外科和活检程序及发现的分布情况。绝大多数切片为苏木精-伊红（H&E）染色。该数据集在原始研究中被称为DS1。

自然语言生成结果

我们计算了PolyPath（多切片模型）、SS-Random、SS-LLM和SS-MS（单切片模型）在所有部位类别上的ROUGE-L和METEOR分数，以原始报告文本的发现内容作为标准参考。结果总结见表4。指标显示PolyPath在所有部位类别上均较单切片模型变体持续提升。我们还观察到，切片数量较多的部位类别（特别是P6-9和P10+）指标较低。

讨论

本研究表明，具有长上下文能力的大型多模态模型可用于推进多WSI生成报告文本这一计算挑战性强且具有临床意义的任务。通过专家病理学家评审，我们证明对于含2-5张切片的部位，生成报告文本在68%的情况下被认为至少等同于原始病理报告中的部位级文本。

在多数病例中，病理诊断需要整合多个切片的信息。虽然当前模型在超多切片（≥6张）病例上性能有所下降，但本研究证明了现代LMM长上下文能力在医学报告生成这一独特挑战任务中的应用潜力——每个病例可包含数千个图像块。