用于分层胃病理诊断的序列式问答人工智能

《npj Digital Medicine》：Sequential question answering AI for hierarchical gastric pathology diagnosis

　　

摘要

在数字病理学领域，人工智能已从针对特定任务的模型发展为多模态基础模型。然而，由于模型设计与诊断推理的层次化、条件性特征之间存在差异，其在临床中的应用仍然受到限制。在胃部病理学这类复杂领域中，诊断过程需要遵循严格的依赖步骤，只有基于特定的前期检测结果，后续的诊断步骤才具有临床意义。但目前的大部分计算方法往往将各项诊断任务孤立起来，从而忽略了这些关键的依赖关系。在此，我们提出了AUGUST（基于顺序任务的自适应统一胃部诊断系统），这是一种旨在模拟病理学家逐步推理过程的顺序式问答框架。AUGUST通过根据先前的检测结果迭代生成针对特定任务的问题，将全切片图像转换为具备上下文意识的表示形式，并输出符合临床有效路径的答案，从而明确体现诊断过程中的依赖关系。我们在23,072张胃部全切片图像上对AUGUST进行了测试，这些图像涵盖了19个不同层次的诊断任务以及79,924组问题与答案。无论是在完全自主处理还是人工干预的情况下，AUGUST都在多种数据集和任务中表现出优于现有最先进的多实例学习方法、针对病理学的视觉语言模型以及基础模型的性能。我们的研究结果表明，AUGUST在宏观、微观以及分级层面的诊断中均具有更出色的层次一致性和准确性。