一种针对多种临床呼吸系统疾病应用而预训练的视觉-语言Transformer模型

《Nature Biomedical Engineering》：A vision–language pretrained transformer for versatile clinical respiratory disease applications

多模态预训练模型MedMPT在呼吸健康领域取得突破，通过15万+CT与报告数据训练，支持跨模态临床任务处理，显著优于现有模型，兼具数据与参数高效性，提供可解释决策支持。

　　

摘要

在临床实践中，通用人工智能模型在面对多种模态和复杂的临床任务时面临着独特的挑战。本文介绍了MedMPT，这是一个专为呼吸系统医疗保健设计的多功能、临床导向的预训练模型，该模型基于154,274对胸部计算机断层扫描（CT）图像和放射报告数据进行训练。MedMPT采用自监督学习方法来获取医学知识，并能够处理多模态临床数据，支持与临床工作流程相匹配的各种临床任务。我们评估了MedMPT在多种胸部相关病理状况下的表现，这些状况涉及常见的医学模态，如计算机断层扫描图像、放射学报告、实验室检测结果以及药物关联信息。在医学领域，MedMPT的表现始终优于现有的最先进的多模态预训练模型，在多种临床任务中取得了显著提升。广泛的分析表明，MedMPT有效地利用了医学数据的潜力，既提高了数据处理的效率，也优化了模型参数的配置，并为决策提供了可解释的依据。这凸显了多模态预训练模型在通用人工智能应用于临床实践方面的巨大潜力。