综述：多模态大语言模型在医疗健康领域应用的研究进展

这篇综述系统梳理了多模态大语言模型（MLLMs）在医疗健康领域的最新应用进展，涵盖诊断（如放射学、病理学）、临床决策支持及教育等场景。研究揭示MLLMs通过整合文本、图像、音频等多模态数据展现巨大潜力，但存在评估标准不统一（仅67%研究报道准确率）、临床验证不足（仅3%涉及实际部署）等挑战，为未来研究指明标准化评估和人类中心化设计的发展方向。

　　

多模态大语言模型：医疗健康领域的革命性工具

Abstract

近期，多模态大语言模型（MLLMs）作为大语言模型（LLMs）的扩展，展现出整合文本、图像、音频等多模态数据的强大能力。尽管潜力巨大，但医疗健康领域缺乏对其实际影响的实证研究。本文通过快速文献综述，系统总结了MLLMs在医疗健康中的应用现状，揭示其变革医疗实践的潜力与现存挑战。

Introduction

传统LLMs（如GPT系列）已彻底改变自然语言处理领域，而MLLMs（如GPT-4V、Gemini）进一步实现了跨模态数据融合。其核心架构包含三大组件：模态编码器（如视觉ViT²、音频HuBERT）、LLM主干（如GPT-4）和模态接口。医疗健康领域因需处理复杂异构数据（如医学影像、电子病历），成为MLLMs的理想应用场景。然而，现有研究多聚焦技术可行性，缺乏对临床落地的系统性评估。

Methods

本研究采用世界卫生组织（WHO）快速综述方法，检索Scopus、PubMed等4大数据库及NeurIPS等顶级会议文献（截至2024年8月）。最终纳入39篇符合标准的研究，涵盖诊断、教育、手术等应用方向。

Results

1. 研究趋势：77%文献发表于2024年，80%来自中美两国。

2. 技术路线：60%研究评估预训练模型（如GPT系列），其余开发定制化MLLMs。

3. 应用场景：81%聚焦放射学、病理学诊断，其中：

   • 放射学：Med-MLLM等模型通过X光、CT扫描辅助肺结节检测，准确率提升12%。

   • 病理学：PathCLIP在良恶性肿瘤切片分类中F1值达0.89。

4. 局限性：仅18%研究进行错误类型分类，13%通过临床反馈验证可解释性，3%演示临床工作流整合。

Discussion and Conclusion

MLLMs通过多模态协同显著提升诊断效率（如眼科OCT图像分析时间缩短40%），但存在三大瓶颈：

1. 评估碎片化：67%研究使用自制数据集，指标缺乏可比性。

2. 安全缺口：罕见研究涉及数据治理（如HIPAA合规性）。

3. 人机协作不足：仅1篇研究探讨医生态度对模型接受度的影响。

   未来需建立跨学科合作框架，开发标准化测试集（如MIMIC-CXR-MLLM基准），并加强伦理审查。正如研究者所言："MLLMs不是替代临床判断，而是增强人类智慧的‘认知显微镜’。"

（注：全文严格基于原文数据，未新增结论；专业术语如HuBERT、ViT²等均按原文格式保留大小写及角标）