综述：医学影像中的大模型：进展与展望

这篇综述系统探讨了大模型（LLM/LVM/MLM）在医学影像领域的革命性应用，涵盖分割（SAM）、辅助诊断（如MedSAM18）、报告生成（如R2GenGPT62）等核心场景，并指出其在多模态融合、临床可靠性及部署效率方面的挑战，为AI驱动精准医疗提供了前瞻性视角。

　　

引言

医学影像如CT和MRI为现代医疗提供了从器官到细胞的结构与功能洞察，但传统诊断依赖主观经验且存在解读差异。癌症等疾病的异质性进一步增加了精准诊疗难度。过去十年，AI技术在计算机视觉和自然语言处理（NLP）的突破为医学影像带来新机遇，例如提升MRI重建质量¹和CT分辨率²。然而，现有AI模型仍面临泛化性不足、交互性差等挑战，而大模型技术（如GPT⁸、LLaMA⁹）通过整合多模态数据和链式推理（CoT），有望推动医学影像进入智能化新阶段。

医学影像大模型的概念与方法

传统监督学习依赖标注数据且泛化能力有限，而基于Transformer架构的模型（如BERT¹⁶、ViT¹⁷）通过自监督预训练减少对标注的依赖。通用大模型（如SAM¹¹）经医学数据微调后形成专用模型（如MedSAM¹⁸），显著降低领域适配成本。主流构建方法包括：

1. 参数高效微调：如低秩适配（LoRA）仅调整2%参数即可适配新任务；
2. 持续预训练：利用无标注医学数据增强模型表征；
3. 提示工程：通过零样本/少样本提示激活模型知识，如思维链（CoT）提升逻辑推理能力。

数据库构建

医学大模型依赖高质量数据，但公共资源如TCIA²³（癌症影像存档）和MIMIC²⁴（重症监护数据）规模有限。生成模型（如Endora³¹）可合成内窥镜视频，缓解数据短缺。医学文献（如PMC-OA的165万图文对）和知识图谱（CMeKG²⁹）进一步丰富了训练素材。

医学影像任务探索

1. 分割：SAM通过提示驱动实现跨模态通用分割，但面对低对比目标（如胰腺）性能下降。MedSAM¹⁸通过157万医学掩码微调，Dice系数超90%；SAM-Med3D⁷¹则专攻3D体积数据分割。
2. 辅助诊断：RetiZero⁷⁴基于34万眼底图文对实现零样本疾病识别，RETFound⁷⁵通过160万视网膜图像预训练，可预测心衰等全身疾病。
3. 报告生成：R2GenGPT⁶²结合Swin Transformer与LLaMA-2，在MIMIC-CXR数据集上生成结构化报告；MAIRA-2⁸³创新性引入空间定位，减少“幻觉”输出。
4. 交互系统：LLaVA-Med²⁰支持多轮医学对话，SkinGPT-4⁶⁶专攻皮肤病学问答，而AMIE⁹²在模拟诊疗中超越初级医师表现。

未来挑战与方向

1. 知识整合：需深度融合临床指南与专家经验，构建抗偏见的多样化数据集；
2. 影像分析：开发医学专用视觉编码器，捕捉细微纹理特征（如良恶性组织差异）；
3. 临床可靠性：通过注意力可视化（如S.C.O.R.E框架¹⁰³）和人类反馈强化（RLHF）提升透明度；
4. 部署优化：采用模型压缩（如GPTQ¹⁰⁵）和混合架构（如RWKV¹⁰⁶）降低计算开销。

结论

大模型正重塑医学影像分析范式，但其临床落地仍需突破数据、算法与伦理瓶颈。未来需跨学科协作，推动从“实验室精度”到“临床价值”的转化，最终实现个性化医疗的普惠化。