基于提示学习的高效多模态医学图像融合方法MMIFprompt：一种模态感知的视觉基础模型轻量化调优策略

【编辑推荐】本研究提出MMIFprompt框架，通过混合专家选择（MES）机制和双向通用提示（BCP）/单向模态特异性提示（UMSP）的双提示设计，仅需调优7.1M参数（占主干网络8.7%）即可实现多模态医学图像融合（MMIF），在MRI-CT/PET/SPECT融合任务中展现卓越性能。

　　

Highlight

本研究突破性提出MMIFprompt框架，通过"冻结主干+轻量提示"的创新范式，实现多模态医学影像的智能融合。就像给预训练模型配备智能导航仪（MES模块），它能自动识别CT的骨骼细节、MRI的软组织对比度、PET的代谢热点，并通过双提示系统——双向通用提示（BCP）提取共性特征，单向模态特异性提示（UMSP）保留独有信息，最终生成"全息"诊断图像。

Method

整体框架

当输入配准后的多模态图像对时，我们的系统会先将PET/SPECT的RGB图像转换到YCbCr色彩空间，提取亮度分量Y_F∈R^H×W×1进行融合。这就像把不同乐器的声谱（各模态特征）输入到智能调音台（VFM），通过内容感知的专家字典动态调制，最终合成和谐的交响曲（融合图像）。

Results

数据集与训练细节

我们在哈佛医学院数据库的360组图像对上训练模型，包含MRI–PET/SPECT/CT三种组合。测试时，系统在未参与训练的哈佛测试集（140对）、GFP荧光显微镜数据集（30对）等场景中，展现出惊人的泛化能力——即使面对训练集未见的绿色荧光蛋白（GFP）图像，也能保持稳定表现。

Limitations and Future Directions

当前局限

虽然表现优异，但模型在罕见病理（如GFP数据集的VIF/SD指标）仍有提升空间。未来计划引入更多罕见病影像数据，并开发可解释性模块——就像给AI医生装上"诊断思维可视化"功能，让临床医生能直观理解融合决策过程。

Conclusion

MMIFprompt开创性地将提示学习引入医学影像融合领域，其三大优势令人瞩目：1）参数效率：仅更新<10%参数；2）模态感知：MES+双提示系统实现精准特征调控；3）即插即用：可适配各类VFM主干网络，为临床智能诊断提供轻量化解决方案。