编辑推荐：
为解决现有视觉问答模型难准确区分高相似医学图像、LLMs 无法解读视觉模式等问题，研究人员开展 MedBLIP 模型研究，通过镜像样本生成等方法，发现解冻 31.25% 全连接层权重时 ROUGE-L 达 66.12%，为医疗提供新方案。
在医疗领域，精准解读包含临床信息的医学图像至关重要。然而，现有的大语言模型（LLMs）虽在医学语言理解中表现出色，却无法解读图像、视频等视觉模式，难以实现视觉内容与模型的有效沟通。同时，与日常图像相比，医学图像往往具有高度相似性，这使得现有视觉问答模型难以准确区分，降低了其在提供医疗信息和决策支持方面的有效性。如何利用医学视觉问答数据对大规模视觉语言模型进行微调，使模型能够有效辨别医学图像之间的差异，并捕捉这些图像与文本问题之间的关联，成为亟待解决的难题。
为应对这一挑战，探索视觉语言模型在医疗领域应用的可行性，来自国内相关研究机构（研究受江苏省自然科学基金、中国博士后科学基金等支持）的研究人员开展了关于医学视觉问答的研究，提出了一种通用且计算高效的医学视觉语言处理方法 ——MedBLIP（Medical Treatment Bootstrapping Language-Image Pretraining），相关研究发表在《Computerized Medical Imaging and Graphics》。
研究人员主要采用了以下关键技术方法：一是运用镜像样本生成算法，以原始数据集的文本数据为基础创建镜像样本，将原始数据作为正样本，以此增加数据集的多样性，提升模型对图像与文本关系的理解和泛化能力；二是引入多层卷积图像特征提取器，并将其与 Align-Former 模型集成，以结合医学图像数据与医学问答文本数据，增强模型理解和分析医学图像的能力；三是基于 BLIP-2 模型，将图像编码器与大规模语言模型结合，通过冻结图像编码器，在大语言生成模型的微调过程中，提出解冻全连接层不同比例权重的策略，以适应医学领域的数据。研究选用了 MIMIC-CXR-JPG（包含胸部 X 射线图像及结构化标签）和 Medical Diff-VQA 数据集开展实验。
视觉语言预训练模型
近年来，视觉语言预训练（VLP）研究取得显著进展，催生了日益庞大的预训练模型，推动了各下游任务的发展。CLIP（Contrastive Language-Image Pre-training）通过大规模图像 - 文本对比学习，建立图像内容与自然语言描述的直接对应关系，是该领域的开创性成果。BLIP、BLIP2 等模型因在多模态融合和生成类人响应方面的出色表现备受关注，但这些模型并非专为医疗领域设计，在处理专业领域问题时，往往缺乏对医学知识的全面理解，语言生成不可靠。
方法
BLIP-2 采用冻结图像编码器以学习视觉语言特征，随后集成冻结的大语言模型生成响应。本研究引入 MedBLIP，对大语言模型全连接层的特定组件进行微调，同时纳入新的图像特征提取器。通过实验对比，确定了最优微调策略，使大语言生成模型更好地契合医学领域的语言特征和要求，优化模型在特定任务中的性能。
数据集
MIMIC-CXR-JPG 数据集是公开的 JPG 格式胸部 X 射线图像集合，附有从自由文本放射学报告分析中获得的结构化标签，旨在为相关研究提供支持；Medical Diff-VQA 数据集在医学领域的视觉任务研究中也具有重要意义。
结论
实验结果表明，解冻 31.25% 的全连接层权重可显著提升模型性能，ROUGE-L 达到 66.12%。该模型通过图像特征提取器从图像中提取关键特征，为模型提供丰富的视觉信息，文本特征提取器则准确捕捉用户问题的本质要求，二者协同作用使模型能够更有效地整合医学图像和用户查询，生成更准确、相关的输出内容。
研究提出的 MedBLIP 方法为医学领域提供了更准确、高效的答案生成解决方案，在提高诊断效率、辅助决策和支持医学研究等方面发挥着不可或缺的作用。尽管该模型尚未能完全取代人类放射科医生，但随着技术的不断进步，其性能将进一步提升，在医疗领域的应用价值将愈发显著。该研究为医学视觉问答领域提供了新的思路和方法，推动了多模态模型在医疗场景中的应用与发展。
