编辑推荐：
为提升视觉语言预训练（VLP）模型对抗攻击效果与转移性，研究人员提出 MFHA 框架，显著优于基线方法。
在人工智能蓬勃发展的当下，视觉语言预训练（VLP）模型在医学成像等领域大放异彩。它就像一个 “超级助手”，能在医学摄影、内镜成像、细胞学分析等多模态数据中快速提取关键信息，帮助医生进行疾病诊断、临床文档自动化处理等工作。然而，这个 “助手” 却存在一个致命弱点 —— 容易受到对抗样本的攻击。这些对抗样本就像是隐藏在暗处的 “敌人”，它们看起来与正常数据无异，但却能让模型做出错误的判断。
现有的单模态攻击方法，如 PGD 和 BERT - Attack，在面对多模态 VLP 模型时 “力不从心”。而一些多模态攻击方法，像 Co - Attack 和 SGA，虽然有一定改进，但也存在局限性，例如对样本多样性考虑不足、跨模态互信息利用不充分等，导致攻击转移性不理想。为了解决这些问题，来自贵州大学公共大数据国家重点实验室、贵州大学计算机科学与技术学院以及贵州教育大学数学与计算机科学学院的研究人员开展了深入研究，他们提出了一种全新的多模态特征异质化攻击框架（MFHA），相关研究成果发表在《Scientific Reports》上。
研究人员在此次研究中运用了多种关键技术方法。一方面，设计了基于三元对比学习的特征异质化方法（TCFH），通过交叉模态引导的数据增强攻击、模态内对比学习以及全局 - 局部互信息最小化对比学习，将模态间的一致特征转化为不同特征，提升对抗样本的攻击能力。另一方面，提出了基于跨模态方差聚合的多域特征扰动策略（MCVA），在图像的空间域和频率域进行数据增强，结合交叉模态引导攻击优化梯度动量更新，增强对抗样本的转移性。
在实验设置环节，研究人员选用了 Flickr30K、MSCOCO 和 RefCOCO + 等多个数据集，对融合型 VLP 模型（如 ALBEF、TCL）和对齐型 VLP 模型（如 CLIP）进行评估，并与 PGD、BERT - Attack、Sep - Attack、Co - Attack 和 SGA 等五种基线方法进行对比。
实验结果令人瞩目。在图像文本检索任务中，MFHA 在黑盒攻击下表现卓越，平均攻击成功率相比基线提升 16.05%。在 Flickr30K 数据集上，对于不同模型，MFHA 在文本检索（TR）和图像检索（IR）任务中的平均攻击成功率提升显著，最高能超过基线 30.55%。在白盒攻击下，MFHA 虽在部分模型上攻击成功率略有下降（平均下降 0.28%），但整体仍在主流模型上保持了有竞争力的性能。这一现象揭示了 MFHA 在设计上的特点，其通过引入多样化的扰动模式提升跨模型转移性，虽对源模型梯度信号有一定影响，但更符合现实中对未知模型鲁棒性的需求。
在跨任务转移性研究中，研究人员将实验拓展到图像字幕生成和视觉文本定位任务。在图像字幕生成任务中，以 ALBEF 为源模型构造对抗图像攻击 BLIP 模型，MFHA 方法使 BLEU 分数最高提升 5.3%，CIDEr 分数最高提升 18%。在视觉文本定位任务中，使用 ALBEF 生成的对抗图像攻击自身，MFHA 模型在验证集和测试集上的分数均有显著下降，表明其具有一定的跨任务转移性。
此外，研究人员还对对抗样本质量感知、计算效率等方面进行了评估，并开展了消融研究。结果表明，MFHA 在图像视觉质量上虽使像素级指标（如 PSNR/SSIM）略有降低，但更注重对高层语义区域的扰动；在文本质量上，保持了较低的编辑距离和较高的语义保留度。计算效率方面，MFHA 相比 SGA 带来了更高的计算开销。消融研究则验证了 TCFH 和 MCVA 两种策略的互补性，以及不同损失函数参数、扰动参数和数据增强策略对攻击效果的影响。
在对大规模视觉语言模型（LVLMs）的攻击实验中，研究人员在完全黑盒环境下对 BLIP2、MiniGPT4 等多个开源且先进的 LVLMs 进行测试。结果显示，MFHA 虽不是专门为 LVLMs 设计，但仍对这些大型模型产生了影响，且整体表现优于基线方法。不同 LVLMs 的对抗鲁棒性存在差异，这表明优化 LVLMs 的对抗鲁棒性迫在眉睫。
研究结论和讨论部分指出，MFHA 能够生成具有高转移性的对抗样本，在 VLP 模型和 LVLM 模型上均取得了出色的攻击性能。该研究揭示了当前多模态模型存在的潜在漏洞，为医学领域基础模型的构建提供了重要参考。在医学应用中，VLP 模型虽在医学成像方面成果显著，但对其鲁棒性的研究尚不足，MFHA 框架可用于检测模型漏洞，通过对抗训练和针对性防御策略提升模型的鲁棒性，增强医疗 AI 系统的可靠性和安全性，助力精准医学的发展。
