FMMA-VR:基于虚拟重排与FlashAttention兼容的模态互注意力机制及其在视觉幻觉缓解中的应用

《Mathematics》:FlashAttention-Compatible Modality-Mutual Attention with Virtual Reordering

【字体: 大 中 小 】 时间:2026年10月24日 来源:Mathematics 2.3

编辑推荐:

   摘要

  

摘要

多模态大语言模型(MLLMs)在因果注意力机制下,通过单一自回归骨干网络处理交替排列的图文序列。由于因果掩码阻止图像标记关注其后的问题,图像标记的表示在不接触查询的情况下被计算,这被认为是视觉幻觉的根源之一。模态互注意(MMA,Modality-mutual Attention)通过解锁因果掩码中的图像到问题区域来缓解这一问题,双序训练(DOT,Dual-Order Training)则通过额外在反向的文本优先顺序上进行训练来缓解该问题。然而,MMA将全局因果掩码转变为样本依赖的稠密掩码。因此,注意力无法通过最高效的注意力路径——FlashAttention执行,只能回退到较慢的实现方式。此外,解锁区域内的位置信息与促使解锁的反向输入顺序不匹配,即位置语义不一致。为了解决这两个问题,我们提出了兼容FlashAttention的带有虚拟重排机制的MMA(FMMA-VR),它在不对序列进行物理重排的情况下,像两个模态被重排一样修复解锁区域的位置信息。所提出的方法被实现为一个基于Triton的区域感知FlashAttention风格内核。在相同预训练模型上,在长序列的监督微调(SFT)期间,该注意力路径相比传统MMA加速高达倍。在微调后评估中,全量微调下,该方法在十个基准指标上与传统MMA表现相当。在低预算的LoRA适配条件下,由于传统MMA的位置偏移无法被吸收,FMMA-VR还能在幻觉敏感指标上带来显著改进。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号