FMMA-VR:基于虚拟重排与FlashAttention兼容的模态互注意力机制及其在视觉幻觉缓解中的应用
《Mathematics》:FlashAttention-Compatible Modality-Mutual Attention with Virtual Reordering
【字体:
大
中
小
】
时间:2026年10月24日
来源:Mathematics 2.3
摘要
多模态大语言模型(MLLMs)在因果注意力机制下,通过单一自回归骨干网络处理交替排列的图文序列。由于因果掩码阻止图像标记关注其后的问题,图像标记的表示在不接触查询的情况下被计算,这被认为是视觉幻觉的根源之一。模态互注意(MMA,Modality-mutual Attention)通过解锁因果掩码中的图像到问题区域来缓解这一问题,双序训练(DOT,Dual-Order Training)则通过额外在反向的文本优先顺序上进行训练来缓解该问题。然而,MMA将全局因果掩码转变为样本依赖的稠密掩码。因此,注意力无法通过最高效的注意力路径——FlashAttention执行,只能回退到较慢的实现方式。此外,解锁区域内的位置信息与促使解锁的反向输入顺序不匹配,即位置语义不一致。为了解决这两个问题,我们提出了兼容FlashAttention的带有虚拟重排机制的MMA(FMMA-VR),它在不对序列进行物理重排的情况下,像两个模态被重排一样修复解锁区域的位置信息。所提出的方法被实现为一个基于Triton的区域感知FlashAttention风格内核。在相同预训练模型上,在长序列的监督微调(SFT)期间,该注意力路径相比传统MMA加速高达倍。在微调后评估中,全量微调下,该方法在十个基准指标上与传统MMA表现相当。在低预算的LoRA适配条件下,由于传统MMA的位置偏移无法被吸收,FMMA-VR还能在幻觉敏感指标上带来显著改进。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号