Co-AttenDWG：基于注意力维度的分割与专家融合的多模态进攻性内容检测方法

《IEEE Transactions on Artificial Intelligence》：Co-AttenDWG: Coattentive Dimension-Wise Gating and Expert Fusion for Multimodal Offensive Content Detection

　　

影响声明：

Co-AttenDWG 架构通过克服静态融合技术固有的局限性，重新定义了多模态学习。它整合了双路径编码和协同注意力机制... 显示更多

摘要：

多模态学习已成为一个重要的研究方向，因为整合文本和视觉信息可以显著提升分类、检索和场景理解等任务的性能。尽管大型预训练模型取得了进展，但现有方法往往存在跨模态交互不足以及融合策略僵化的问题，未能充分利用不同模态的互补优势。为了解决这些问题，我们提出了 Co-AttenDWG，该模型结合了维度门控和专家融合机制。首先，我们将文本和视觉特征投影到一个共享的嵌入空间中，然后通过专门的协同注意力机制实现模态之间的同步、细粒度交互。进一步地，维度门控网络在通道层动态调整特征贡献，以突出重要信息。同时，双路径编码器独立细化每种模态的表示，额外的跨注意力层进一步对齐这些模态。最终的特征通过专家融合模块进行整合，该模块结合了门控机制和自注意力机制，产生了一种稳健的统一表示。在 MIMIC 和 SemEval Memotion 1.0 数据集上的实验结果表明，Co-AttenDWG 的性能处于领先水平，并且具有出色的跨模态对齐能力，体现了其在多种多模态应用中的有效性。