基于层次化注意力机制的自适应多模态虚假新闻检测框架AAFHA研究

针对多模态虚假新闻检测中数据缺失和模态异质性难题，研究人员提出自适应自动融合层次注意力框架(AAFHA)，通过整合图像描述文本与分层编码技术，实现跨模态语义对齐。实验表明该方法在PolitiFact等数据集上准确率提升0.094%-0.198%，为复杂社交媒体环境下的虚假信息识别提供新范式。

　　

在社交媒体时代，虚假新闻常通过精心设计的图文组合迷惑受众。如图1所示，某帖声称发现波音客机残骸于爪哇海底，配图却是无关的卫星云图；另一则描述街头抗议的文案，搭配的竟是森林火灾照片。这种视觉-文本的刻意错位，暴露出传统单模态检测方法的致命缺陷——无法捕捉跨模态矛盾。更棘手的是，现有多模态融合技术如简单拼接(Tanwar & Sharma, 2020)或低秩融合(LMF)常因忽略模态异质性而产生噪声，而基于注意力的方法(如SCATE)又难以处理数据缺失。当社交媒体帖子出现图像质量低下、文字描述模糊等情况时，这些局限会被进一步放大。

针对这些挑战，研究人员开发了自适应自动融合层次注意力框架(AAFHA)。该创新性工作发表于《Expert Systems with Applications》，核心突破在于将图像描述文本(caption)直接纳入融合主通道，而非传统方法中的辅助输入。通过分层编码技术结合BERT和LSTM，模型能同时捕捉局部词级特征和全局语义依赖。特别设计的稀疏加权技术通过约束SoftMax动态分配跨模态注意力，而自适应自动融合模块(AF)则构建共享表征空间，利用对比学习保持语义一致性。实验选取PolitiFact、Gossip和Pheme三个多模态数据集验证，其中PolitiFact包含政治声明类推文，Gossip聚焦娱乐八卦，Pheme则涵盖突发事件的社交媒体传播链。

关键技术方法包括：1) 分层注意力机制(HA)整合BERT与LSTM编码；2) 基于约束SoftMax的跨模态稀疏加权；3) 端到端自适应自动融合模块(AF)构建共享表征空间；4) 采用对比损失函数增强类间可分性。

Related work
现有方法可分为拼接融合与注意力融合两类。前者如TFN(Zadeh et al., 2017)通过张量积整合特征但忽略模态差异；后者如HAMMF(Liu et al., 2024)尝试改进，仍受限于异构数据处理。近期Gu et al.(2024)引入坐标注意力，而Luvembe et al.(2024)采用互补注意力，但均未解决特征隔离问题。

AAFHA framework
如图2所示，框架包含三大创新：1) 文本-描述分层编码建立词级到篇章级的语义关联；2) 层次注意力(HA)通过双向LSTM捕获时序依赖，BERT提取深层特征；3) AF模块动态计算模态相似度矩阵，在共享空间实现自适应加权融合。

Datasets
PolitiFact含专家标注的政治声明真伪标签，Gossip包含娱乐新闻图文对，Pheme记录突发事件传播链。统计显示三数据集均存在显著模态缺失现象，如Pheme中15%样本缺少配图，验证了模型鲁棒性需求。

Conclusion
AAFHA在三个基准数据集上分别取得0.094%、0.198%和0.001%的准确率提升，尤其在处理视觉-文本矛盾样本时表现突出。层次注意力使模型能识别如图1所示的语义断层，而自适应融合有效缓解了缺失数据影响。该研究为多模态虚假新闻检测提供了可解释性强、鲁棒性高的新范式，其分层编码策略对医疗影像报告生成等跨模态任务也有借鉴意义。

讨论部分指出，当前预训练模型对复杂新闻图像的特征提取仍存在噪声，未来可结合视觉语言预训练(VLP)进一步优化。声明所有作者无利益冲突，未引用文献包括Khattar et al.(2019a,b)等对比学习方法的研究。