《Knowledge-Based Systems》：DAFN: A Dual Attention Fusion Network for Textual Data Classification
编辑推荐：
研究人员提出一种双注意力融合网络（Dual Attention Fusion Network, DAFN）用于文本数据分类。该框架采用双嵌入（dual embeddings）融合语义含义与情感相似性以降低稀疏性；并行双向门控循环单元（BiGRU）/双向长短期记
研究人员提出一种双注意力融合网络（Dual Attention Fusion Network, DAFN）用于文本数据分类。该框架采用双嵌入（dual embeddings）融合语义含义与情感相似性以降低稀疏性；并行双向门控循环单元（BiGRU）/双向长短期记忆网络（BiLSTM）编码器稳定推文与评论的学习过程；注意力交互（Attention Interaction）模块精炼跨分支注意力并增加梯度通路；多尺度时序卷积神经网络（CNN）与分层池化捕获短语与上下文线索；多级融合在基准推文与评论数据集上提升F1与曲线下面积（AUC）。研究针对短文本与长文本异构长度优化，联合建模句内不同距离关系，利用双向上下文、突出显著特征并按token对情感的贡献动态加权，从而在情感极性检测中兼顾短推文的弱监督信号与长评论的长程依赖。
研究背景与动机：情感分析（Sentiment Analysis, SA）旨在从用户生成文本中提取主观信息与态度，服务于客户情报、市场监测与风险分析等场景。早期基于手工特征（n-gram、词性、词典）与支持向量机等传统机器学习的方法受限于高维稀疏特征与跨域迁移困难；深度学习虽能端到端学习表示，但单向循环神经网络（RNN）存在长程依赖下的梯度消失，长短期记忆网络（LSTM）与门控循环单元（GRU）及其双向变体（BiLSTM、BiGRU）缓解了该问题，却仍面临高维稀疏、长短文本优化不稳定、各组件（嵌入、循环、卷积、注意力）常作为松耦合模块导致信息流受限等挑战。现有双分支或混合模型多在末端拼接，缺乏分支间显式交互，单一融合阶段易使梯度通路受限。为此，研究人员设计DAFN，发表于《Knowledge-Based Systems》，以统一框架处理推文（padding长度45）与评论（padding长度100）的异长输入。
主要关键技术方法：研究人员采用GloVe与情感专用词嵌入（Sentiment Specific Word Embedding, SSWE）构成双嵌入，经空间丢弃与投影层早期融合；并行BiGRU与BiLSTM双分支各配多头自注意力（Multi-Head Attention, MHA）捕获非局部依赖；每分支独立施加核大小为2、3、5的多尺度一维卷积（Conv1D），后接注意力加权、全局平均、全局最大三种掩码池化形成分层池化；提出跨分支注意力交互（元素乘）与可学习标量门控融合；整体采用早（嵌入拼接）、中（注意力交互）、晚（特征拼接）三级融合并辅以类残差连接与层归一化（LayerNorm）；末端为带残差的多层感知机（MLP）分类头与Sigmoid输出。训练数据来自Sentiment140、Airline Twitter、T4SA及Amazon Movies/CDs/Kindle/App等基准，按8:1:1划分，超参数统一为批量256、学习率2×10-3、丢弃率0.3、卷积滤波器64、RNN单元128、稠密单元128、Adam优化器。
研究结果：
4.4 短推文数据集结果：在Airline数据集上DAFN取得准确率0.9067、F1 0.9061、AUC 0.9665，均优于AC-BiLSTM、IWV、CRNN、ARC、SS-BED、HAN与ABCDM；Sentiment140上准确率0.8455、F1 0.8442、AUC 0.9247居首；T4SA上DAFN为0.9871/0.9872/0.9991，略低于ABCDM但未掉队。结论：双嵌入与分支特定卷积利于少词极性词聚焦，跨分支门控稳定短文本弱梯度。
4.5 评论数据集结果：App数据集DAFN准确率0.9413、F1 0.9405、AUC 0.9845领先；CD数据集准确率0.9293、F1 0.9286、AUC 0.9790居首，且CRNN在此崩塌（精确率0.683）而DAFN保持高精度-召回平衡；Electronics上F1 0.9400、AUC 0.9835最优；Kindle上F1 0.9548与ABCDM的0.9557几乎并列、AUC 0.9888仅次于ABCDM的0.9895；Movies上准确率0.9305、F1 0.9304、AUC 0.9800最高。结论：多尺度卷积与分层池化提供多条绕过循环瓶颈的梯度通路，使长评论中分散情感线索被稳定聚合。
4.6 交叉验证与堆叠泛化：采用分层5折交叉验证，以表4所列七基线为0级学习器、逻辑回归为1级元学习器做堆叠泛化（stacked generalisation），DAFN单模与堆叠后在App/CD/Electronics/Kindle/Movies上均表现稳健，证明基学习器多样性满足、过拟合可控。
讨论与结论翻译：本研究针对情感分析中长短文本异构优化难题，提出DAFN。其三大创新为——双嵌入双分支（BiGRU+BiLSTM+每支MHA）并引入注意力交互显式通信；分支特定多尺度Conv1D配合注意力/平均/最大分层池化；早中晚三级融合加残差式捷径。实证上，DAFN在Airline与Sentiment140两推文基准及App/CD/Electronics/Movies四评论基准取得最优F1与AUC，Kindle近乎并列第一，T4SA近饱和居次。该框架通过显式跨分支交互与多级融合，在短文本弱信号、长文本长程依赖与变长输入训练稳定性三方面同时获益，为推文与评论等用户生成文本的情感极性检测提供统一自适应方案。
Dakun Mang Chai、Irene Moulitsas与Desmond Bala Bisandu在《Knowledge-Based Systems》报道上述工作，由PTDF Nigeria资助（编号PTDF/ED/OSS/PHD/DMC/1972/22）。
