SMART：基于显式方面注意力建模与知识蒸馏的轻量化方面级情感分析框架

《Scientific Reports》：Knowledge distillation of attention-refined transformers for aspect-based sentiment analysis

　　

摘要

基于方面的情感分析（ABSA）是一项细粒度的自然语言处理任务，旨在识别句子中针对特定方面的情感极性。以BERT为代表的预训练语言模型被广泛用于ABSA任务。然而，目前大多数研究以隐式方式捕获目标词与上下文词之间的语义关系，往往缺乏对方面与上下文之间交互的显式建模。此外，这些模型还面临计算成本高、内存占用大以及推理延迟高等关键挑战，制约了其在资源受限的边缘设备上的部署。为了解决这些局限，我们提出了SMART（基于注意力精炼Transformer的情感模型），这是一个两阶段框架：其教师模型结合了共享BiLSTM、用于显式方面-上下文对齐的Attention-Over-Attention模块以及部分冻结的BERT编码器，随后将其蒸馏为两个轻量级学生模型：一个保留显式方面模块但不使用预训练（AOA），另一个保留预训练但不含方面模块（DistilBERT-SPC）。在五个数据集、五个随机种子和两种蒸馏目标下的实验揭示了三方面的发现。首先，显式方面注意力仅在方面级情感与句子级情感产生分歧时才具有可测量的效果：在整体基准测试中，消融实验带来的性能变化小于随机种子噪声；但在唯一的方面方面语料库上，教师模型相对于所有竞争方法（包括一个具有80亿参数的语言模型在上下文学习设置下）取得了最大的领先优势。其次，基于响应的蒸馏按照类别频率的比例传递类别知识，导致少数类的判别能力系统性退化；对监督项进行重新加权可以在精确率和召回率之间进行再分配，但无法消除差距，这表明不平衡感知蒸馏应当作用于迁移项本身。第三，预训练表示在结构对齐方面对教师模型具有主导地位：在数据充足的情况下，两个学生模型在统计上无法区分；但在训练样本约少于1000个时，二者出现显著分化。蒸馏后的学生模型将内存减少99.8%，运行速度比教师模型快6.6\(\times\)倍，证明了实时部署的可行性。