Transformer 编码器中语法的作用：它对语言理解过程真的重要吗？

《Neural Networks》：The Role of Grammar in Transformer Encoders: Does It Really Matter for Language Understanding Process?

　　

## 摘要

基于Transformer的方法在语言理解任务中表现出色，但语法在编码器表示中所起作用仍有待充分阐释。虽然仅解码器模型通过下一个词元预测隐式学习语言结构，但仅编码器模型仍然主导着许多分类和匹配任务，在这些任务中语法关系会影响决策边界。因此，我们提出两个研究问题：（1）语法结构在基于Transformer的编码器中是如何表示的，以及（2）语法调控如何能改善这些编码器中的语言理解能力。我们首先设计了一个可解释性分析，表明语法在标准编码器中仅微弱存在，但在没有调控的情况下并未被显式组织。随后，我们提出语义-语法耦合空间（SGCS），这是一个低维空间，其中词元位置编码语义信息，空间关系编码语法依赖。SGCS通过基于情感的空间调控和注意力-语法分布对齐进行训练，并通过可逆映射网络映射回编码器表示。在12个语言理解数据集上使用BERT和RoBERTa骨干模型的实验表明，SGCS将句法树相似度从23.84%提高到80.10%，并提升了大多数评估任务的性能，在情感导向和语法敏感基准上尤为一致。

## 引言

人类语言理解本质上是一个以语义为导向的过程，语义因素在日常交流中塑造自然语言表达方面发挥着基础性作用（Erk, 2012, Mitchell, Lapata, 2010, Tal, Arnon, 2022）。这一过程通常反映了语言原型性模式。虽然语义构成语言理解的基础，但语法是支撑语义意义形成和表达的关键结构框架。作为语言学的基本概念，语法在语言研究和教学中一直受到重视（Payne, 2011, Savage, Bitterlin, Price, 2010）。语言研究人员认为，语法在语言表达过程中对于构建和阐释语义是不可缺少的（Gibson, Piantadosi, Brink, Bergen, Lim, Saxe, 2013, Papadimitriou, Futrell, Mahowald, 2022）。

近期的大语言模型主要依赖仅解码器架构，其中语言结构通过下一个词元预测来学习（Achiam, Adler, Agarwal, Ahmad, Akkaya, Aleman, Almeida, Altenschmidt, Altman, Anadkat, et al., Grattafiori, Dubey, Jauhri, Pandey, Kadian, Al-Dahle, Letman, Mathur, Schelten, Vaughan, et al., Isik, Gol, Cinbis, 2024, Tipirneni, Zhu, Reddy, 2024, Xiao, Dymetman, Gardent, 2016）。然而，基于Transformer的编码器（Devlin, Chang, Lee, Toutanova, 2019, Radford, Narasimhan, Salimans, Sutskever, et al., Sun, Wang, Li, Feng, Chen, Zhang, Tian, Zhu, Tian, & Wu）仍然是许多语言理解任务的核心，尤其是序列分类、句子匹配和检索式评估。由于仅编码器模型中的下游分类器强烈依赖于上下文表示和位置信息，其语法解析能力仍值得仔细分析（Dufter et al., 2022）。现有研究通过注意力分析考察了词依赖关系（Chefer, Gur, Wolf, 2021, Clark, Khandelwal, Levy, Manning, 2019a），但它们尚未确立一致的依赖模式，也未充分解释Transformer编码器如何处理语法信息。在本工作中，我们将语法结构研究为句子中词之间依赖和关系的网络。与产生带标签句法树的显式句法分析器不同，我们探索此类关系结构是否在Transformer表示中隐式涌现。为此，我们提出关于语法存在性的第一个研究问题（RQ）：

**RQ1：语法结构在基于Transformer的编码器中是如何表示的？**

除了关于语法结构存在的问题之外，我们还关注语法对于当前基于Transformer的编码器架构的必要性。历史上，人们一直认为融入语法信息可以增强NLP方法的语言理解能力（Clark, Sartran, Barrett, Kuncoro, Stanojevi?, Blunsom, Dyer, 2022）。这一假设基于语言领域所展示的概念（Myhill et al., 2012）。然而，这一假设的正确性仍未确定。此外，尚无通用方法提供解决方案来利用语法信息以显著提高可解释性和语言理解能力。

**RQ2：如何通过引入语法调控来改善Transformer编码器中的语言理解能力？**

为回答这些RQ，我们执行注意力层面的分析，与注意力被认为是解读基于Transformer的编码器之关键这一既有概念相一致。然而，单纯的注意力分析可解释性有限，它能揭示模式，但无法确定性地证实这些模式是否对应语法结构。因此，我们用定量的句法树比较和自定义的分布分析方法补充注意力层面分析。初步分析发现，语法结构在Transformer中隐式存在，但未显式表示。

为使这些隐藏的语法结构显式化和可测量，我们提出语义-语法耦合空间（SGCS），这是一个设计有双重用途的低维可解释空间。具体来说，我们将每个词的高维Transformer表示映射到SGCS中的一个低维元素（位置）。该空间被设计为：（1）元素位置编码词语语义，通过空间邻近性保持语义相似性，且（2）元素间的空间距离（低维空间中的几何距离）捕获语法关系，其中语法相关词（例如，主谓对）的位置比无关词更近。该设计使我们能够使用编码器自身的表示来可视化和调控语法。SGCS的引入和训练策略不仅为分析提供了更好的解释，还揭示了Transformer编码器中的语法结构。我们观察到，通过简单的深度优先遍历（DFT），可以从表示关系中显式提取句法树。

- **可解释性分析框架。** 与主要依赖注意力检查的先前研究不同，我们的定量分析还通过句法树比较、分布对齐和情感聚类分析来评估语言级别的结构。这些分析为语法结构是否存在于Transformer编码器中提供了直接证据。
- **SGCS及训练策略。** SGCS是一个编码语义和语法的低维空间。它通过两种训练策略改善编码器可解释性：用于空间调控的情感学习和用于注意力-语法对齐的分布学习。SGCS可以附加到Transformer编码器上，而无需外部解析工具或对骨干架构的更改。
- **实证验证。** 在12个语言理解数据集上使用BERT（Devlin et al., 2019）和RoBERTa（Liu et al., 2019）的消融和比较结果表明，语法调控可以改善语言理解能力，尤其是在情感导向和语法敏感任务上。

## 章节片段

### 语法结构的形式化

我们将句子级语法表示为一个有向图，其节点为上下文词元表示，边表示语法依赖，例如主谓关系和修饰-中心语关系。受此定义启发，我们将Transformer编码器中的语法结构形式化为：

$$G = \langle \mathcal{H}, \mathcal{E} \rangle, \; h_i \in \mathcal{H} \subseteq \mathbb{S}^d, \; e_{ij} = (h_i, h_j) \in \mathcal{E}$$

其中 $G$ 表示完整的语法结构，$\mathcal{H}$ 是上下文词表示的集合（节点），$\mathcal{E}$ 是有向语法关系的集合（边）。

### SGCS解决方案与可解释性分析

为保持可解释性结果的完整性，我们首先介绍所提出的解决方案，然后基于可解释性结果回答RQ1的结果。

### SGCS性能验证实验

本节旨在验证我们所提解决方案的有效性，包括SGCS框架及其关联的学习策略，并为RQ2提供答案。虽然第3.2节通过展示SGCS使语法显式化（80.10%的树相似度）验证了可解释性目标，但本节评估语法调控是否在下游任务上改善了语言理解。两个目标之间的联系反映在结果中：性能提升最显著地出现在……

### 注意力机制与Transformer架构

Transformer中的多头注意力机制根据词元的相关性为其分配不同的权重，这有助于模型处理长程依赖和句法结构（Vaswani et al., 2017）。该机制还使Transformer能够在捕获句法结构和上下文意义的同时处理长序列（Wolf et al., 2020）。

若干研究探讨了注意力模式是否对应句法依赖。Clark et al. (2019b) 发现……

## 结论

本文考察了语法对Transformer编码器是否重要，以及如何在无需依赖外部句法监督的情况下使语法信息显式化。我们首先进行可解释性和对比分析，研究是否可以从编码器表示中恢复语法样式的结构。随后，我们介绍了SGCS，一个通过可逆映射网络附加到编码器的语法感知空间，并使用情感学习和分布学习对其进行训练。

## 资助

本工作部分由中国国家自然科学基金（编号62272201）和江苏省青蓝工程（谢振平）资助。

## CRediT作者贡献声明

**王凡宇**：撰写 – 原稿，验证，方法论，调查，数据整理，概念构思。

**Chetan Arora**：撰写 – 审阅与编辑，监督。

**谢振平**：撰写 – 审阅与编辑，监督，项目管理，资金获取。

## 利益冲突声明

作者声明他们不存在已知可能影响本文报告工作的竞争性经济利益或个人关系。

**王凡宇 | Chetan Arora | 谢振平**