PeNorm：通过基于归一化的编码优化来提升Transformer中的位置区分能力

《Neural Networks》：PeNorm: Enhancing Positional Discriminability in Transformers Through Normalization-Based Encoding Optimization

　　摘要：位置编码是基于Transformer的模型中的关键组成部分，它使模型能够在没有循环或卷积结构的情况下捕捉序列顺序。尽管位置编码被广泛使用，但在实际应用中，它往往在区分细粒度位置信息方面存在局限性，尤其是在序列包含微妙或重复的结构模式时。在这项工作中，我们首先通过定性和定量分析发现了一个经验性缺陷：在使用常见的位置编码方案（如正弦和可学习绝对位置编码）时，附近或结构相似的标记的位置向量可能不足以区分，从而损害了模型区分位置上下文的能力。为了解决这一限制，我们提出了PeNorm——一种简单而有效的基于归一化的优化方法，通过促进嵌入空间中的均匀性和分离来增强位置编码的可区分性。我们提供了定性和定量分析，证明PeNorm可以提高位置表示的独特性。此外，我们还通过展示三层Transformer编码器在配备适当的位置编码后，能够在Parity-Odd语言任务上实现完美准确率（这是一个需要精确位置跟踪和计数的形式化任务），从而建立了有效的位置编码与计算表达能力之间的强关联。在形式化语言识别任务、机器翻译基准测试和语言建模任务上的实证评估一致显示，使用PeNorm可以提高性能，验证了其在增强位置感知方面的有效性。我们的发现填补了理论能力与实际应用之间的差距，为提高Transformer中序列模型的鲁棒性提供了原则性和实用性的改进。

引言：Transformer架构（Vaswani等人，2017年）已成为现代自然语言处理（NLP）的基石，支撑了从机器翻译（Devlin等人，2019年）到语言生成（Radford等人，2018年）等领域的尖端模型。Transformer的一个关键创新是它依赖于自注意力机制，这些机制可以并行处理输入标记，但本质上缺乏序列归纳 bias。为了补偿这一点，引入了位置编码来注入有关序列中标记的顺序和位置的信息（Bhattamishra等人，2020年）。尽管基于Transformer的模型在实践中取得了成功，但仍然存在一个根本性挑战：确保位置信息以足够的可区分性进行编码，以支持细粒度的序列推理。在实际设置中，我们观察到位置编码方案可能会产生不够独特的位置向量——特别是对于附近或语法相似的位置。这种现象表现为在需要精确位置区分的任务（如指代消解（Li等人，2024b）、语法一致性（Xie等人，2021）或结构化序列建模（Agarwal等人，2024））中模型性能下降。类似的位置编码和序列建模原理已在多个领域得到应用，包括利用深度学习方法进行人机交互的智能康复系统（Xing等人，2025a；Xing等人，2025b）。最近的研究强调了清楚地解释Transformer创新的重要性（Ladu等人，2024年）以及明确阐述特征归一化方法的好处（Ladu等人，2025年）。此外，研究表明，合理的增量修改可以带来可衡量的改进（Sakirin和Ben Said，2025年），这加强了我们贡献的价值。通过定性和定量分析，我们发现位置向量在嵌入空间中可能会聚集得太紧密，导致基于注意力的位置识别存在歧义。这一限制表明了设计意图与实际行为之间的关键差距：虽然位置编码旨在提供明确的位置信号，但矢量间分离不足可能会削弱这一目标。基于这一观察结果，我们提出了PeNorm（位置编码归一化），这是一种轻量级的即插即用优化方法，通过归一化它们的幅度并调整其分布来增强位置编码的区分能力，从而促进更大的位置间对比度。PeNorm与各种编码方案兼容，并且几乎不需要额外的可学习参数。为了将这些实证发现建立在理论基础上，我们进一步分析了Transformer在处理位置敏感的形式语言时的计算能力。具体来说，我们构建了一个三层Transformer编码器，能够完美识别Parity-Odd语言——这是一个需要精确计数和位置跟踪的任务——并实现了100.0%的准确率。这一理论结果证实，当位置信息得到适当编码和利用时，Transformer具有执行复杂位置计算的表示能力。我们在合成和真实世界的任务中评估了PeNorm的效果。在旨在测试精确位置推理的形式语言识别任务中，PeNorm一致提高了多种编码方法的准确性。在机器翻译实验中，配备PeNorm的模型在BLEU分数上取得了显著提升，证明了其实际效用。此外，在使用BabyLM挑战设置的语言建模任务中，PeNorm在各种评估指标上显示出一致的改进，证实了其在不同场景下的有效性。总之，我们的贡献有三个方面：（1）我们通过全面的实证分析，识别并分析了当前位置编码方案中与矢量可区分性相关的实际限制，并提出了一种高效算法（算法2）来量化NLP模型中的位置分离；（2）我们提出了PeNorm（算法1），这是一种有效且通用的解决方案，通过基于形式语言识别的理论基础增强了位置对比度，适用于NLP应用；（3）我们在合成和真实世界的NLP任务（包括形式语言识别、机器翻译和语言建模）中提供了广泛的实证验证，显示出一致的改进。这些结果共同推进了我们对位置信息如何塑造Transformer在NLP中行为的理解，并为更稳健的序列建模提供了实际路径。

相关工作：对Transformer架构中位置编码机制的研究已经取得了显著进展，反映了在理解序列建模能力方面的理论进步以及解决新兴限制的实际创新。我们的工作建立在这一丰富基础上，解决了一个根本但被忽视的挑战：位置编码的区分能力不足，特别是对于附近或结构相似的位置。在本节中，我们追溯了...

实证分析：在本节中，我们实证研究了实际应用中使用的位置编码方案——特别是SAPE和LAPE——进行了定性和定量分析，以阐明它们的潜在局限性。这些发现激发了我们提出的PeNorm方法，该方法直接解决了位置编码之间可区分性不足的问题。在A部分，我们提供了Transformer架构的简要概述，包括输入嵌入、注意力...

方法：我们在前一节的实证分析揭示了现有位置编码方案的一个关键限制：附近或结构相似的标记的位置向量在嵌入空间中倾向于聚集得太紧密，从而损害了模型区分相似位置的能力。在本节中，我们旨在提供一个原则性解决方案，以增强位置区分能力，同时保持与现有架构的兼容性。

理论分析：在建立了PeNorm方法以解决3.1定性分析和3.2定量分析中识别的实证限制之后，我们现在为有效位置编码的重要性提供了理论依据。我们分析了Transformer在处理位置敏感的形式语言时的计算能力，证明通过适当的位置编码，Transformer具有执行复杂位置计算的表示能力。

实验：在本节中，我们通过形式语言识别、机器翻译和语言建模任务的实验来实证评估我们提出的PeNorm方法。我们的评估旨在证明PeNorm在解决我们之前分析中识别出的限制方面的有效性。

结论：在这项工作中，我们按照清晰的逻辑进程对Transformer模型中的位置编码进行了全面的研究。从实证分析开始，我们发现了常用位置编码方案（如正弦和可学习绝对位置编码）中的一个关键限制，即附近或结构相似的标记的位置向量缺乏足够的可区分性，从而损害了细粒度的位置推理。

限制：虽然我们的研究在理论和实证上对Transformer架构中位置编码的作用有了深入了解，但仍存在一些限制。1）理论限制：我们构建的Transformer是专门为解决Parity-Odd识别问题而设计的，而不是针对更广泛的形式语言类别。尽管研究这样广泛的语言类别可能在实践中不可行，但这一限制为...

作者贡献：张希龙：概念化；数据 curation；形式分析；方法论；软件；验证；可视化；撰写——原始草稿。刘若晨：资金获取；项目管理；资源；监督；撰写——审阅与编辑。梁学锋：监督；撰写——审阅与编辑。

关于生成式AI和AI辅助技术在写作过程中的声明：在准备这项工作时，作者使用了Qwen 3来提高可读性和语言表达。使用该工具后，作者根据需要审查和编辑了内容，并对出版物的内容负全责。

CRediT作者贡献声明：张希龙：撰写——原始草稿，可视化，验证，软件，方法论，调查，形式分析，数据 curation，概念化。刘若晨：撰写——审阅与编辑，监督，资源，项目管理，资金获取。梁学锋：撰写——审阅与编辑，监督。

关于利益冲突的声明：作者声明他们没有已知的利益冲突或个人关系可能会影响本文报告的工作。