基于层的动态频谱加权技术，提升变压器模型的效率

《Engineering Applications of Artificial Intelligence》：Layer-dependent dynamic spectral weighting for efficient transformer models

　　黄志高|余彦忠|郑世岩|陈沐生|李全发
中国福建省泉州市泉州师范学院物理与信息工程系，邮编362000

摘要
Transformer模型彻底改变了自然语言处理领域中的人工智能应用，但其计算需求依然很高。我们提出了层依赖动态频谱加权（LD-DSW）这一新方法，该方法根据特定Transformer层的频谱特征有选择地调节注意力头的贡献。我们的关键发现是，将此技术主要应用于较后的层，能够在性能与效率之间实现最佳平衡。在多种数据集上的系统评估表明，该技术能够持续降低验证损失并提升推理速度；仅在较后层应用该技术可带来良好的效率与性能折衷，而在整个网络中应用则能在更复杂的文本语料上获得最大收益。这种针对性方法能够在资源受限的环境中显著降低计算开销，同时不会削弱模型的能力。除了即时的效率提升外，我们的研究结果还为设计更具适应性的Transformer架构提供了重要见解，对人工智能的工程应用具有广泛意义。

引言
基于Transformer的语言模型已成为自然语言处理领域的主导范式，在文本理解与生成方面展现出前所未有的能力（Vaswani等人，2017；Devlin等人，2019；Brown等人，2020）。然而，这些模型的计算成本非常高，尤其是随着其规模和复杂度的增加（Schwartz等人，2020；Strubell等人，2019）。因此，提高Transformer的效率而不牺牲性能是一个至关重要的研究方向，这对实际应用、环境可持续性以及人工智能技术的普及具有重要意义（Bommasani等人，2021）。近期已有针对高效Transformer架构的经同行评审的应用案例，涉及可持续交通流分析、实时网络入侵检测、食品供应预测以及物联网/移动通信系统跟踪等领域，这些都凸显了效率提升的跨领域价值（Soudeep等人，2024；Ajayan等人，2026；Alrashdi等人，2025；Mohammed等人，2024）。

自我注意力机制作为Transformer的核心组成部分，使这些模型能够捕捉长距离依赖关系，但同时也大幅增加了其计算负担（Tay等人，2022）。近期研究探索了多种优化注意力机制的方法，包括稀疏注意力模式（Child等人，2019；Beltagy等人，2020；Zaheer等人，2020）、低秩近似（Wang等人，2020；Choromanski等人，2021）以及自适应计算方法（Graves，2016；Schuster等人，2022；Elbayad等人，2020）。尽管这些方法颇具潜力，但它们往往需要在性能与效率之间做出取舍，或者需要重大的架构变革，从而增加实现与部署的复杂性。

与此同时，也有研究开始探讨Transformer模型的内部运作机制，发现注意力头和不同层在信息处理中承担着不同的功能（Voita等人，2019；Clark等人，2019；Rogers等人，2020）。尤其值得关注的是，Transformer层呈现出层次结构，较浅的层侧重于语法和局部模式，而较深的层则能捕捉更抽象的语义关系（Tenney等人，2019；Jawahar等人，2019；Liu等人，2023）。这种层次化结构表明，优化工作或许应采用针对不同层的方法，而非在整个网络中统一应用策略。

频域视角为理解神经网络的行为提供了另一种互补的思路（Rahaman等人，2019；Xu等人，2019；Yin等人，2020）。虽然频谱分析已被应用于卷积神经网络（Rippel等人，2015），以及最近的视觉Transformer模型（Park和Lee，2022；Mehta和Rastegari，2021），但它在语言Transformer中的应用仍相对较少。近期还有研究将Transformer与频谱学习及状态空间模型相结合（He等人，2025；Agarwal等人，2024）。不过，这一领域的研究尚不充分（Lee等人，2023；Li等人，2022），尚未探讨不同Transformer层之间的频谱特性差异，以及如何利用这些特性进行针对性优化。

近期的一些研究讨论了Transformer架构演化与效率方面的总体趋势，为层依赖型效率优化方法提供了背景依据（Ladu等人，2025）。基于这些见解，我们提出了动态频谱加权（DSW）方法，这是一种根据注意力头的频域特性来调节其贡献的新方法。我们的核心创新——也是本工作区别于以往注意力优化方法之处——在于发现DSW的效果在不同Transformer层之间存在显著差异，我们将这种现象称为层依赖动态频谱加权（LD-DSW）。这一发现使得计算资源的分配更加精准高效，能够将频谱分析集中在最能发挥作用的层上。

选择重点关注较后的层（例如在6层模型中为第3至5层）与多层神经网络架构中的经验性调优做法是一致的（Al-Qaysi等人，2023）。通过在三个6层字符级数据集（shakespeare_char、enwik8和text8）以及WikiText-103上的一个新的12层标记级数据集上的大量实验，我们系统地研究了不同的层配置，并证明仅对较后的层（尤其是第3至5层）应用DSW，能够在性能提升与计算效率之间实现最佳平衡。在这些测试环境中，当对所有层应用DSW时，text8数据集的验证损失最多可减少18.5%，而在标记级基准测试中则可获得6.2%的提升；仅在较后层应用该技术则能带来更好的效率与性能折衷——在三个字符级数据集上分别提升2.2%、6.8%和11.1%——且其效率远高于对所有层统一应用DSW的情况。

我们的DSW机制采用了一种混合加权方式，通过自适应混合门将静态可学习权重与动态频谱特征相结合。对于每个注意力头，我们会计算两个关键的频谱特性——能量比和频谱熵——这两个特性能够反映频率分布的不同方面。这些特性被结合在一起形成动态权重，与经过学习的静态权重一同调节注意力输出，从而使模型能够根据训练数据模式以及输入的特定特征进行调整。

本工作的主要贡献包括：
• 我们提出了动态频谱加权（DSW）方法，这是一种基于频域的新兴技术，用于调节注意力头的贡献，可弥补现有的基于空间域的优化方法的不足。与那些专注于注意力模式或注意力头剪枝的先前方法不同，DSW能够在不降低模型表达能力的前提下提升注意力输出的质量。
• 我们发现了DSW效果存在显著的层依赖性，并通过实验证明了这一点，即仅对较后的Transformer层（通常是第3至5层）进行选择性应用，就能实现最佳的效率与性能平衡。这一发现挑战了以往在所有层中统一应用优化策略的做法，为Transformer效率的提升提供了更为精细的思路。
• 我们提出了一种混合加权机制，该机制通过自适应混合门将静态可学习参数与动态频谱分析相结合，从而克服了纯静态或纯动态方法的局限性。这种机制能够同时适应数据集层面的整体模式以及单个实例的特定特征。
• 我们在多个数据集上进行了全面实验，不仅揭示了层依赖效应的普遍规律，还发现了不同数据集之间的差异。除了三个字符级基准测试外，我们还在WikiText-103上进行了12层标记级测试，并设置了直接对比的基准模型，同时分析了快速傅里叶变换带来的开销，并报告了三次重复实验的平均值及标准误差。在字符级测试中，全量应用DSW时text8数据集的最大提升率为18.5%，而在仅对较后层应用的情况下，shakespeare_char、enwik8和text8数据集的提升率分别为2.2%、6.8%和11.1%；在WikiText-103数据集上则获得了6.2%的改进。相比对所有层统一应用DSW，这些提升都伴随着更高的效率。
• 我们构建了一个理论框架，从Transformer层次化信息处理的视角解释了所观察到的层依赖效应，为未来针对不同层进行优化以及对Transformer模型进行频谱分析提供了理论基础。

我们的工作架起了对Transformer行为的理论理解与实际优化技术之间的桥梁，不仅带来了即时的效率提升，还为开发更具适应性且更高效的Transformer架构提供了有益的启示。通过揭示注意力优化具有层特异性这一特点，我们打破了以往“一刀切”的Transformer效率优化思路，为有针对性的计算资源分配开辟了新的路径。

本文的其余结构如下：第2节回顾了Transformer优化及神经网络频谱分析方面的相关研究；第3节介绍了Transformer架构及其频谱特性；第4节详细阐述了我们的动态频谱加权方法及其层选择性应用方式；第5节描述了实验设置与评估方法；第6节展示了实验结果与分析；第7节则对全文进行总结，并提出了未来的研究方向。

片段摘录
Transformer注意力机制
自Vaswani等人（2017）提出Transformer模型以来，它便成为了现代自然语言处理领域的核心技术。多头注意力机制允许模型同时关注来自不同表示子空间的信息，是这类架构的关键组成部分。后续研究不断对标准注意力机制进行各种改进，以提升效率和性能。

稀疏注意力方法（Child等人，2019；Beltagy等人……）

Transformer架构
Transformer架构由一系列编码器层和/或解码器层组成。每一层都包含两个主要组件：多头自我注意力机制和逐位置前馈网络，这两者都配备了残差连接和层归一化结构。在本文中，我们主要研究用于语言建模任务的仅解码器型的Transformer模型（类似于GPT模型）。

形式上，对于一个长度为n、嵌入维度为d的嵌入序列X∈Rn×d，……

动态频谱加权（DSW）概述
动态频谱加权（DSW）是一种根据注意力头输出信号的频谱特性来调节其贡献的技术。其核心思想是，不同的注意力头可能关注不同的频率模式，而这些模式的重要性会因输入内容及具体任务要求而发生变化。

DSW的一般表达形式如下：Y?i=wi?Yi，其中Yi是第i个注意力头在投影前的输出，wi是……

模型架构
在实验中，我们使用了一种紧凑的6层仅解码器型Transformer模型（GPT风格）：每层有6个注意力头，嵌入维度为384，前馈网络维度为1536（经过4次扩展）， Dropout比例为0.2，且LayerNorm和Linear层中禁用了偏置项。这种架构在模型容量与计算成本之间取得了良好的平衡，非常适合用来探究DSW的层依赖效应。

数据集
我们在三个字符级语料库上进行评估——shakespeare_char（约100万字符）……

整体性能比较
表1展示了在三个字符级数据集上所有测试配置的全面对比结果。结果表明，仅对某些层应用DSW，往往能比全局应用或根本不应用该技术获得更好的性能与效率平衡。

为了满足对静态注意力头重要性基线的需求，我们还评估了一种去除了频谱特征的 Learned Per-Head Scaling变体（静态注意力头缩放）。表2显示，静态缩放带来的提升非常有限……

结论
在本文中，我们提出了层依赖动态频谱加权（LD-DSW）方法，这是一种通过根据注意力头的频谱特性有选择地调节其贡献来优化Transformer模型的新方法。通过对6层GPT模型在多个数据集上的系统实验，我们证明了DSW的效果在不同层之间存在显著差异，通常较后的层从频谱加权中获得的收益更大。

我们的主要研究发现包括：
•

CRediT作者贡献声明
黄志高：写作——初稿撰写、软件开发、方法设计、概念构思。余彦忠：写作——审稿与编辑、资金筹集。郑世岩：验证、监督、资源协调、项目管理。陈沐生：写作——审稿与编辑、软件开发、资源协调、方法设计、概念构思。李全发：写作——审稿与编辑、项目管理。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
作者感谢匿名审稿人提出的宝贵意见与建议，这些反馈极大地提升了本文的质量。同时，我们也感谢泉州师范学院物理与信息工程系的同事们在整个研究过程中给予的支持与富有洞察力的讨论。

本研究得到了泉州市高层次人才创新创业项目——“基于数字全息技术的石英玻璃内部缺陷检测技术”的支持。