A2ReLU：基于注意力的动态阈值机制，用于实现高效的神经网络激活函数

《Neurocomputing》：A2ReLU: Attention-based dynamic thresholding for efficient neural activations

　　

摘要

激活函数在决定深度神经网络的表达能力、稀疏性和优化行为方面起着关键作用。现有的动态激活函数主要通过调整斜率或门控系数来实现功能，但仍依赖于隐式的、固定的或全局共享的激活阈值。在这项工作中，我们提出了Attention-to-ReLU（A2ReLU）这种新的激活函数，它通过预测动态的、依赖于输入的激活阈值来泛化ReLU的功能，而不是使用固定的零边界。A2ReLU采用了一种受KVQ启发的轻量级注意力机制，生成能够适应全局通道关系和局部空间上下文的元素级阈值。为了确保计算效率，阈值预测器使用了分组的$$投影和深度卷积来实现，从而使得参数数量与通道维度成线性关系。$$。在图像分类、检测和分割任务上的广泛实验表明，A2ReLU与现有的强预定义和可训练激活函数具有竞争力，而且通常表现得更好，同时计算开销显著降低。总体而言，A2ReLU在稀疏性和表达能力之间取得了良好的平衡，从而在不同架构和任务中实现了持续的泛化改进。

引言

深度神经网络（DNN）在包括图像分类[16]、自然语言建模[49]和计算机视觉应用[51]在内的广泛实际任务中取得了显著的成功。DNN的一个基本组成部分是激活函数，它引入了非线性，使网络能够学习复杂的模式。因此，激活函数的选择对DNN的性能至关重要，因为它直接影响了网络建模数据中复杂关系的能力[10]，[50]。在这项工作中，我们提出了一种通过依赖于输入的动态阈值来增强神经网络表达能力的新激活函数。

激活函数通常被分为预定义函数和可训练函数。预定义的激活函数，如修正线性单元（ReLU）[32]和Leaky ReLU（LReLU）[29]，计算效率高，但依赖于固定的功能形式，这限制了它们的适应性。相比之下，可训练激活函数引入了可学习的参数以提高灵活性。可训练激活函数进一步分为独立于输入的设计，这些设计学习静态参数[14]，以及依赖于输入的函数，如动态ReLU（Dy-ReLU）[5]，这些函数根据当前输入来调整其参数。

尽管有这些进展，现有的可训练激活函数仍然存在一些重要的限制。独立于输入的函数（如PReLU [14]）在推理过程中是固定的，这限制了它们适应不同输入分布的能力。依赖于输入的函数（如Funnel ReLU [35]和Dynamic ReLU [5]）提供了更大的适应性，但它们通常计算的参数是在所有通道或空间位置上共享的，这限制了它们捕捉复杂数据分布中细微的、特定于通道的或空间变化特征的能力。此外，基于注意力的方法（如AReLU [4]）使用全局平均池化来计算轻量级的通道级或空间注意力图，然后利用该图来乘法地控制预激活特征。尽管这种乘法门控在计算上高效，但它主要调节激活幅度，因此对激活边界的控制有限。除此之外，还提出了多种可训练函数以提高适应性和性能，包括GELU [17]、SiLU/Swish [37]、Maxout [12]以及如SwiGLU和GeGLU [41]这样的门控变体。虽然门控激活通过乘法调节增强了表达能力，但它们会带来较高的计算和内存成本，并且不能适应细微的空间或通道变化。

我们认为，激活阈值是一个比斜率调整或乘法门控更基本的控制变量。阈值决定了神经元是否变得活跃，从而直接控制了稀疏性、特征选择性和梯度流动。静态阈值（如ReLU的零边界）不能适应不同的输入分布，而全局预测的参数无法捕捉到细微的空间和特定于通道的变化。从优化的角度来看，自适应阈值可以通过阈值函数$$允许低于阈值的区域接收非零梯度，从而降低与固定阈值激活相关的死神经元风险。第$$节中的正式梯度流分析通过Lipschitz界限和梯度方差比较支持了这些观点。

为了解决这一限制，我们提出了Attention-to-ReLU（A2ReLU），这种激活函数用为每个元素预测的动态、依赖于输入的阈值替换了ReLU的固定零阈值。A2ReLU采用了一种受KVQ交互启发的轻量级注意力机制来捕捉全局通道关系，同时保持局部空间一致性。通过预测阈值而不是斜率，A2ReLU实现了更精确的、考虑上下文的激活决策。与现有的可训练激活函数不同，A2ReLU通过受KVQ启发的注意力机制[46]为每个元素计算独特的、依赖于输入的阈值$$。这种设计允许网络捕捉数据中的全局通道级和局部空间交互。为了降低注意力操作的计算成本，A2ReLU集成了分组的$$投影和深度卷积，同时保持了性能。总结来说，这项工作的主要贡献如下：

• 1.
  我们引入了A2ReLU，这是一种新的激活函数，它通过预测每个元素的依赖于输入的激活阈值来泛化ReLU，而不是依赖于固定的阈值或基于斜率的变换。
• 2.
  我们设计了一种基于分组$$投影和深度卷积的高效注意力机制阈值预测器，实现了与通道维度成线性关系的参数复杂度$$。
• 3.
  我们在分类、检测和分割任务上进行了全面的实验，证明了A2ReLU在轻量级、深度、卷积和基于变换器的架构上的有效性。
• 4.
  我们分析了稀疏性、梯度行为和组件级别的消融研究，以阐明自适应阈值如何平衡表达能力、正则化和优化稳定性。

章节片段

相关工作

激活函数为深度神经网络（DNN）引入了非线性，使它们能够建模复杂的模式，通常被分为预定义函数和可训练函数[1]。

**预定义激活函数**。预定义激活函数通过固定的数学形式或固定参数引入非线性[34]。例如，修正线性单元（ReLU）因其简单性、计算效率高以及能够缓解梯度消失问题而被广泛采用

A2ReLU的原理

如图1(a)所示，A2ReLU是一种基于逐元素最大操作的激活函数，它在输入$$和考虑上下文的阈值$$之间进行选择。与应用固定零阈值的ReLU不同，A2ReLU根据输入特征调整阈值$$，从而实现更灵活和考虑上下文的非线性变换。

具体来说，给定一个输入张量$$，A2ReLU通过方程（1）中的逐元素操作产生一个具有相同维度的输出张量$$：$$$$其中$$是

实验研究

为了评估A2ReLU，我们用A2ReLU替换了几个代表性模型中的原始激活函数，并将其性能与已建立的激活基线进行了比较。我们还评估了A2ReLU的计算复杂性，以确定观察到的性能提升是否仅归因于参数数量的增加。此外，为了探究A2ReLU的潜在机制，我们在轻量级全连接架构中评估了其有效性

结论

在这项工作中，我们提出了A2ReLU，这是一种通过自适应阈值来泛化ReLU的新激活函数。通过使用轻量级注意力机制预测依赖于输入的阈值，A2ReLU实现了对神经元激活的精细控制，同时保持了线性参数复杂度。广泛的实验表明，阈值适应在各种架构和任务中都能带来一致的好处，为基于斜率或门控的方法提供了一个实用且高效的替代方案

CRediT作者贡献声明

Faiza Amin：写作 – 审查与编辑，撰写 – 原稿，可视化，验证，软件，资源，方法论，调查，形式分析，数据管理，概念化。Jinlong Li：写作 – 审查与编辑，撰写 – 原稿，可视化，验证，监督，资源，项目管理，方法论，概念化。Jing Li：验证。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

报告了与...的关系。如果有其他作者，他们声明没有已知的可能会影响本文所述工作的财务利益或个人关系。

Faiza Amin于2022年在中国科学技术大学（USTC）获得计算机科学硕士学位。她目前是USTC计算机科学与技术学院的博士候选人。她的近期研究兴趣包括深度学习、动态神经网络组件和计算机视觉识别。

Faiza Amin|Jinlong Li|Jing Li