《Neural Networks》：Breathing Life into Activation Functions: The SWIn Framework for Sustained Nonlinearity
编辑推荐：
主流激活函数在输入趋于正负无穷时，其二阶导数均衰减至零，导致在极端输入区域内出现渐近线性退化（asymptotic linear degeneration）。训练过程中的参数漂移与长尾分布扩张进一步压缩了基础激活函数的有效非线性区间，严重制约了模型表达能力的上
主流激活函数在输入趋于正负无穷时，其二阶导数均衰减至零，导致在极端输入区域内出现渐近线性退化（asymptotic linear degeneration）。训练过程中的参数漂移与长尾分布扩张进一步压缩了基础激活函数的有效非线性区间，严重制约了模型表达能力的上限。为消除上述非线性退化问题，本文提出正弦波集成（Sinusoidal Wave Integration，SWIn）框架，这是一种通用的即插即用变换模块，可兼容任意基础激活函数。SWIn在基础激活函数输出上叠加受控的横向缩放正弦波（Lateral Scaled Sinusoidal Wave，LSSW）扰动项，同时完整保留基础核函数的单调性与全局趋势。即使在输入落入原始激活函数的线性饱和区时，振荡分量仍能在所有非饱和区间内维持非零二阶导数，从而永久保留模型的非线性表达能力。研究人员在CIFAR-100、ImageNet-1K及WMT14多语种机器翻译等基准上开展系统验证，结果表明SWIn在视觉与语言任务上均产生一致性提升，且无需引入额外可训练参数，计算开销可忽略。理论与实证分析进一步界定SWIn的适用边界：对光滑激活函数（SiLU、Mish、GELU）增益显著，而对ReLU、PReLU等非光滑函数收益有限甚至产生不利影响，为实际深度学习系统的部署提供了明确指导。
论文解读：SWIn框架——以受控振荡维持激活函数持续非线性
一、研究背景与问题提出
在深度神经网络中，激活函数是模型非线性的根本来源，直接决定特征表示能力、训练收敛速度与最终泛化性能。随着CNN、Transformer等复杂架构的持续演进，设计鲁棒的激活函数始终是核心研究方向。激活函数历经多代迭代优化以应对梯度消失、神经元死亡与梯度不光滑等问题，但所有现有主流设计共享一个未被解决的理论缺陷：当输入趋于正负无穷时，其二阶导数均衰减为零，导致在极端输入区域出现渐近线性退化。研究人员通过训练过程中的激活输入分布统计分析进一步验证了该问题：在计算机视觉与机器翻译任务上普遍发生参数漂移与长尾分布扩张，持续压缩基础激活的有效非线性区间，严重制约模型表达能力上限。现有光滑连续激活函数（SiLU、GELU、Mish等）虽消除了sigmoid时代的梯度瓶颈，但引入了更隐蔽的问题——其二阶导数随输入幅值增大而消失，训练中越来越多激活输入漂移出支持有效非线性曲率的窄区间，使激活函数渐近退化为近似线性映射。参数化ReLU变体仅调整负输入区域的梯度幅值，不改变极端正负输入处的渐近线性特征。现代周期激活函数（SIREN、FINER等）虽能维持非零曲率，但存在非单调映射、初始化敏感、与归一化层冲突、固定全局频率导致特征冗余以及泛化局限于隐式神经表示等内在缺陷。因此，尚无工作能同时解决光滑激活的非线性退化与周期激活的单调性丧失问题。SWIn框架正是针对这一双重困境提出的统一解决方案。
二、研究内容与核心结论
研究人员提出正弦波集成（SWIn）框架，通过在任意基础激活函数输出上叠加受控的横向缩放正弦波（LSSW）扰动项，在完整保留基础核函数单调性与全局趋势的前提下，于所有非饱和区间内维持非零二阶导数，永久保留模型非线性表达能力。SWIn引入零额外可训练参数，作为轻量即插即用模块兼容现代CNN与Transformer架构。在CIFAR-100（VGG-16、LeNet-5、CFQK、ResNet-19骨干）、ImageNet-1K（MobileNet-V3）及WMT14多语种机器翻译（DE-EN、CS-EN、RU-EN）等基准上，SWIn相对主流激活函数与SWA基线均产生一致性提升，且对光滑激活函数增益显著，对非光滑函数收益有限甚至不利。该工作系统揭示了主流激活函数的渐近线性瓶颈，提出了满足四项关键约束的数学框架，并界定了其适用边界，为深度学习系统的激活函数部署提供了明确指导。
三、关键技术方法
研究人员采用以下主要技术方法：其一，基于Fourier级数理论推导SWIn外映射函数g(x)=x+(a/ω)sin(ωx)，通过周期零均值约束、符号保持约束与单调性约束逐步确定扰动项u?(x)=(a/ω)sin(ωx)的具体形式，并证明|ωa?|<1的幅频约束条件；其二，构建SWA（Sinusoidal Wave Addition）对照激活函数，以原始正弦波(a/ω)sin(ωx)替代LSSW分量，用于隔离验证LSSW设计的机制贡献；其三，在CIFAR-100、ImageNet-1K与WMT14三个基准数据集上，以VGG-16、LeNet-5、CFQK、ResNet-19、MobileNet-V3等网络架构开展系统对比实验与消融分析；其四，通过统计训练过程中激活输入分布，揭示长尾分布扩张与参数漂移现象，验证SWIn在维持非线性方面的不可替代价值。
四、研究结果
4.1 SWIn框架的数学推导与约束证明。 研究人员从四个约束条件出发——(C1)单调性保持、(C2)符号保持、(C3)有界振荡偏差、(C4)非线性维持——通过Fourier级数展开与周期零均值条件，逐步推导出扰动项u?(x)的封闭形式为(a/ω)sin(ωx)，并证明当|a|<1且ω∈R?时，SWIn函数g[f(x)]=f(x)+(a/ω)sin(ωf(x))满足全部约束。对光滑基础激活的线性分量，只要斜率非零且a、ω≠0，任意非空开区间内均存在二阶导数非零的点，从而保证全定义域非线性特性。
4.2 超参数敏感性与默认配置。 通过偏导数分析揭示：输出波动幅度与|a|线性相关，梯度缩放项1+acos(ωf(x))的值域随|a|增大而扩张，二阶曲率项?aωsin(ωf(x))[df/dx]2在极端输入区域提供持续非线性补偿；ω控制振荡密度，高ω引入梯度符号快速切换增加训练噪声，低ω导致振荡稀疏、非线性补偿不足。据此提出通用默认配置a=0.1、ω=1，并给出任务级调参规则：大规模模型取a∈[0.001,0.05]、ω∈[0.8,1.2]，小规模模型取a∈[0.1,0.5]、ω∈[0.5,1.5]。
4.3 多基准实验验证。 在CIFAR-100上以VGG-16、LeNet-5、CFQK、ResNet-19为骨干，在ImageNet-1K上以MobileNet-V3为骨干，在WMT14上覆盖DE-EN、CS-EN、RU-EN三个语向，系统对比SWIn与主流激活函数及SWA基线。消融结果确认：针对基础激活输出定制的LSSW扰动比朴素输入侧正弦叠加具有更优的特征拟合与表示能力；SWIn在光滑激活（SiLU、Mish、GELU）上取得显著一致提升，在非光滑函数（ReLU、PReLU）上收益有限甚至不利。
4.4 分布统计分析与适用边界界定。 统计训练过程中激活输入分布，证实长尾分布扩张与参数漂移普遍存在于视觉与翻译任务，持续压缩基础激活的有效非线性区间。SWIn通过在极端输入区域维持非零二阶导数，有效补偿长尾样本的非线性退化。理论与实证共同界定SWIn的适用范围：对光滑激活函数增益显著，对非光滑函数需谨慎部署。
五、讨论与结论
讨论部分指出：单神经元参数化自适应激活（AAFs）以额外可学习参数膨胀模型容量，GLU类门控架构以双倍隐藏维度为代价增加FLOPs、训练延迟与内存消耗，均与本工作的轻量无参设计目标相悖；且这两类方法均无法在所有非饱和输入区间维持非零二阶导数。周期激活函数虽解决渐近线性问题，但其非单调映射、初始化敏感、与归一化层冲突等缺陷阻碍其在主流CNN与Transformer流水线中的采用。SWIn通过核对齐周期扰动同时化解上述矛盾：保留主流光滑激活的单调性与稳定梯度流，同时在所有非饱和区段维持曲率，规避现有周期方法的致命缺陷。
研究结论：本文系统识别并定量验证了广泛使用的激活函数固有的渐近线性瓶颈，证明训练诱导的分布漂移在不同网络架构与初始化策略下持续收窄有效非线性区域；正式推导了SWIn框架并引入LSSW扰动项，该设计可证明地满足单调性保持、符号一致、有界振荡偏差与全非饱和区段非线性维持四项关键约束；实证表明SWIn在视觉与语言任务上产生一致性提升，增益可与学习型激活相媲美甚至超越，且无需额外训练参数、计算开销可忽略；通过理论与实证分析界定了SWIn的适用边界——对光滑激活（SiLU、Mish、GELU）增益显著，对非光滑函数（ReLU、PReLU）收益有限甚至不利，为真实深度学习系统的部署提供了明确指导。
