Leaky ReLU 函数的最优条件数

《IEEE Transactions on Signal and Power Integrity》：The Optimal Condition Number for Leaky ReLU Function

　　

本文摘要：网络层的条件数，即其最优上Lipschitz常数与下Lipschitz常数之比，衡量了该层对输入间距离的扭曲程度。Xia和Zhou证明了对于标准ReLU，无论权重矩阵和偏置向量如何取值，该条件数均至少为$\sqrt{2}$，且随着层宽增大，高斯初始化使该数趋近于$\sqrt{2}$。我们建立了Leaky ReLU（泄漏系数$\alpha\in[0,1]$）的相应结果。一个对每个神经元和每次权重实现均精确成立的恒等式，将Leaky ReLU的平方距离表示为两个标准ReLU平方距离与一个线性平方距离的固定组合，因此现有的集中估计可直接沿用。最优条件数等于$\frac{\sqrt{2(1+\alpha^2)}}{1+\alpha}$：任何权重或偏置都无法优于该值，一个宽度为$2n$的显式层恰好达到该值，且随着宽度与输入维度之比增大，高斯权重趋近于该值。该值从$\alpha=0$时的$\sqrt{2}$严格递减至$\alpha=1$时的1，量化了泄漏机制带来的几何优势。