激活诱导对称核的神经网络逼近及其定量误差分析

《AppliedMath》：Activation-Induced Symmetric Kernels for Neural Network Approximation with Quantitative Error Analysis

　　

本研究研究由可调半双曲正切（half-hyperbolic tangent）激活函数生成的对称化神经网络（symmetrized neural network, SNN）算子。该构造基于配对密度核?t与?1/t，其平均定义对称核?。该核为正、偶、归一化且保持单位分解。利用?，研究人员在Banach空间值框架下定义有限区间与全直线SNN算子。通过一阶连续模获得点态与一致收敛估计，并推导高阶与分数阶逼近估计，后者采用Caputo–Bochner分数阶导数。数值部分比较非对称算子与对称算子：当n取特定值时，一致误差由某值降至某值，均方根误差（RMSE）由某值降至某值，决定系数（R2）由某值升至某值，伴随CPU时间由某秒增至某秒。参数测试进一步表明性能依赖于n、t与1/t的联合选择。结果表明对称化提升逼近精度，但参数调优仍必要。

研究背景与动机

经典非对称神经网络（NN）算子在逼近论中根基深厚，与sigmoid算子、Fourier逼近、Korovkin型理论及正线性算子密切相关。然而从现代人工智能与数据驱动视角看，非对称算子常因缺乏对称性、局部化、参数依赖的形状控制及计算性能调节而受限。其数学收敛性虽无争议，但逼近数值质量强烈依赖激活函数、权值结构、节点数、核局部化及参数选取。因此，除经典收敛定理外，算子内部结构亦需关注。已有研究指出，更局部化、对称或参数可控的核可改善特定函数类的数值结果，对称化能平衡评估点左右方向的核效应，同时保留正线性算子结构。

研究人员以可调半双曲正切激活为工具，生成由参数t与1/t对应的配对密度核?_t与?_1/t，取其平均得偶对称核?。该核具备正性、偶性、归一化、单位分解及指数尾控制。基于此在Banach空间值（Banach space-valued）设定下构造有限区间SNN算子与全直线拟插值SNN算子，并给出点态、一致、高阶及分数阶定量误差估计，最后用RMSE、MAE、最大误差、R2与CPU时间进行数值验证。论文发表于《AppliedMath》。

主要关键技术方法

研究人员采用可调半双曲正切激活函数σ_t(x)生成配对密度核，通过反射恒等式平均得对称核?；在Banach空间值框架下借助一阶连续模（first modulus of continuity）完成一阶收敛证明，利用Taylor型展开获得高阶估计，引入Caputo–Bochner分数阶导数定义左/右分数阶导数并推导分数阶逼近界；数值实验以Python实现，在有限网格上对Y值目标函数比较非对称算子与对称算子，指标含RMSE、MAE、最大误差、R2及CPU时间，并做n、t、1/t联合敏感性测试。

研究结果

1. 2.
   激活曲线族与对称核构造
   研究人员定义可调半双曲正切激活，导出配对密度满足反射关系，平均后得偶对称核?。Remark 1–3证明?具偶性、单位分解、归一化及指数尾估计｜?(x)|≤W e^?α|x|；Corollary 1给出有限归一化分母远离零的下界；Remark 4强调有限区间截断和不可省去归一化因子。Activation-to-Density基准图显示?峰居中、对称缺陷为零、有限和稳定性优于配对核。
2. 3.
   对称增强算子架构
   定义有限Y值SNN算子L_n^S(f;x)与全直线拟插值算子L^S(f;x)。3.1节Theorem 1–2用近–远拆分与尾估计证得‖f?L_n^S(f)‖≤Cω₁(f,c/n)+O(e^?βn)，全直线情形同构。3.2节Theorem 3对k次光滑函数得O(n^?k)高阶界，若f^(k)=0则仅余余项。3.3节用Caputo–Bochner导数定义分数阶Taylor展开，Theorem 4–5及Corollary 2给出?阶与半阶（?=1/2）定量界，证明L_n^S→I一致。
3. 4.
   数值分析
   4.1节以Y=?上标量函数为例，绘图比较非对称与对称算子，显见对称算子随n增大更接近目标。4.2节Table 3–6报告：固定n时对称算子RMSE约为非对称算子的某比例（降幅约某值），最大误差由某值降至某值；R2由某值升至某值；CPU时间由某秒增至某秒。参数敏感性显示t与1/t需与n联合调优，对称化收益随n增大更显著。

讨论与结论翻译

研究人员在结论中指出，所提激活诱导SNN框架由σ_t生成配对密度?_t、?_1/t平均得?，该核正、偶、归一化、保单位分解且具指数尾控。有限与全直线SNN算子保留正线性结构并引入评估点左右平衡贡献；一阶连续模给出点态与一致收敛，Taylor型得高阶估计，Caputo–Bochner分数阶导数得分数阶估计。数值上两算子随n增大均收敛，但对称算子在标量测试中误差更小：一致误差、MAE、RMSE下降，R2上升，CPU时间适度增加。该方法统一了激活灵活度、对称密度核与正算子逼近；t与1/t控制变形与局部化，但代价为配对核构造带来的计算开销，且性能依赖n、t、1/t联合选取，故实际部署需权衡资源与调参。未来可拓展多元、自适应选参、并行化及在信号重建与科学计算中的应用。