基于归一化的稳健函数基神经网络方法用于函数对函数回归

《Statistical Analysis and Data Mining: An ASA Data Science Journal》：Robust Functional Basis Neural Network Method With the Normalization

　　

本文旨在开发一种利用神经网络的稳健非线性模型，用于函数对函数（function-on-function）回归问题。所提出的框架旨在通过在模型训练期间最小化响应变量中异常值（outliers）的影响来增强回归建模的稳健性。为此，研究人员引入了一种专门处理异常值的稳健损失函数（robust loss function），应用于基于基扩展（basis expansion）的神经网络中，并提出了一种新颖的函数归一化技术（functional normalization），该技术相对于时间点对隐藏层的输入函数值进行归一化。与现有神经网络模型相比，该方法收敛速度更快，且对超参数设置不太敏感。即使响应变量中存在异常值，该方法也能实现高性能的回归结果。通过大量模拟研究以及使用COVID-19超额死亡率数据的实际应用，验证了所提方法的有效性和优越性。

**论文解读：稳健函数基神经网络方法（FFRNN）用于函数对函数回归**

**一、研究背景与问题**
函数型回归通常假定预测变量与响应变量之间存在线性关系，但现实中许多函数型关联呈现非线性模式，传统函数线性回归方法难以充分捕捉这些复杂关系。为处理非线性关联，已有研究提出连续加性模型、二次模型、单指标模型等，并进一步将深度学习方法引入函数型回归，例如基于基函数扩展的深度神经网络。然而，现有基于深度学习的函数型回归方法大多建立在无界平方损失函数框架下，对异常值极为敏感，而异常值在实际数据中普遍存在，会导致系数估计偏倚、模型拟合下降、预测性能退化及解释失真。尽管已有部分稳健函数型回归方法，但它们多假设线性关系，缺乏能在存在异常值时同时捕捉非线性模式的模型。因此，本研究旨在开发一种稳健的非线性函数型回归神经网络模型，使其在响应函数含异常值时依然能有效学习复杂函数关系。

**二、研究内容与意义**
研究人员在基于基函数扩展的函数对函数神经网络（FFBNN）中引入Huber损失函数，并提出一种新的函数归一化技术，对隐藏层输入函数按时间点进行归一化，从而构建了函数对函数稳健神经网络（FFRNN）。该方法可降低异常值对训练的影响，加快收敛，并减少对学习率等超参数的敏感性。通过广泛的模拟研究和COVID-19超额死亡率真实数据分析，验证了FFRNN在存在异常值场景中的有效性和优越性。该研究填补了非线性函数型回归中稳健深度学习方法不足的空白，为复杂函数型数据建模提供了更可靠的工具。

**三、主要关键技术方法**
关键技术包括：基函数扩展（basis expansion）函数型神经网络；函数归一化（functional normalization）——针对每个隐藏层节点在时间维度上计算均值和标准差，引入可学习的缩放与位置参数以及正则化常数，以稳定训练；Huber损失函数——结合平方损失与绝对损失，通过阈值δ控制异常值贡献；反向传播算法——基于Riemann和近似积分求导，更新权重、截距及归一化参数，并使用Adam优化算法更新归一化参数。样本数据来源为美国国家卫生统计中心（NCHS）发布的2020年每周超额死亡率数据，涵盖50个州和两个领地（波多黎各和华盛顿特区），来自R软件refund包。

**四、研究结果**

**模拟研究（Simulation Study）**：研究人员设计了四种函数型回归场景，即线性场景、单指标场景、多指标场景和二次场景，并在每种场景下设置无异常以及五种污染场景（污染场景1至5），比较了FFRNN、FFBNN、经典函数型线性回归（FFLM）和稳健函数型线性回归（Robust FFLM）的测试均方根误差（RMSE）。结果表明：在线性场景无异常时，FFLM表现最佳；在线性场景存在异常时，Robust FFLM表现最好，但FFRNN与之相当；在单指标、多指标和二次场景无异常时，FFBNN略优于FFRNN，但所有含异常的非线性场景中，FFRNN均获得最低测试RMSE，且其RMSE与无异常理想场景几乎一致，体现强稳健性；而使用L2损失的FFBNN对异常敏感，测试RMSE显著上升；Robust FFLM在线性场景有优势，但在非线性场景下与FFLM无显著差别。此外，学习率敏感性实验显示，仅用Huber损失的模型在各学习率下RMSE方差大，而加入函数归一化的FFRNN方差小，对学习率不敏感；在较大学习率下，传统FFBNN梯度爆炸无法收敛，FFRNN仍稳定收敛且速度更快。

**真实数据分析（Analysis of Real Data）**：研究人员使用美国2020年每周超额死亡率数据，以第1-10周为预测函数，第11-52周为响应函数预测未来超额死亡。采用方向离群值检测方法识别出17个异常函数。将剩余35个函数分为5折，并将异常函数部分分配至训练/验证集，比较各模型的5折测试RMSE。结果显示，FFRNN在所有折中及平均测试RMSE均最低（平均90.350），显著优于FFBNN（142.555）、FFLM（160.244）和Robust FFLM（111.895）。预测曲线展示FFRNN对具有急剧上升趋势和变化较平缓的函数均能较准确拟合，而其他模型存在高估或低估。进一步去除异常值后比较FFRNN与FFBNN，两者RMSE相近，表明超额死亡数据在去除异常后近似线性，但FFRNN在异常函数存在时仍能保持优越性能。

**五、讨论与结论**
讨论部分指出，FFRNN通过Huber损失实现稳健性，通过函数归一化加快训练并降低学习率敏感性。但方法依赖Huber损失中的阈值δ参数，网格搜索优化耗时；且当前实现基于规则网格，对不规则网格数据处理能力有限。未来工作可探索无需超参数的稳健损失函数，以及构建完整函数对函数神经网络框架以适配不规则间隔数据。

**研究结论**：本文提出了一种新颖的方法，用于解决响应变量包含异常函数时的函数对函数回归问题。通过将Huber损失函数扩展到函数域，并引入函数归一化技术，开发了FFRNN。模拟研究表明，在无异常情况下，FFRNN与现有方法性能相当；在存在异常的非线性场景中，FFRNN取得更优的RMSE。同时，该方法在不同学习率下表现更稳定，训练速度更快，在真实数据中也能更好恢复预测曲线。