自适应非线性学习框架结合动态表示用于标量对函数回归

《Neural Networks》：Adaptive nonlinear learning framework with dynamic representations for scalar-on-function regression

　　

连续函数数据（如生物医学信号与传感器测量值）在现代科学与工业应用中日益普遍。对无限维预测变量与标量响应之间的关系进行有效建模，即标量对函数回归（scalar-on-function regression），仍是统计学与机器学习领域的重大挑战，目前仍缺乏通用框架。这一缺口主要源于难以将无限维函数预测变量映射为有限维表示，使其兼具统计可估计性、计算可处理性，并与非线性机器学习模型兼容，同时保留原始函数的内在时间、空间或平滑结构信息。研究人员提出一种用于标量对函数回归的、具备动态表示的自适应非线性学习框架，借鉴函数数据分析（Functional Data Analysis, FDA）原理，同时保留函数预测变量的内在结构。该框架在多种基函数族间自适应调整，并依次优化基组分的数量与位置，从而产生灵活的函数表示，在不局限于单一基函数族的前提下捕捉复杂且局部化的结构。所得表示在保留原始函数预测变量关键特征的同时，支持准确的标量对函数预测。在来自化学计量学、神经科学与气象学的七个真实基准数据集上的评估证实，相较于现有方法，性能持续且显著提升。例如，在Gasoline数据集上相对均方根误差（relative Root Mean Squared Error, rRMSE）从0.100降至0.003，在DTI数据集上从1.000降至0.220，同时在其余所有基准上均取得最佳性能。这些发现表明，所提出的框架在标量对函数回归中具有实用性与可扩展性。

该研究发表于《Neural Networks》。研究背景方面，函数数据分析（FDA）是为建模连续域上曲线、图像或函数形式数据的统计框架，其核心在于分析整个函数以捕捉复杂数据的结构与动态属性，已广泛应用于工程、生物物理与神经科学等领域，尤其适用于不规则采样与噪声现实问题。经典回归与时间序列模型通常假设规则采样与完全观测，这在现实中常不成立，导致观测不规则性掩盖底层函数结构并扭曲重要模式。现有函数近似与降维技术（如函数主成分分析，Functional Principal Component Analysis, FPCA）或施加刚性结构假设，或难以捕捉噪声环境中的局部变化，且依赖对底层数据结构的限制性假设。尽管FDA中正则化方法与FPCA等有所进展，但当前FDA方法论在分析无限维函数数据集及与机器学习方法集成方面仍面临挑战，缺乏统一框架，且线性变换技术难以捕捉非线性依赖，深度学习方法则常依赖隐式定义神经网络，模糊FDA固有的显式函数连续性且需大数据集稳定优化。因此，需要结合FDA优势与机器学习进展的创新策略，开展本研究以填补经典FDA与现代非线性学习范式间的空白。

研究人员开展的本研究提出一种用于标量对函数回归的自适应非线性学习框架，通过跨多族基函数的自适应学习与动态表示，将无限维函数预测变量映射为有限维系数空间，保留原始函数连续性、平滑结构及关键特征，并将表示阶段与下游回归解耦，以兼容各类非线性估计器。结论表明该框架在七个基准数据集上较现有方法显著提升预测性能（如Gasoline数据集rRMSE从0.100降至0.003，DTI数据集从1.000降至0.220），能动态选择最优基函数类型与数量，有效降维并保持信息，具实用性与可扩展性，为标量对函数回归提供域无关的可扩展解决方案。

主要关键技术方法包括：采用多基函数（B样条（B-splines）、傅里叶（Fourier）、小波（wavelet））表示，通过留一交叉验证（Leave-One-Out Cross-Validation, LOO-CV）优化基类型与节点（knot）数；提出自适应节点放置方法，基于训练集聚合导数信息构建共享系数空间，以最大导数函数D_max(t)指导节点分布，在边界引入额外节点并依3σ准则剔除统计上不可区分为零的系数；将函数观察投影至有限维系数空间后，接入各类回归模型（如线性回归、随机森林等）。样本队列来源于七个真实基准数据集：Canadian（加拿大35个气象站全年日温度预测年降雨量）、Cookie（72份饼干面团近红外光谱预测蔗糖含量）、Tecator（215份猪肉近红外吸收光谱预测脂肪含量）、Sugar（266份糖荧光光谱预测灰分含量）、Wheat（100份光谱预测水分含量）、DTI（334例扩散张量成像测胼胝体白质完整性预测多发性硬化患者认知表现）、Gasoline（60份汽油近红外光谱预测辛烷值）。

研究结果如下：

1 Introduction

介绍FDA定义与应用领域，指出现实数据常具不规则采样与缺失，经典模型假设不成立；综述函数近似、降维（如FPCA）及FDA中正则化、Functional Linear Models（FLMs）等方法的局限，指出当前缺乏FDA与机器学习集成的统一框架，引出本研究贡献：通过表示步骤将函数预测变量近似为有限维系数向量、自适应多基估计、基于导数信息的共享系数空间构建、桥接函数表示学习与机器学习回归。

2 Related Work

2.1 Notation and Preliminaries

定义函数X(t)∈L²[e,f]，说明现实中函数仅在有限时间点观测，需通过基函数（如B样条、Fourier）展开恢复平滑表示，引入映射h(X)=(h₁(X),…,h_r(X))概括函数特征。

2.2 Dimension Reduction in Functional Regression

指出常规回归（如LASSO）无法适应函数数据连续结构与内在依赖；FPCA捕获主要变异模式但限于线性关系，函数偏最小二乘（Functional Partial Least Squares, FPLS）保留线性假设且高维计算量大，核方法受核选择与计算成本限制，强调需更高效灵活框架捕捉非线性与复杂依赖。

2.3 From Linear to Nonlinear Functional Regression

阐述经典函数线性回归模型Y=α+∫β(t)X(t)dt+?的估计挑战，基展开X(t)=∑_j=1^Kc_j?_j(t)将其转为有限维问题，基选择与K至关重要；指出现有非线性方法（如fdboost、深度学习）或受结构耦合限制，或模糊函数连续性，提出本研究解耦表示与回归，通过多基族显式函数近似构建共享系数空间。

3 Methodology

3.1 Problem Formulation

定义标量响应Y={Y₁,…,Y_N}与函数预测变量P={P₁(s),…,P_N(s)}（s∈[0,1]），指出实际观测稀疏不规则掩盖真实模式，需通过平滑与基展开重建连续函数，最小化总平方误差∑_i=1^N(Y_i?ψ(P_i(s)))²以估计回归函数ψ。

3.2 Model Overview

框架含四阶段：原始函数数据预处理（归一化、缺失值处理）、通过选择基类型与节点位置确定最优基表示、将函数数据投影至有限维系数空间提取特征、在学得表示上训练回归模型预测标量输出。

3.3 Multi-Basis Functional Representation

结合B样条（捕捉局部变化）、Fourier（全局周期趋势）、小波（时频分辨平衡，如离散小波变换（Discrete Wavelet Transform, DWT））三类基空间（B=span(b₁,…,b_l)、F=span(f₁,…,f_m)、W=span(w₁,…,w_q)），分别用系数λ_j、β_j、γ_j优化近似?_i(t,B)=∑_j=1^lλ_j(X_i)b_j(t)、?_i(t,F)=∑_j=1^mβ_j(X_i)f_j(t)、?_i(t,W)=∑_j=1^qγ_j(X_i)w_j(t)，通过LOO-CV（如LOO(g,B)=1/N∑_i=1^N(Y_i??_i)²）确定基类型与节点数为超参数。

3.4 Adaptive Basis Construction

提出自适应节点放置，以导数X′(t_i)=(X(t_i)?X(t_i?1))/(t_i?t_i?1)构建训练集最大导数函数D_max(t_i)=max_{1≤j≤Ntrain}X′_j(t_i)，依∫_Ki^K_i+1|D_max(t)|dt=c（c=1/(h+1)∫_K0^K_h+1|D_max(t)|dt）动态调整节点间距，在波动大区域密集布点；边界引入额外节点K_1?a=K₁?a·ΔK、K_h+a=K_h+a·ΔK（ΔK=(K_h?K₁)/(h?1)），依3σ准则|λ?_i|<3√Var(λ?_i)剔除不可靠系数（Var(λ?_i)=σ?²[(Φ^?Φ)^?1]_ii，σ?²=χ²_r,red=χ²_r/(N?h?r+2)）。

3.5 Algorithm

给出最优基表示学习算法流程，整合上述自适应基近似与系数处理步骤。

4 Experiments

4.1 Experimental Setting

采用k折交叉验证（样本>100用k=10，否则LOO-CV），每折在训练集拟合基与节点数优化配置后固定于测试集评估；预处理计算一阶与二阶导数并归一化。

4.2 Benchmark Datasets

详述七个真实基准数据集来源与任务：Canadian（Goldsmith and Scheipl (2014); James et al. (2009); Tutz and Gertheiss (2010)）、Cookie（Goldsmith and Scheipl (2014)）、Tecator（Eilers et al. (2009); Febrero-Bande and De La Fuente (2012); Yao and Müller (2010); Zhao et al. (2012)等）、Sugar（Aneiros-Pérez and Vieu (2014)）、Wheat（Tutz and Gertheiss (2010)）、DTI（Goldsmith et al. (2011); McLean et al. (2014); Randolph et al. (2012)）、Gasoline（Park et al. (2016)）。

4.3 Model Performance Metrics

采用均方根误差（Root Mean Squared Error, RMSE）=√(1/N∑_i=1^N(?_i?y_i)²)与相对均方根误差（rRMSE）=RMSE/(1/N∑_i=1^{Ny_i)以消除尺度影响。}

4.4 Experimental Results

4.4.1 Comparison with Existing Methods

在七数据集上对比ROI、SSVR、FES、ORT、NIR及深度学习（FDNN、OpFlow、DFMM、AdaFNN）等，结果显示所提模型在Canadian（MSE=0.11）、Cookie（rRMSE=0.06）、Tecator（RMSE=1.05，rRMSE=0.05）、Sugar（MSE=0.24）、Wheat（MSE=0.06）、DTI（rRMSE=0.22）、Gasoline（rRMSE=0.003）均优于或匹敌现有最佳，如Gasoline从0.10降至0.003，DTI从1.00降至0.22。

4.4.2 Performance Across Basis Function Families

无单一基函数全数据集最优：B样条在Canadian、Cookie、Tecator、DTI、Gasoline最优，离散小波变换（DWT）在Wheat、Sugar最优；验证基函数选择的数据依赖性，自适应选择必要性，B样条因区间精确拟合优于Fourier捕捉季节周期，小波在Cookie重建残差更低但B样条泛化更好。

4.4.3 Performance Across Regression Models

在八类回归模型（LR、Lars、BR、ThSen、KNN、RF、Ada、GBR）评估，显示表示阶段有效压缩高维（达701维）为紧凑系数空间，简单线性模型（LR、BR）在Cookie、Wheat、Gasoline亦优，非线性模型（如GBR）在Tecator有增益，低标准差与Wilcoxon检验证框架稳定，预测精度大部由学得表示捕获。

4.4.4 Model Complexity and Scalability

基组分数量影响：过多节点无益，框架学适当复杂度；自适应不规则节点提升表示，维数从93–701降至约11–22（如700至22），回归于紧凑特征向量，避免非参函数方法全网格或核矩阵计算，适于小样本高维标量对函数回归。

5 Conclusion

研究人员提出用于标量对函数回归的框架，通过基函数近似学自适应函数表示，替代单一基族传统模型，维持多现实场景高精度。创新在于动态选基函数类型与数量（B样条、Fourier、小波），适配数据特征提升预测，免域特定设计；进一步贡献为学得函数表示本身，通过优化将无限维输入映射为有限维任务相关系数空间，保留预测信息减手动调参；结合机器学习回归，统一函数表示学习与回归于单框架，在多样挑战数据集达优越精度，为标量对函数回归提供可扩展域无关解。

讨论部分总结：研究揭示经典FDA方法论与现代非线性学习范式间存在根本缺口——经典FDA保连续可解释表示但依赖固定基系统，现代非线性法具灵活性但小样本函数回归中难正则化；所提框架桥接二者，通过自适应多基族显式函数近似构建样本间共享系数空间，保留FDA连续性平滑性，解耦表示与下游回归以兼容广类非线性估计器。结论翻译如上5 Conclusion所述，研究人员提出框架通过自适应基函数近似学函数表示，动态选基类型数量，学得无限维至有限维系数空间映射，结合机器学习回归统一框架，在多数据集达优越精度，为标量对函数回归提供可扩展域无关解。