先验信息引导的函数参数化网络初始化:一种面向函数袋架构的谱方法

《Neurocomputing》:Prior-informed initialization of function-parameterizing networks: A spectral approach for Bag-of-Functions architectures

【字体: 大 中 小 】 时间:2026年05月16日 来源:Neurocomputing 6.5

编辑推荐:

  面向函数参数化的神经网络架构(如函数袋(Bag-of-Functions, BoF)框架)弥合了深度学习的高表达性与经典信号处理的可解释性之间的鸿沟。然而,此类模型对参数初始化具有固有的敏感性,传统的数据无关(data-agnostic)初始化方案无法捕捉目标

  
面向函数参数化的神经网络架构(如函数袋(Bag-of-Functions, BoF)框架)弥合了深度学习的高表达性与经典信号处理的可解释性之间的鸿沟。然而,此类模型对参数初始化具有固有的敏感性,传统的数据无关(data-agnostic)初始化方案无法捕捉目标信号的结构特性,往往导致收敛效果欠佳。在本研究中,研究人员提出了一种先验信息引导的设计策略,利用数据内在的谱特性和时序结构来指导 BoF 框架的网络初始化及架构配置。研究人员引入了一种原则性的方法论,利用快速傅里叶变换(Fast Fourier Transform, FFT)提取主导季节性先验,以此确定模型深度和初始状态,并采用基于残差的回归方法对趋势分量进行参数化。关键在于,这种结构对齐使得编码器维度得以大幅降低,同时未损害重构保真度。支持性的理论分析为有限样本制度下的趋势估计提供了指导。广泛的实验证明了该方法的有效性:先验信息引导的初始化在复杂的真实世界基准测试中将重构误差降低了 15.1%。此外,趋势信息引导的降维使模型参数量和计算复杂度降低了高达 30%,在不改变核心训练过程的前提下加速了推理并稳定了优化过程。
随着机器学习系统在关键应用中的部署日益增多,对兼具高表达性、可解释性及计算效率的模型需求迫切。函数参数化神经网络架构,特别是函数袋(Bag-of-Functions, BoF)框架,通过将复杂信号显式分解为季节性、趋势和事件等可解释分量,有效缓解了“黑盒”问题。然而,现有研究指出,这类透明架构的潜力受限于其对参数初始化的极度敏感。传统的 Xavier 或 Kaiming 等数据无关初始化方案旨在保持常规深度网络各层的激活方差,适用于学习抽象潜在特征,但与直接输出数学函数族参数的 BoF 模型存在根本性的结构错配。当忽略信号的内在物理和统计结构时,会导致收敛缓慢、训练行为不稳定以及运行间性能差异大等问题。尽管近期有研究尝试通过调整偏置项来对齐初始参数,但这些方法多基于静态假设或手动调优,未能动态提取实例特有的内在信号特征(如主导谱分量或时序趋势),且往往将权重初始化与架构尺寸(如网络深度和感受野)视为独立问题。针对上述结构性与参数性错配问题,研究人员开展了一项数据驱动且先验信息引导的研究,旨在利用数据的内在谱和时序属性共同指导网络初始化与架构配置。

研究人员提出的核心方法是通过快速傅里叶变换(FFT)提取主导季节性分量,以此定义残差阶段数量并初始化相应的编码器网络,同时结合基于残差的回归策略对趋势分量进行参数化。通过将先验信息显式编码到架构和初始参数化中,该方法从训练伊始便引导优化过程。理论分析与实证评估表明,该框架不仅稳定了训练过程,还实现了编码器维度的大幅缩减,同时保持了重构精度。具体而言,该研究利用 FFT 识别主导频率集合的基数来确定季节性模块的层级深度(即网络深度),并利用普通最小二乘法(Ordinary Least Squares, OLS)分析去季节性后的残差信号,基于有限样本保证推导出趋势编码器所需的最小输入维度(感受野)。此外,研究还推导了在有噪时间序列中进行回归分析的样本量需求理论界限,为架构设计提供了数学依据。

在实验结果方面,研究人员在合成数据集及 PJM 电力需求、热电厂(TPP)供暖记录等真实世界数据集上进行了广泛验证。研究结果显示,先验信息引导的初始化策略(IT-BoF)在合成数据上将测试均方误差(MSE)降低了约 97%,显著优于基线 BoF 模型和启发式初始化模型(H-BoF)。在真实场景泛化测试中,IT-BoF 在 PJM 数据集上将测试 MSE 降低了约 55%,在更为复杂的 TPP 数据集上降低了约 57.6%。统计显著性检验(Mann-Whitney U 测试)进一步证实,IT-BoF 与其他架构相比具有显著的绩效优势。在计算效率方面,得益于趋势信息的维度约简,IT-BoF 的模型参数量和浮点运算数(FLOPs)减少了 20%-30%,推理吞吐量提升了约 8%。消融实验表明,更严格的容差参数设置能进一步提升重构保真度并减少参数漂移。此外,在非季节性数据(CMAPSS 数据集)上的测试表明,该框架具有良好的鲁棒性,冗余的季节性模块不会导致性能下降。与 DLinear-BN 和 N-BEATS 等最先进(SOTA)模型的横向对比显示,在参数量严格一致的情况下,IT-BoF 仍能取得更优的重构精度和收敛稳定性。

综上所述,该研究证实了将领域特定的物理先验(如谱分解和趋势估计)嵌入神经网络初始化过程的有效性。这种方法不仅解决了函数参数化模型中存在的结构错配问题,还通过数据驱动的架构配置实现了计算资源的高效分配。研究结论强调,通过解析推导信号的主导频率和趋势特征来指导网络深度和感受野的设计,能够显著提升模型的收敛速度、重构精度及运行效率。这一发现为设计紧凑、自适应且可解释的时间序列模型提供了新的范式,特别适用于资源受限场景下的高精度预测与重构任务。该论文发表于《Neurocomputing》期刊,其提出的先验信息引导初始化框架为未来探索自动化架构设计及在线自适应学习奠定了坚实基础。

在具体技术方法上,研究人员主要采用了以下关键策略:首先,利用快速傅里叶变换(FFT)对输入信号进行频谱分析,通过相对功率阈值法识别主导频率分量,将其数量映射为 BoF 架构的季节性层级深度,并提取振幅和相位的统计量作为季节性编码器的初始权重先验。其次,应用普通最小二乘法(OLS)对去季节性后的残差信号进行线性回归,基于推导出的有限样本浓度边界公式,根据噪声水平和期望的斜率估计精度,解析计算出趋势编码器所需的最小时间窗口长度(即输入维度),从而避免启发式搜索。最后,结合从数据中提取的谱统计量(均值、方差)和回归系数(斜率、截距)分布,对编码器的偏置项和权重矩阵进行非随机初始化,确保模型起始状态位于有效的参数空间内。样本来源包括合成的多分量时间序列数据集,以及真实的 PJM 互联电网负荷数据、德国某热电厂(TPP)区域供热数据和 CMAPSS 航空发动机退化数据。

研究结果部分详细阐述了各项发现。在数据驱动的先验提取与架构配置方面,研究发现合成数据集中的三个主导频率被准确识别并转化为三层季节性架构;PJM 数据集被识别出两个主导谐波,对应双层架构;而 TPP 数据集因频谱结构复杂被识别出四个主导模式,对应四层架构。趋势分析显示,PJM 数据平滑,仅需 3 个时间点即可稳定估计趋势,而波动较大的 TPP 数据则需要 13 个时间点,两者均实现了超过 90% 的输入维度缩减。在合成数据验证中,先验初始化使模型在训练初期即进入低误差区间,参数漂移量显著降低。在真实场景泛化方面,IT-BoF 模型在两个数据集上均取得了最低的测试误差,且统计显著性极高。计算效率评估表明,IT-BoF 在保持精度的同时,显著降低了模型复杂度和推理延迟。在与 SOTA 模型的对比基准测试中,该初始化策略在 Sine、Stocks、Air Quality 和 PU 等多个数据集的判别性和预测性任务上均优于现有的 GAN 和 VAE 基线模型。消融研究进一步揭示,更严格的容差设定($\delta$)和更低的谱阈值($\tau$)能带来更优的重构性能和更稳定的优化轨迹。在非季节性动态的鲁棒性测试中,包含冗余季节性模块的模型并未出现性能衰退,证明了框架的适应性。

讨论与结论部分总结道,通过将谱和趋势先验直接嵌入初始化过程,无需修改底层模型架构或训练流程,即可显著提升函数参数化神经网络的优化行为、泛化性能及效率。实验证明,这种先验信息引导的方法能持续稳定优化过程,加速收敛,并大幅降低重构误差。更重要的是,通过趋势信息引导的维度约简,IT-BoF 架构在模型规模和计算成本上实现了实质性缩减,提高了吞吐量,展现了其在可扩展及资源受限的时间序列应用中的实用价值。对比最先进生成模型的基准测试进一步确认,仅在优化层面引入先验信息即可提升判别和预测性能,突显了初始化作为一种通用增强机制的潜力。未来的工作将致力于利用数据驱动的先验提取进一步自动化紧凑自适应架构的设计,并探索将该框架与自适应或在线学习场景相结合,以应对信号特征动态变化的挑战。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号