基于独立成分分析的标量-函数回归新方法

《Mathematics and Computers in Simulation》：New approaches for scalar-on-function regression via independent component analysis

　　

摘要 标量-函数回归旨在利用以曲线为观测值的函数预测变量来解释标量响应变量。为了解决从曲线的离散观测值中估计该模型的问题，文献中提出了几种方法，最常见的方法是采用函数基来表示曲线，并对相应的基系数（得分）进行回归。当基不是从数据中估计时，基系数往往高度相关，因此人们考虑了数据驱动的基，例如与主成分分析或偏最小二乘法相关的基。在本工作中，我们提出了一种全新的基于从曲线中提取独立成分作为预测变量的方法论。进行了多项蒙特卡洛模拟研究，展示了与函数主成分回归（FPCR）和函数偏最小二乘回归（FPLSR）相比，该方法具有优良的实际表现。最后，一个使用电子行业数据的应用案例突出了所提出估计方法准确解释标量响应变量与函数预测变量之间关系的能力。

引言 函数回归是函数数据分析（FDA）中研究最为透彻的主题之一，它将经典回归的原理扩展到了一个框架中，在该框架中解释变量、响应变量或两者均以函数形式表示 [1], [2]。本文重点关注标量-函数回归（SoFR）模型，其主要目标是识别函数协变量连续定义域中的哪些区域对标量响应变量的影响最大，从而促进解释和决策。此外，其一般形式允许纳入正则化、变量选择和降维技术，所有这些对于在处理噪声或大规模数据时确保稳定性和有效推断都是必不可少的。SoFR模型的全面综述见文献 [3]。该模型的估计通常基于对函数预测变量进行降维技术，其中两种主要策略尤为突出：FPCR和FPLSR [4]。函数主成分分析（FPCA）方法通过其主成分来表示函数预测变量，提供了一种易于解释的表示 [3], [4], [5], [6]。然而，解释最大方差的分量并不一定是最与响应变量相关的分量，这可能会限制其预测能力，并在预测变量的协方差结构不能直接反映所关心的函数关系时导致模型效率低下。一种解决方案是应用函数偏最小二乘（FPLS），通过寻找与响应变量协方差最大化的分量，从而提高模型的预测能力和可解释性 [7], [8], [9]。基于曲线基展开 [10] 和/或惩罚化以控制模型复杂度 [11] 的估计方法也得到了发展，并在化学计量学领域有重要的应用。然而，FPCA和FPLS都是基于对不相关分量的回归，但并不能保证这些分量具有统计独立性。这一局限性可能导致冗余或难以解释的参数函数，这促使我们探索能够捕获复杂依赖结构的替代方法。独立成分分析（ICA）提供了一种方法论上的替代方案，通过寻找统计独立的分量来实现，该方法在无限维希尔伯特空间中被提出 [12]。

在多变量设置中，Gustafsson [13] 表明ICA成分可以产生化学上可解释的潜在变量并改善模型可识别性。ICA回归的理论框架后来在文献 [14] 中得到了正式化，并与神经网络模型联系起来，从而促进了进一步的应用。后续研究表明，基于ICA的回归可能优于主成分回归，并且如迭代优化 [15] 和集成ICA [16] 等几项改进增强了鲁棒性和预测精度。然而，尽管取得了这些进展，ICA尚未在函数回归中得到探索，在函数回归中无限维度和复杂依赖关系引入了新的挑战，这促使了本研究。

函数独立成分分析（FICA）将ICA推广到函数数据，主要应用于有监督函数分类。文献 [17] 中引入了峰度算子，表明对于高斯过程混合分布，其特征分解近似于Fisher判别方向（另见 [18]），并提出了基于基展开的实际算法。文献 [19] 中开发了完整的FICA模型，建立了估计的独立成分的一致Fisher性。重要的是，去混合通常是在函数主成分张成的空间中进行的，将ICA与FPCA表示联系起来。后续的贡献引入了用于脑电图中伪迹检测的二次平滑方法，并研究了函数观测值的白化程序 [20], [21]。最近，文献 [22] 提出了一个使用惩罚峰度算子的平滑、无限维FICA框架，扩展了基于FPCA的方法并提供了收敛理论，同时通过峰度算子的谱行为解释了近完美的分类结果。

为了改善SoFR模型的预测能力和可解释性，本文引入了一种基于FICA的新型函数回归方法（下文称为FICR）。所提出的方法论通过使用样本曲线的不同基展开，将ICA原理适应到函数环境中，并将函数预测变量分解为作为可解释潜在变量的统计独立成分。此外，还提出了两种混合方法论，FICR-FPCA和FICR-FPLS，它们将基于独立性的表示与基于方差或协方差的经典方法的优点相结合。

本文其余部分组织如下。第2节介绍了函数回归的理论框架。第3节详细说明了所提出的用于SoFR的FICA估计方法。第4节通过比较模拟突出了FICR方法的性能和潜力。第5节提供了一个电子数据的应用案例，第6节总结了本文的主要发现。

2 标量-函数回归基础 标量-函数回归（SoFR）模型的目标是估计随机标量响应变量Y与函数预测变量X={X(t)}_{t∈T}之间的关系，其中X定义在闭区间T上实值函数的可分希尔伯特空间H中。在本文中，假设X的样本曲线属于配备通常内积〈f,g〉=∫_T f(t)g(t)dt, ?f,g∈L2(T) 的平方可积函数空间L2(T)，且X具有有限的二阶矩。不失一般性，假设...

3 函数ICA估计 函数独立成分分析旨在从混合函数观测中识别和提取相互独立的函数成分，类似于经典ICA，但适应于在某个定义域上（例如时间或空间）连续变化的数据。标准程序通常包括三个主要步骤：1）对函数数据进行去相关和归一化以获得单位方差的不相关函数（中心化与白化），(ii) 最大化白化后的...

4 模拟研究 为了评估本文提出的FICR方法论，进行了两项模拟研究。在第一项研究中，预测函数是通过B样条展开生成的，而在第二项研究中，考虑了独立函数信号的混合，以便在不同场景下评估方法的鲁棒性。在两次模拟中，标量-函数回归模型如公式(1)所述。每次模拟重复N=500次。在每次迭代中，新的基...

5 真实数据应用 现在考虑使用上述方法论来分析电子领域的真实数据集。更具体地说，重点是研究阻变存储器（RRAMs）中的变异性，这是一种新兴的非易失性存储器类型，在工业领域展现出了巨大的潜力 [26]，其中一个重要原因是它们被用于在神经形态计算环境中加速人工智能（AI）软件，预计到2023年收入将从4.21亿美元增长至717亿...

6 结论 为了增强标量-函数回归的预测性能和可解释性，本文引入了一种基于FICA的新颖框架。所提出的方法论允许将函数预测变量分解为独立的潜在成分，在复杂或高维环境中提供可解释且稳定的表示。从理论角度来看，回归模型是在白化函数空间中建立的，其中白化变换...

CRediT作者贡献声明 Helena Ortiz：撰写–审阅与编辑，撰写–初稿，可视化，验证，软件，方法论，调查研究，形式分析，数据整理。Christian Acal：撰写–审阅与编辑，撰写–初稿，可视化，验证，监督，软件，方法论，调查研究，形式分析，数据整理。Marc Vidal：撰写–审阅与编辑，可视化，软件，方法论，调查研究，数据整理。Juan B. Roldán：撰写–审阅与编辑，...

生成式AI和AI辅助技术在论文撰写过程中的使用声明 AI已被用于审阅英语写作。

致谢 作者感谢由MICIU/AEI /10.13039/501100011033资助的项目PID2023-149087NB-I00和PID2022-139586NB-C44以及FEDER, UE提供的资金支持，并感谢格拉纳达大学项目PPJIB2025-77的支持。本研究还得到了IMAG María de Maeztu资助项目CEX2020-001105-M/AEI/ 10.13039/501100011033的支持。

Helena Ortiz | Christian Acal | Marc Vidal | Juan B. Roldán | Ana M. Aguilera