编辑推荐：
摘要本文提出了一种注意力增强型核自适应滤波框架，通过在更新结构中显式引入数据驱动的注意力机制，对核最小均方（KLMS）算法进行了增强。通过从注意力视角重新诠释KLMS递推公式，开发了一种基于加法注意力的变体，称为AttKLMS，用于在在线学习过程中动态调节历史样本的贡献权重。
摘要
本文提出了一种注意力增强型核自适应滤波框架，通过在更新结构中显式引入数据驱动的注意力机制，对核最小均方（KLMS）算法进行了增强。通过从注意力视角重新诠释KLMS递推公式，开发了一种基于加法注意力的变体，称为AttKLMS，用于在在线学习过程中动态调节历史样本的贡献权重。该设计有效地结合了核方法的非线性建模能力与注意力的自适应聚焦特性，从而改善了收敛性能，并增强了噪声条件下的鲁棒性。为进一步解决高维场景下计算负担和数据维度方面的挑战，引入了一种基于自注意力的扩展方法，称为Self-AttKLMS，作为可学习的前端表示模块。与固定维度的降维技术不同，自注意力能够在核评估之前实现实例级、数据自适应的特征聚合，从而在保留滤波所需关键信息的同时降低模型复杂度。在一维混沌时间序列（Mackey-Glass和Lorenz）以及二维毫米波成像数据集上进行的广泛实验表明，所提方法在预测精度、收敛稳定性和噪声鲁棒性方面始终优于传统KLMS变体。结果还表明，所提出的注意力增强型核自适应滤波框架为在线序列预测任务提供了一种高效且计算高效的替代方案，优于现有的基于核方法和深度学习的方法。
引言
核自适应滤波器（KAFs）已成为非线性信号处理的首选解决方案，通过将低维输入映射到高维再生核希尔伯特空间（RKHS），在自适应学习任务中表现出色（Kumar, Bhattacharjee, George, 2020, Liu, Principe, Haykin, 2011a）。与LSTM和Transformer等现代深度神经网络（DNNs）不同，后者通常需要海量数据集和离线批量训练，KAFs专为在线学习而设计。它们能够以流式数据高效地顺序更新模型参数，使其成为时间序列预测（Mitchell, 1997）和动态系统监控（Liu et al., 2023）等实时应用中不可或缺的工具。
核最小均方（KLMS）算法（Pokharel et al., 2009）是该类算法的基础框架。在过去十年中，大量的研究工作致力于增强KLMS，催生了一系列丰富的变体。这些发展可大致分为以下三个主要方向：
- 1.
核函数创新： 为适应标准高斯核无法处理的多样化数据结构，研究人员引入了多种新型核函数。例如，NStRKMPL（Wang et al., 2021）采用学生t核来处理重尾数据；KRMC（Dong et al., 2023）使用了指数加权核；RFKLMS（Dong et al., 2018）集成了随机傅里叶特征以高效近似核映射。其他值得注意的贡献还包括NICEKLSM（Zhang et al., 2020b）中的NICE核以及CKLMS（Gao et al., 2016）中的复数核。
- 2.
迭代策略优化： 为提高收敛速度并抑制词典（网络规模）的增长，提出了先进的更新策略。KRLS（Zhao et al., 2013）利用递归最小二乘法实现更快收敛；QKLMS（Peng et al., 2017）采用量化方法合并相近中心；NysKLMS（Zhang et al., 2020a）利用Nystr?m方法实现数据稀疏化。
- 3.
代价函数鲁棒化： 为减轻非高斯噪声的影响，鲁棒误差准则得到了广泛采用。例如，KMPE（Chen et al., 2017）和KRMC（Chen et al., 2012）中使用的最大相关熵准则（MCC），以及集成到LPKLMS（Liu et al., 2015）中的线性正则化，还有近期取得的进展，如广义最小核风险敏感损失（GMKRSL）（Tang et al., 2024）和复数混合广义修正Blake-Zisserman（CGMBZ）（Qian et al., 2026）损失函数。
与此同时，注意力机制作为序列建模中一种强大且通用的信息重加权范式逐渐崭露头角。从早期的加法注意力到现代自注意力架构，基于注意力的模型在时间序列预测和序列学习任务中展现了动态强调信息性历史模式的卓越能力。值得注意的是，Transformer利用自注意力通过为过去观测值分配上下文相关的权重来自适应地捕捉长程依赖关系。
尽管取得了这些广泛进步，但在KAFs与最先进深度学习模型之间仍存在一个关键差距。虽然Transformer利用注意力机制根据当前查询动态聚焦于相关的历史信息，但传统KAFs——甚至包括上述高级变体——通常对词典原子分配静态或基于距离的权重。它们缺乏根据变化中的输入上下文动态优先化特征的能力。此外，随着输入维度的增长，KAFs难以应对"维度灾难"问题，而深度模型通过复杂的嵌入和层次化表示来应对这一挑战。
为弥合这一差距，本文提出了AttKLMS算法。通过运用"查询-键-值"（Query–Key–Value）范式对KLMS更新规则进行数学重构，我们将注意力机制的动态聚焦能力融入严格的KAF框架中。此外，为应对高维输入，我们引入了Self-AttKLMS变体，利用自注意力分数在核滤波之前进行可解释且自适应的降维。
本文的主要贡献总结如下：
- 1.
弥合KAFs与注意力机制之间的鸿沟： 我们提出了一种新型框架，将基于注意力的动态重加权机制整合到核自适应滤波中。这使得滤波器在保留KAFs在线学习效率的同时，具备了注意力模型的上下文自适应能力。
- 2.
相对于多种基准的优越性能： 广泛的实验表明，AttKLMS在在线预测任务中始终优于先进的KAF变体（如QKLMS、MCC-KLMS）以及深度学习基准模型（LSTM、Transformer），尤其是在小样本和非平稳条件下。
- 3.
鲁棒性与计算效率： 所提框架对高斯噪声和脉冲噪声均表现出强大的鲁棒性。此外，Self-AttKLMS变体实现了精度与复杂度之间的良好平衡，在性能略有下降的情况下将输入维度降低了90%以上。
本文其余部分组织如下。第2节介绍核自适应滤波和注意力机制的理论基础。第3节详细推导所提出的AttKLMS和Self-AttKLMS算法。第4节在一维混沌时间序列和二维图像数据集上展示全面的实验评估结果。最后，第5节总结全文并展望未来研究方向。
章节摘要
注意力机制
注意力机制通过在多个机器学习领域允许模型动态优先化输入数据中最相关的部分，获得了广泛的认可。注意力机制的早期实现推动了Transformer（Vaswani, 2017）及其变体等架构模型的发展，在各类应用中取得了突破性成果。Bahdanau（2014）最初引入注意力机制，以增强传统的编码器-解码器模型，处理长
CRediT作者贡献声明
李景浩（Jinghao Li）：撰写——初稿，概念构思。毕东杰（Dongjie Bi）：项目管理，数据整理。涂明武（Mingwu Tu）：资金支持。李锡峰（Xifeng Li）：撰写——审阅与编辑，软件开发。彭利彪（Libiao Peng）：监督指导。谢永乐（Yongle Xie）：资源提供。
利益冲突声明
作者声明不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。
李景浩 | 毕东杰 | 涂明武 | 李锡峰 | 彭利彪 | 谢永乐
