分布式自适应网络中的扩散随机云最小均方算法

《Digital Signal Processing》:Diffusion Random-Cloud Least-Mean Squares for Distributed Adaptive Networks

【字体: 大 中 小 】 时间:2026年08月30日 来源:Digital Signal Processing 3.4

编辑推荐:

   # 摘要 本文提出了一种用于分布式自适应网络的扩散随机云最小均方(DRC-LMS)算法。所提出的方法通过在执行和组合步骤之间插入一个本地随机云探索阶段,扩展了传统的先适应后组合扩散 LMS 递推。在每个节点上,首先计算一个 LMS 试验估计。然后在该试验点周围生成一个有限的

  

# 摘要

本文提出了一种用于分布式自适应网络的扩散随机云最小均方(DRC-LMS)算法。所提出的方法通过在执行和组合步骤之间插入一个本地随机云探索阶段,扩展了传统的先适应后组合扩散 LMS 递推。在每个节点上,首先计算一个 LMS 试验估计。然后在该试验点周围生成一个有限的候选估计云,并选择使本地短窗口平方误差准则最小的候选作为中间估计,以便与邻近节点进行交换。云的扩散度随时间逐渐减小,从而在瞬态阶段允许本地探索,同时在稳态附近使云引起的扰动变得可忽略不计。在平稳线性回归模型下,推导了均值和均方性能分析。分析表明,所提出的算法保留了扩散 LMS 的过渡结构,而云选择机制表现为一种扩散度控制的扰动。特征化了稳定性条件和稳态网络均方偏差(MSD),并且当云引起的扰动变得可忽略不计时,恢复了扩散 LMS 的稳态行为。仿真结果表明,所提出的 DRC-LMS 算法通过受控的本地随机云探索,改善了扩散 LMS 的瞬态收敛行为,同时保持了可比的稳态均方偏差和相同的通信负载。这些结果证实,所提出的适应 - 探索 - 组合机制对于在不要求邻近节点之间额外信息交换的情况下加速早期学习阶段是有效的。

# 引言

分布式自适应网络为空间分布智能体之间的合作学习提供了一种有效的框架。在这些网络中,每个节点收集其本地环境的流式观测数据,并与邻近节点合作以估计一个未知参数向量。这一范式已被广泛应用于传感器网络、分布式估计、环境监测、无线系统、基于图的信号处理以及网络智能体上的在线学习 [1], [2], [3], [4], [5], [6], [7]。在不同的合作策略中,扩散自适应受到了 considerable 关注,因为它是全分布式的、可扩展的、对网络变化具有鲁棒性,并且适合从流式观测中进行实时学习 [1], [2], [3], [6]。

扩散最小均方(LMS)算法是最广泛使用的扩散策略之一。它结合了 LMS 的简单性与邻域合作的性能优势。在标准的先适应后组合(ATC)形式中,每个节点首先计算本地随机梯度更新,然后组合从其邻居接收到的中间估计 [2], [3]。这种机制导致了一种低复杂度和通信高效的分布式算法。关于增量和扩散自适应网络的早期工作还研究了量化、噪声链路和部分扩散等重要实际问题,这些问题与分布式 LMS 类算法的通信和实施方面密切相关 [8], [9], [10], [11], [12]。已开发了几种扩展来解决噪声链路、多任务学习、约束估计、鲁棒适应、安全扩散、遮罩测量、基于相关熵的学习和低秩分布式学习 [13], [14], [15], [16], [17], [18], [19], [20], [21], [22], [23], [24], [25], [26]。特别是,鲁棒最小干扰扩散 LMS 被开发用于减少分布式估计中异常扰动的influence,而遮罩测量扩散 LMS 解决了当测量部分损坏或被遮罩时的鲁棒性问题。安全的分布式估计策略将扩散 LMS 与似然比检验等检测机制相结合,以减轻恶意或不可靠信息的影响。此外,低复杂度的基于相关熵的扩散 LMS 算法提高了对非高斯扰动的鲁棒性,同时通过闭式增益系数减少了计算负担。

尽管有这些进展,扩散 LMS 类算法仍然共享一种单候选结构:在每个节点和每次迭代中,适应阶段在合作之前仅产生一个随机梯度试验估计。这种结构从复杂性角度来看很有吸引力,但它可能会限制瞬态学习。当回归器相关、本地协方差矩阵病态或为了稳定性需要保守的步长时,瞬时梯度方向可能会产生缓慢的搜索轨迹。增加步长可以加速收敛,但通常是以更高的稳态失调和降低的稳定性裕度为代价的。因此,收敛 - 失调折衷仍然是基于 LMS 的扩散策略的关键限制。

在不放弃 LMS 简单性的情况下,改善瞬态行为的一种自然方法是在基于梯度的试验点周围引入本地探索。随机搜索和基于种群的机制长期以来一直被用于随机优化,以改善探索并减少对单一搜索方向的依赖 [27], [28]。最近,随机云 LMS 算法作为一种自适应滤波机制被引入,其中在中心点周围生成多个候选估计,并选择平方误差最小的候选 [29]。这一想法保留了基本的 LMS 结构,同时允许在提交更新之前测试附近的候选估计。

然而,随机云自适应滤波尚未被纳入扩散自适应网络。现有的扩散 LMS 算法利用了节点之间的合作,但每个节点仍然传输由单一本地试验点生成的中间估计。相比之下,随机云 LMS 提供了本地候选探索,但是在单智能体环境中开发的。这促使人们提出一个问题:是否可以将随机云探索嵌入到扩散自适应中,使得每个节点可以检查多个本地候选,同时仍然只向邻居传输一个选定的估计。

受此问题启发,本文提出了一种用于分布式自适应网络的扩散随机云 LMS(DRC-LMS)算法。所提出的方法在 LMS 适应和扩散组合步骤之间插入一个本地随机云选择阶段。在计算 LMS 试验估计之后,每个节点在该试验点周围生成一个有限的候选向量云,使用本地平方误差准则评估它们,并选择最佳候选作为要扩散的中间估计。由此产生的递推遵循适应 - 探索 - 组合结构。

核心想法是在瞬态阶段使用受控的本地探索作为中间筛选机制。与通过增加步长来加速收敛的方法不同,DRC-LMS 保持 LMS 试验更新不变,而是在合作之前测试一组有限的附近候选。因此,主要目标是通过本地候选筛选改善扩散 LMS 的瞬态收敛行为,而不是设计一种脉冲噪声鲁棒的扩散算法。由于只有选定的候选被传输到邻近节点,因此通信负载保持不变,与传统扩散 LMS 相同,同时当云引起的扰动被抑制时,稳态 MSD 保持可比的水平。

将 DRC-LMS 与变步长扩散 LMS 方法进行区分也是有用的。变步长方案通过随时间调整步长来改善收敛 - 失调折衷。相比之下,DRC-LMS 保持 LMS 试验更新不变,并通过在合作之前筛选试验估计周围的几个候选来改善本地搜索。因此,所提出的随机云机制与步长适应是互补的,而不是替代它。原则上,云选择阶段也可以与变步长扩散 LMS 方案相结合。

一个关键的设计特征是使用了递减的云扩散度。在瞬态阶段,相对较大的扩散度允许每个节点探索 LMS 试验估计的邻域。随着迭代的进行,扩散度逐渐减小,因此云引起的扰动变得可忽略不计,递推接近传统扩散 LMS 的行为。因此,所提出的方法旨在改善瞬态学习,同时保持通信结构并维持接近扩散 LMS 的稳态行为。

本文的主要贡献总结如下:
* 通过将本地随机化候选探索嵌入到 ATC 扩散 LMS 递推中,开发了一种扩散随机云 LMS 算法。由此产生的适应 - 探索 - 组合策略使每个节点能够评估其 LMS 试验估计周围的多个本地候选,同时只向邻居传输一个选定的中间估计。
* 在平稳线性回归模型下推导了均值和均方性能分析,表明 DRC-LMS 保留了扩散 LMS 的过渡结构,同时引入了扩散度控制的云扰动。特征化了由此产生的稳定性条件和稳态 MSD,并且当云引起的扰动变得可忽略不计时,恢复了传统的扩散 LMS 稳态行为。
* 仿真结果表明,所提出的受控随机云探索改善了扩散 LMS 的瞬态收敛行为,同时保持了可比的稳态 MSD 和不变的通信负载。结果还表明,适中的云种群足以获得大部分瞬态增益。

本文其余部分组织如下。第 2 节制定了分布式估计问题并说明了本地候选探索的动机。第 3 节提出了 DRC-LMS 算法。第 4 节开发了性能分析。仿真结果在第 5 节中报告,第 6 节总结全文。

**符号说明:** 标量用小写斜体表示,向量用粗体小写字母表示,矩阵用粗体大写字母表示。转置算子表示为 $(\cdot)^{\top}$。$M \times M$ 单位矩阵表示为 $I_M$。期望算子表示为 $\mathbb{E}[\cdot]$,$\lambda_{\max}(\cdot)$ 表示矩阵的最大特征值。标量的绝对值表示为 $|\cdot|$,向量的欧几里得范数表示为 $\|\cdot\|$。对于半正定矩阵 $\Sigma$,加权平方范数定义为 $\|\mathbf{x}\|_{\Sigma}^2 \triangleq \mathbf{x}^{\top}\Sigma\mathbf{x}$。迹算子表示为 $\text{tr}(\cdot)$,$\rho(\cdot)$ 表示谱半径,$\text{vec}\{\cdot\}$ 表示通过将矩阵的列堆叠得到的矢量化算子。对于矩阵集合 $\{\mathbf{X}_1, \dots, \mathbf{X}_K\}$,$\text{blkdiag}\{\mathbf{X}_1, \dots, \mathbf{X}_K\}$ 表示相应的块对角矩阵,$\text{col}\{\mathbf{x}_1, \dots, \mathbf{x}_K\}$ 表示列堆叠算子。克罗内克积表示为 $\otimes$。

# 章节片段

**问题表述**

考虑一个具有 $K$ 个节点的连通自适应网络。节点 $k$ 的邻域,记为 $\mathcal{N}_k$,包括节点本身。在每个时间瞬时 $i$,每个节点 $k$ 观测到一个标量期望信号 $d_k(i)$ 和一个回归(输入)向量 $\mathbf{u}_{k,i} \in \mathbb{R}^{1 \times M}$。节点 $k$ 的数据遵循平稳线性回归模型
$$d_k(i) = \mathbf{u}_{k,i}\mathbf{w}^{\circ} + v_k(i),$$
其中 $\mathbf{w}^{\circ} \in \mathbb{R}^M$ 是一个未知的确定性参数向量,$v_k(i)$ 是测量噪声。

对于任何估计 $\mathbf{w} \in \mathbb{R}^M$,本地瞬时误差为
$$e_k(i; \mathbf{w}) = d_k(i) - \mathbf{u}_{k,i}\mathbf{w},$$
并且本地

**提出的 DRC-LMS 算法**

本节提供了所提出的 DRC-LMS 算法的详细信息。目标是克服第 2 节中指出的扩散 LMS 的退化的单候选结构。每个节点不是扩散唯一可用的 LMS 试验估计,而是构建一个围绕该试验点的有限本地候选集,选择本地瞬时误差最小的候选,然后将选定的估计通过网络扩散。

在节点 $k$,令 $\mathbf{w}_{k,i-1}$ 表示当前估计

**性能分析**

本节分析了在公式 (1) 的平稳回归模型下所提出的 DRC-LMS 算法。我们首先推导网络权重误差递推并确定由随机云选择步骤引入的额外项。然后我们研究均值行为,推导加权方差关系,并使用它来特征化均方稳定性和稳态网络 MSD。最后,我们讨论云选择机制的瞬态效应。

**仿真结果**

本节评估了所提出的 DRC-LMS 算法的性能,并将其与传统的扩散 LMS、两种变步长扩散 LMS 算法以及扩散 RLS 基准进行了比较。实验旨在检查五个方面:DRC-LMS 相对于相关扩散算法的瞬态收敛优势、云种群 $N$ 的影响、初始云扩散度的作用、理论稳态 MSD 预测与

**结论**

本文提出了一种用于分布式自适应网络的扩散随机云 LMS 算法。主要想法是通过在 LMS 适应和扩散组合步骤之间插入一个受控的本地随机云探索阶段,来增强扩散 LMS 的瞬态学习行为。每个节点首先形成一个 LMS 试验估计,在该试验点周围生成一个有限的候选云,选择使本地平方误差准则最小的候选,然后只扩散

**CRediT 作者贡献声明**

Azam Khalili:构思,方法论,正式分析,软件,验证,调查,写作 - 初稿。
Amir Rastegarnia:构思,方法论,正式分析,监督,项目管理,写作 - 审校。
Ali Farzamnia:方法论,调查,验证,写作 - 审校。
Steven Fenton:监督,验证,写作 - 审校。

**利益冲突声明**

作者声明他们没有已知的竞争经济利益或个人关系,这些关系可能影响本文报告的工作。

**作者单位**

Azam Khalili | Amir Rastegarnia | Ali Farzamnia | Steven Fenton
伊朗,65719-95863,马拉耶,马拉耶大学,电气工程系
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号