基于秩一模型的多任务网络分布式在线学习

《IEEE Transactions on Signal and Information Processing over Networks》：Distributed Online Learning Over Multitask Networks With Rank-One Model

提出一种基于rank-one模型的分布式多任务关系建模方法，通过投影梯度下降和幂方法实现高效计算，结合邻居估计提升精度，并在星型拓扑下验证了算法的稳定性和有效性。

　　

摘要：

近年来，对分布式网络中多任务关系的建模引起了相当大的兴趣。在本文中，我们提出了一种新颖的秩一模型，其中所有需要估计的最优向量都是一个未知向量的缩放版本。通过考虑秩一关系，我们构建了一个受限的集中式优化问题，在解耦过程之后，使用投影梯度下降方法以分布式方式解决该问题。为了高效地进行这种投影计算，我们建议用计算效率更高的幂方法代替密集奇异值分解。此外，针对相同最优向量的局部估计值在邻域内进行组合，以进一步提高其准确性。对所提出算法在星形拓扑结构下的理论分析进行了研究，并推导出保证其在均值和均方意义上稳定性的条件。最后，通过仿真结果展示了所提算法的有效性。

引言

为了以分布式和在线的方式解决参数估计问题，扩散策略已在多智能体网络中得到广泛应用[1]。已经引入了多种扩散策略，包括扩散LMS[2]、扩散RLS[3]以及其他变体[4]、[5]，并在各种情况下分析了它们的性能。