适用于多任务网络中联合特征选择的拜占庭式抗干扰去中心化优化方法

《IEEE Transactions on Signal Processing》：Byzantine-Resilient Decentralized Optimization for Joint Feature Selection in Multi-Task Networks

　　

摘要：

本文首次研究了多任务网络中的联合特征选择问题，在这种网络中，代理节点在保持数据本地化的同时，通过分布式网络协作学习相关的预测模型。尽管在分布式优化和拜占庭鲁棒共识方面取得了显著进展，但将它们结合起来以实现完全去中心化的联合特征学习和模型学习仍然是一个未解决的挑战。为了解决这一难题，本文提出了一种名为Brd-MTFL的拜占庭鲁棒分布式近端梯度框架，用于在规则化约束下进行联合特征选择和模型学习。其核心创新在于一种完全去中心化的行范数共识机制，该机制允许代理节点通过点对点通信计算与特征组相关的全局行范数，从而实现完全去中心化的联合特征选择。为了抵御恶意或故障更新，本文在行范数估计步骤中集成了一种基于修剪均值的鲁棒聚合规则，从而提供了对拜占庭故障的证明性鲁棒性。我们的理论分析表明，Brd-MTFL能够实现接近最优的收敛速率，从而在拜占庭鲁棒性、中间量的去中心化共识以及多任务网络中的联合特征选择这三个领域填补了一个关键的理论空白。具体来说，我们证明了在凸优化条件下Brd-MTFL能够实现有限时间收敛，在强凸优化条件下能够实现线性收敛，这两种收敛性都明确依赖于网络拓扑结构和拜占庭预算。通过对合成数据和真实数据的实证评估，结果表明Brd-MTFL在准确性、稳定性和鲁棒性方面都具有优异的表现。