一种轻量级的、具有区分能力的非线性联邦字典学习方法

《Engineering Applications of Artificial Intelligence》:A lean discriminative nonlinear federated dictionary learning method

【字体: 大 中 小 】 时间:2026年01月26日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  提出基于随机向量功能链接的非线性联邦字典学习(FedRVFLDL)方法,通过闭合形式解决方案避免迭代奇异值分解,提升边缘设备计算效率,在工业过程监控、OCR和面部识别数据集上验证其优于传统线性方法及非线性联邦字典学习方案的分类性能,同时保障数据隐私和低能耗。

  
Madhuri Gadwal|Atul Negi
OCR实验室,海得拉巴大学计算机与信息科学学院,海得拉巴,500046,特伦甘纳邦,印度

摘要

字典学习是一种机器学习方法,它生成的表示形式对噪声具有鲁棒性,存储和处理更加高效。学习到的字典用于捕获图像识别和分类任务中的潜在结构和模式。使用分布式数据源的工程应用采用边缘设备的联邦学习。联邦学习能够在满足保护数据隐私和安全性的要求的同时,实现多设备或多地点的协作模型训练。目前,联邦字典学习(FDL)方法在每个客户端都使用计算密集型的字典学习方法。通过避免在FDL中使用迭代奇异值分解操作,可以提高计算效率和能源消耗。本文提出的非线性联邦字典学习在FDL领域是新颖的。所提出的基于联邦随机向量功能链接的字典学习方法避免了计算密集型操作。该方法是一种轻量级的非线性FDL方法,它使用前馈随机向量功能链接生成字典并构建分类器。在每个客户端,该方法直接将稀疏系数与本地样本的原始特征连接起来。稀疏系数及其非线性变换用于学习字典和分类器矩阵。所提出的FedJoin模型聚合方法比其他模型聚合方法更快。与非线性字典学习方法相比,该非线性FDL方法在实验中显示出更准确的结果,这些非线性字典学习方法是以联邦方式实现的。在工业过程监控数据集、光学字符识别数据集和面部识别数据集上的实验表明了其在可扩展性和效率方面的优越性。

引言

现代工程应用,如工业物联网(IIoT)中的应用,必须遵守数据隐私、存储和处理方面的限制。法规影响企业能源预算,促使人们倾向于采用更高效的处理范式。此外,数据共享受到本地数据保护法规的约束,这些法规要求私营组织对其来自不同位置的用户数据加以限制(Hu等人,2024年)。为了克服存储限制,设计了从云计算到边缘计算的各种复杂分布式处理架构。这些数据密集型系统依赖机器学习模型来提取信息并满足现代业务的需求。这些系统在分布式计算架构上执行机器学习,这需要大量的计算资源和庞大的训练数据。大规模训练数据有助于实现泛化,即在未见样本上表现更好。通过狭窄的带宽通道收集、处理和传输大量训练数据是一个挑战。除了数据隐私限制外,还存在带宽狭窄和存储容量有限的挑战(Yurdem等人,2024年)。联邦学习(FL)架构是在客户端(边缘设备)上本地存储和处理数据的解决方案(McMahan等人,2017年)。FL通过在分布式系统中不共享实际数据,而是学习客户端本地模型的参数,并以相对较低的资源将本地模型的参数传输到中央服务器来实现数据隐私目标(Cong等人,2024年;Kumar Sah等人,2025年)。
边缘设备是具有有限存储和能源的传感器。因此,低复杂度的模型适合用于学习本地数据参数。如果传感器的功耗在60 μW到85 μW之间,则认为其能源需求较低(Jain等人,2022年)。电池寿命也是衡量传感器能源需求的一个指标。能源消耗和电池寿命取决于传感器的活跃时间与总时间的比例、传感器类型以及数据传输频率(Liu等人,2019b年)。
现有的FL方法在客户端应用基于反向传播的深度神经网络分类器。深度卷积神经网络(CNN)需要大量数据进行训练,并且如果网络参数初始化接近合理解,则表现良好(Hinton和Salakhutdinov,2006年)。此外,基于CNN的模型性能容易受到学习率选择的影响。
CNN使用基于梯度的模型优化。因此,当使用CNN模型时,FL中的客户端容易受到白盒隐私攻击(Nasr等人,2019年)。在白盒攻击中,攻击者了解模型参数(Miao等人,2024年),并设计示例来破坏模型。通过使用输入图像像素的梯度来修改训练好的模型以获得新的像素(nneol+?×gradint)。在这种攻击中,模型参数不会被破坏,但输入图像像素会根据梯度方向进行调整,以最大化损失,例如在快速梯度符号方法(FGSM)中(Goodfellow等人,2015年)。在自适应FGSM(Ada-FGSM)中(Shi等人,2020年),噪声(即?×gradint)被迭代地添加。在自适应矩IFGSM(AMIFGSM)(Zhang等人,2023年)中,噪声会带有动量地被迭代添加,以避免局部最小值。
成员推断攻击通过评估输出差异来推断样本是否被用于训练模型。推断攻击会侵犯隐私,例如患者的医疗记录或信用卡记录。当模型由于训练样本非常少而过拟合时,它容易受到此类攻击(Niu等人,2024年)。需要一种不需要CNN的、能够处理少量样本的方法来避免此类隐私攻击。
在这种情况下,使用字典学习(DL)对数据进行稀疏建模可以生成很少的参数,从而在分布式架构中节省带宽(Mota等人,2012年)。由于要逼近的函数的非凸性以及基于CNN的FL中的白盒攻击,DL不受梯度下降漏洞的影响,如次优解。通过信号的稀疏表示,DL在客户端设备上使用本地数据,这被称为联邦DL(FDL)。FDL最近在传感器网络中得到了广泛应用(Gkillas等人,2022年;Huang等人,2023年)。FDL在本地传感器数据上执行字典学习,并将字典原子传输到中央服务器。这些本地传感器字典原子在中央服务器上组合成单一的共享字典。
现实世界的数据集特征之间存在非线性相关性,因此无法线性分离。非线性字典学习(NDL)方法使用核技巧将数据映射到更高维的空间,并学习基于奇异值分解(SVD)的字典以提取特征进行分类(Van Nguyen等人,2013年)。据我们所知,之前在FL设置中尚未尝试过NDL。在这里,我们提出了基于非线性诱导的随机向量功能链接(RVFL)的FDL,无需计算密集型的迭代SVD基线性DL方法。我们在第2节讨论了与FDL相关的概念和文献。第3节解释了所提出的方法。第4节给出了分类的实验结果。第5节提供了参数敏感性分析和消融研究。第6节总结了未来的研究方向。

小节片段

联邦字典学习:概述

最近,FDL因其在工业应用中提供紧凑的共享字典、数据隐私和可扩展性而变得重要。GKillas等人在Gkillas等人(2022年)中提出了针对非独立同分布(non-IID)数据的FDL,并使用原子选择概率将本地字典聚合为全局字典。高度代表性的个性化本地原子会影响字典重建图像的性能。

提出的方法

我们提出了基于联邦随机向量功能链接的字典学习(FedRVFLDL),这是一种用于FL框架中的字典和分类器的分析解决方案。尽管用于基于图像表示的应用的DL方法很简单,但图像识别需要对系数或字典原子施加复杂的约束以提高它们的可分离性(Liu等人,2020年;He等人,2023年)。获得具有区分性的稀疏系数的非线性DL涉及核矩阵计算和基于SVD的

实验和结果

为了证明该方法在分类具有特征非线性相关性的非IID数据集方面的效率,使用了不同类型的示例数据集。该方法具有通用性,可以根据应用场景应用于工业数据集。实验中使用了手写数字和印刷泰卢固语字符组件的图像数据集,而不是数值模拟数据。由于书写风格的不同,手写数字具有较高的类内

讨论

FedRVFLDL通过使用全局字典的重建误差作为收敛条件,通过双重确定类标签来计算来自全局分类器矩阵的查询标签。图9(a)展示了与线性DL方法FedKSVD、FedDAKSVD相比,使用FedRVFLDL(结合FedJoin)的表示损失较低。FedDAKSVD使用凸组合

结论

FedRVFLDL在每个客户端学习封闭形式的解和少量本地参数,并将它们传输到服务器,因此在资源有限的应用中非常有用。实验结果显示,在具有类内变化和类间相似性的复杂数据集上,FedRVFLDL的表现优于基于SVD的NDL方法。在统计上已经确定了这一点

CRediT作者贡献声明

Madhuri Gadwal:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,软件,方法论,调查,形式分析,数据管理,概念化。Atul Negi:撰写 – 审稿与编辑,撰写 – 原始草稿,监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

作者衷心感谢审稿人的深刻评论和建设性反馈,这些评论和反馈显著提高了手稿的质量。
作者感谢印度大学拨款委员会(UGC)在2017-2022年博士期间提供的财政支持,通过UGC初级/高级研究奖学金(奖项编号:20688)。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号