面向稳健植物病害识别的联邦学习客户端级稳定化技术比较研究

《Sensors》：A Comparative Study of Client-Level Stabilization Techniques in Federated Learning for Robust Plant Disease Recognition

　　

摘要 人工智能（AI）算法在精准农业中的成功整合，为农民提供了通过作物相关预测来识别潜在问题（如早期病害检测或虫害侵扰）的手段。该领域的新技术发展通过减少对专业人类经验的依赖并促进诊断程序的更广泛可及性，改善了传统农业的运作方式。然而，该领域的大多数研究依赖于AI模型的集中式训练，这导致了成本上升和隐私相关担忧。联邦学习（FL）为在不集中各参与方所拥有数据的情况下，基于分布式数据集协作训练机器学习（ML）模型提供了一个有吸引力的框架。FL在保护数据隐私方面具有显著优势，促进了地理分布式数据源的协作利用，并降低了与集中式收集相关的风险。本文研究了在接近真实世界条件的场景下，分布式传感系统中用于植物病害检测的现有联邦与隐私保护学习的局限性和性能边界。研究分析专门考察了FL聚合算法（如FedAvg、FedAvgM和FedProx）在自定义多客户端实验设置中的表现，在该设置中数据被划分，使得每个参与方仅观察到与特定环境和气候条件相关的症状模式。研究进一步提出了局部模型的部分聚合方法，即仅将模型主干（backbone）发送至中央服务器，而各参与方的分类头（classification head）严格保留在客户端。环境异质性的构建与一个全局代表性的稳定器节点相结合，该节点旨在跨可能缺少某些病害类别的客户端保留知识。

论文解读：面向稳健植物病害识别的联邦学习客户端级稳定化技术比较研究

一、研究背景与问题

确保年度作物生产的完整性是可持续农业系统的基本组成部分，直接影响着人口福祉。稳定且高质量的收成对于保障社区持续获得食物至关重要，影响着价格水平，并降低了部分地区粮食不安全或饥荒的风险。早期准确地检测植物病害对于减轻经济损失和实现及时干预至关重要。在全球范围内，病原体和害虫对粮食作物造成显著的产量损失，即使单一作物的经济影响也相当可观。据Bandara等人报道，仅大豆病害在美国二十年间的损失估计就高达约955亿美元。气候变化预计将加剧这一状况，因为温度、湿度和降水的变化会改变植物病害的分布和严重程度，增加了农民调整耕作方式的压力。Al-Kilani等人认为，此类适应措施往往受到农民获取资源、气候数据和研究产出的限制，这凸显了对能够提供及时可靠诊断支持的工具的需求。在早期阶段预防病害发展可以限制病害传播，减少昂贵的农药施用需求，并支持资源的高效利用。

近年来，深度学习已成为植物病害识别的主要方法，卷积神经网络（CNN）以及更近期的视觉Transformer（ViT）和混合CNN-ViT架构在PlantVillage等基准数据集上的分类准确率已超过98%。然而，这些结果主要是在集中式训练范式下获得的，即大量标记图像在模型训练前被聚合存储在单一仓库中。由于数据所有权、责任归属等悬而未决的问题，以及缺乏规范第三方如何收集、存储和重用此类数据的标准化治理框架，农民和农业利益相关者对共享原始农场数据表现出持续的抵触。此外，许多农村和田间环境仍缺乏传输大量原始图像到集中式云服务器所需的高带宽连接，这加剧了上述担忧。数据碎片化、所有权不明、隐私风险和连接性受限共同构成了结构性障碍，限制了将原始图像直接传输到中央服务器，从而推动了联邦学习（FL）等训练范式的需求，该范式允许在不离开原始数据源的情况下进行模型开发。

联邦学习（FL）由McMahan等人首次提出，作为一种无需集中数据即可训练共享模型的去中心化范式，为传统植物检测系统的问题提供了有吸引力的替代方案。FL使多个客户端（如农场、实验室或温室监测站）能够在不共享原始图像的情况下协作训练全局机器学习（ML）模型。每个训练参与方在本地更新其模型，并仅将学习到的参数发送至中央服务器进行聚合。除了保护数据隐私外，这种范式天然契合农业环境的分布式特性，在农业环境中，由于气候条件、温度制度、害虫流行度、土壤性质和其他局部条件的差异，在单一地点收集大型标记数据集通常不可行。这些因素加剧了传统FL算法长期存在的挑战，即当暴露于非独立同分布（non-IID）数据时，这些算法通常会经历显著的性能退化。这种异质性加剧了训练过程中的客户端漂移，导致收敛不稳定和泛化能力下降。

近期研究已开始将FL整合到植物病害识别系统中，探索类似多客户端隐私保护设计的环境。Mamba Kabala等人研究了哪些深度学习架构和FL配置能产生最佳的作物病害分类性能，主要关注客户端数量、通信轮次、本地迭代和数据质量。然而，其数据集在客户端间是均匀随机划分的，因此实验设置并未考虑非独立同分布（non-IID）场景。此外，其联邦训练仅依赖FedAvg模型聚合，未评估其他策略。Aggarwal等人为水稻叶部病害分类提出了联邦迁移学习（FTL）框架，评估了EfficientNetB3和MobileNetV2在四个客户端上的表现，并考虑了IID和非IID分布。尽管该研究明确考虑了non-IID数据，但未深入研究异质性约束对FL性能的影响。与先前研究不同，Caminha等人进一步在五个联邦客户端中显式建模了异质性客户端数据，但未提出新颖的异质性感知聚合算法，仍选择经典的FedAvg公式。这些研究均未提供对不同程度统计异质性的系统分析，也未比较专门设计用于缓解客户端漂移的聚合策略。相比之下，Chorney等人仅关注高度异质性的多客户端环境，模拟了五个农场，使用了五个不同的真实数据集，在规模、类别分布、类别不平衡和图像特征方面各不相同。他们以FedAvg作为聚合起点，但也评估了几种策略并引入了两种混合预训练方法，并得出结论：大型客户端可能主导全局优化并影响具有显著不同局部分布的小型客户端。

尽管现有研究已逐步考虑异质性多站点农业数据或non-IID分布，但大多数要么依赖经典的FedAvg算法进行聚合，要么采用统计模拟的划分（如基于Dirichlet的标签偏斜采样），将异质性作为合成产物再现，与任何真实的农艺或气候原理脱节。据研究人员所知，尚无先前工作将植物病害数据的联邦划分明确地建立在环境和农艺条件之上，这些条件因果性地驱动了站点间病害分布的转变，将异质性视为数据生成过程的产物而非统计强加的条件。为填补这一空白，研究人员提出了一个环境基础的FL设置，其中客户端划分根据不同的农艺条件构建，而非合成采样，产生了部分重叠且局部不完整的病害分布，反映了病害流行度在不同气候制度下的实际变化方式。一个大型番茄叶部病害数据集被划分给六个客户端，每个代表一个不同的环境区域。每个参与方仅持有与其对应气候制度相关的病害类别，而某些病害自然地跨多个客户端出现，反映了真实农业生态环境中观察到的部分类别重叠，而非任意强加的统计划分。该研究在环境驱动的异质性下对FedAvg、FedProx和FedAvgM进行了比较评估，并整合了一个稳定器节点，旨在跨具有部分重叠和不完整标签分布的客户端保留全局知识。研究人员提出的环境基础构建框架依赖于仅聚合模型的共享特征提取主干，同时保持分类器头完全本地化并与全局聚合解耦。尽管主干/头解耦已在通用个性化联邦学习中得到探索，但其与环境基础的、部分重叠标签分布以及专门用于农业病害诊断的稳定器节点的结合，据研究人员所知，构成了植物病害FL文献中先前未涉及的设置。这种设计允许每个农场保持适应其局部病害概况和标签分布的专业分类器，同时仍受益于全局共享的、气候无关的视觉表示。

二、研究内容与方法

为评估FL在环境驱动的、non-IID农业数据分布下的行为，研究人员分析了三种代表不同去中心化模型训练概念的聚合策略：联邦平均（FedAvg）、联邦近端（FedProx）和带服务器动量的联邦平均（FedAvgM）。这些方法被有意选择，因为每种方法都通过根本不同的机制解决客户端漂移问题。FedAvg执行无权重参数平均，无任何针对异质性的显式修正，因此作为基线。FedProx引入近端正则化项，约束局部更新保持接近全局模型，直接针对持有部分重叠和不完整病害标签集的客户端所产生的发散。FedAvgM将服务器端动量纳入聚合步骤，以在客户端更新跨气候制度不一致时稳定跨通信轮次的收敛。每种策略因此以不同方式平衡局部客户端适应与全局模型一致性之间的权衡。

为模拟尽可能接近现实的场景，研究人员提出了一个由六个客户端和一个服务器组成的基础设施。其中五个客户端配置有特定地理区域的病害，一个在训练过程中充当稳定器，确保参与方之间的平衡。研究人员提出每个客户端维护分类头，仅将主干发送回服务器进行聚合。由于每个客户端拥有不同数量的类别和不同的病害，研究人员调查了两种可能的训练和聚合场景。在第一个场景中，所有客户端配置相同，每个客户端在聚合前本地运行4个epoch，所有参与方具有相同的头微调参数，此步骤重复五个轮次。第二个场景基于第一个场景的结果构建，允许头训练和微调的epoch数根据客户端设置而变化，具体值根据类别数量按比例缩放的启发式方法选择。在两种场景中，三种聚合算法均被执行。鉴于从第一个场景配置转换时观察到的显著改进，第二个场景中引入了额外的三个训练轮次。在最后三个轮次中，两个客户端的数据集被完全替换为来自专有数据集的真实田间数据，保持前五个轮次中存在的确切类别，其余四个客户端保持不变。通过这种方式，研究人员分析了在完全使用完美实验室图像训练的联邦设置中，真实田间数据引入的影响。

模型采用轻量级卷积神经网络（CNN），设计用于平衡计算效率和表示能力。架构由共享并在所有客户端间聚合的最简特征提取主干和保持本地化的分类头组成。主干始于输入层，随后是深度逐渐增加的卷积块序列。初始卷积应用16个滤波器，第二卷积阶段将通道数增加到32并采用扩张卷积，最终64通道卷积层进一步细化学习到的表示，之后全局平均池化将空间信息聚合为紧凑的特征向量。模型以包含dropout层和密集softmax输出层的分类头结束。

三、研究结果

3.1 温带湿润系统（客户端1）：在第一个场景中，FedProx表现出最一致的高性能，表明近端项有效缓解了该特定数据分布的客户端漂移，但其准确率从第3轮起逐渐下降。FedAvg表现出中等波动，FedAvgM则逐步改善。在第二个场景中，前五轮公共数据集训练中三种算法准确率均超过90%，后三轮数据切换为专有田间数据后准确率下降约10%，但仍保持在82%以上，表明前五轮训练对系统性能有显著影响。

3.2 湿润亚热带系统（客户端2）：在第一个场景中，FedAvgM表现出明显更优的轨迹，从0.7577上升至峰值0.9046，表明具有狭窄专业病害概况的客户端可能需要动量感知聚合。FedAvg和FedProx则表现中等。在第二个场景中，FedAvg和FedAvgM达到92%-93%的准确率，FedProx虽有显著提升但仍较低。所有策略在后三轮均呈强劲上升趋势，表明注入真实数据未对其他节点的性能产生负面影响。

3.3 温室生产系统（客户端3）：在第一个场景中，FedAvgM表现异常强劲，五轮中四轮超过0.96，峰值达0.9880，展示了动量聚合在此类环境下的明显优势。FedProx早期表现良好但优势随时间缩小，FedAvg则最不稳定。在第二个场景中，FedProx和FedAvg的准确率显著提升至99%，而FedAvgM的提升很小。

3.4 全分类稳定器节点（客户端4）：在第一个场景中，该客户端表现不佳，准确率低于0.60，表明需要定制训练方案。在第二个场景中，通过为E_HEAD和E_FINETUNE选择特定值，准确率提升了约20%，表现出持续上升趋势，即使在整合了注入真实数据的客户端后仍保持稳定。

3.5 温暖地区（客户端5）：在第一个场景中，该客户端在所有三种策略下均表现出持续的高验证性能，FedAvg和FedProx非常稳定，FedAvgM早期略有波动但迅速收敛。这表明当客户端的局部病害分布与全局模型学习到的表示紧密对齐时，聚合策略的选择变得基本无关紧要。在第二个场景中，所有算法均实现超过93%的准确率，注入真实数据的客户端未影响其性能。

3.6 高地与海洋性系统（客户端6）：在第一个场景中，该客户端呈现最具挑战性的情况，主要由于其局部数据集的强类别不平衡。FedProx表现最佳，保持验证准确率在0.8824至0.9301之间。FedAvg逐渐改善但表现出对标签不平衡的敏感性。FedAvgM早期挣扎，随后随动量机制积累更可靠的方向信息而加速。在第二个场景中，该客户端记录了最显著的改进，所有策略均大幅提升。值得注意的是，该客户端在后三轮完全使用真实数据训练，结果仍优于第一个场景，凸显了适当参数化每个参与方的重要性。

3.7 讨论：跨客户端准确率方差对所有聚合策略均下降，表明跨客户端预测性能的一致性增强。FedAvgM最初呈现最高的客户端间变异性，但逐渐收敛至最低的最终方差。关于真实数据的影响，客户端1和客户端6在数据切换后经历准确率下降，表明新引入数据与先前学习表示之间存在明显的领域偏移。然而，这种退化并未通过共享主干传播为可测量的损失到联邦的其他部分。特征层面分析显示，实验室和田间图像之间存在显著的领域差距，所有三种算法的线性分类器都能以0.947-0.963的平衡准确率区分它们。FedProx和FedAvgM的主干使两个领域在平均意义上更接近，但不足以使它们重叠。此外，田间领域内病害类别分离不佳，归因于田间图像的复杂背景和视觉上相似的坏死病变。对FedProx的正则化消融研究表明，其后期准确率下降并非由近端项引起，因为退化在无正则化情况下也会发生，且不随近端系数增大而增长。总体而言，没有单一方法能普遍占优，算法选择应根据每个客户端的具体农业生态概况而非预先固定。

四、研究结论

这项工作在具有挑战性的真实世界植物病害识别任务中，对三种联邦学习优化策略（FedAvg、FedProx和FedAvgM）进行了比较分析。所有算法在统一基础设施上实现，具有一致的训练协议、相同的主干架构和受控的超参数。结果显示，FedAvgM稳定并改善了性能，特别是对于局部分布更平衡的客户端。FedProx对受强数据偏斜或局部代表性有限影响的客户端表现最佳，证实了其对客户端漂移的鲁棒性。FedAvg在分布较简单的客户端上仍具竞争力，但表现出对non-IID条件的明显敏感性。

该研究对植物病害识别的联邦学习做出了多项贡献。首先，引入了环境基础的FL框架，客户端数据分布源自不同气候条件而非人工生成的统计划分，产生的病害分布部分重叠且局部不完整，反映了不同农业环境中自然发生的统计异质性。据研究人员所知，这是首个在此类农艺动机异质性下评估FedAvg、FedProx和FedAvgM的研究。其次，框架仅跨客户端聚合共享特征提取主干，同时保持分类器头完全本地化，允许每个客户端维护专用于自身病害概况的分类器而不牺牲协作表示学习的益处。第三，引入稳定器节点，跨具有部分重叠和不完整标签分布的客户端保留全局知识，解决了植物病害联邦学习文献中先前未研究的场景。第四，分析了在真实世界、不完美的田间数据上训练对先前仅使用完美数据训练模型客户端的影响。

实验结果也揭示了现有方法的局限性。没有单一聚合算法能在所有客户端上表现最优，因为该问题受许多无法通过模拟完全捕获的相互作用因素支配。当客户端在类别数量上存在差异时，共享主干和私有头策略是有前景的起点，因为它使联邦在不兼容分类器的情况下成为可能。此外，对于短训练周期和简单分类任务，FedAvg已足够，因为FedProx在小近端系数下表现几乎相同。未来工作将向多个方向扩展，包括纳入额外聚合算法和自适应个性化层，以及在联邦训练下探索更大主干架构和视觉Transformer。