基于动态加权聚合的联邦学习方法在多作物病害检测中的应用：一种CNN-Transformer混合模型

《Frontiers in Artificial Intelligence》：Federated learning with dynamic weighted aggregation for multi-crop disease detection: a hybrid CNN-transformer approach

　　摘要
作物疾病对全球农业构成了重大威胁，每年造成2200亿美元的损失。这个问题可以通过在中央服务器上运行的传统机器学习方法来解决，但面临两个主要障碍：农民拒绝提供他们的农业信息，以及作物疾病在不同地区的分布不均。本文介绍了一个联邦学习框架，该框架通过结合混合CNN-Transformer架构和动态加权聚合的新方法来应对这些挑战。我们的系统使用了EfficientNet-B0和MobileNetV2轻量级模型，这些模型结合了MobileViT块以及CBAM和ESA注意力机制，从作物图像中提取详细特征。创新之处在于动态聚合策略“AdaClass”——自适应类感知聚合，它使用类别F1分数来识别每轮表现不佳的类别，并强调在具有挑战性疾病类别上表现更好的客户端。这种方法有助于促进不同疾病类别之间的性能平衡。这特别有利于那些难以检测的疾病类别。在两个标准数据集上的广泛实验显示出了显著的结果：提出的EfficientNet-B0混合模型在PlantVillage数据集上的准确率为99.32%，在CCMT数据集上的准确率为92.5%，而MobileNetV2的准确率分别为99.17%和91.4%。重要的是，这些模型在边缘设备上的部署效率仍然很高，MobileNetV2混合模型仅需要7.63 MB的存储空间，并且能在41.2毫秒内处理图像。

引言
在现实世界的农业中实施基于AI的作物疾病检测有两个主要问题：隐私和数据异质性。农民不愿意在不同机构之间共享包含视觉信息的原始图像，因为这涉及到所有权和隐私问题。同时，疾病的发生受到地区、作物和气候条件的影响，导致数据分布高度非独立同分布（non-IID），因此在每个农场只观察到有限的子集。联邦学习（FL）通过协作训练提供了一种很好的解决方法，无需集中式数据（McMahan等人，2017年）。然而，由于农业环境的特性，这种非独立同分布问题使得模型难以实现平衡学习（Zhao等人，2018年）。大多数FL系统使用联邦平均（FedAvg），它根据本地数据集的大小按比例组合客户端模型（McMahan等人，2017年）。尽管这种方法在通信上直接且高效，但它间接偏袒了拥有较大数据集的客户端。因此，不常见或特定地区的疾病在全球更新中只起次要作用。联邦批量归一化方法之一是通过局部归一来减少分布偏移（Li等人，2021年），并且提出了多种农业FL框架来集成更高层次的架构，如Transformer和混合模型，以提高识别准确性（Dosovitskiy等人，2020年；Mehta和Rastegari，2021年）。然而，聚合仍然由数据大小或客户端的整体性能驱动，而没有考虑到始终表现不佳的疾病类别。
大多数FL方法没有积极关注全球模型一直难以处理的类别。它们也没有注意到在识别具有挑战性类别方面表现较强的客户端。因此，聚合过程往往偏爱拥有较大数据集或常见疾病类别的客户端，而具有挑战性的类别得到的关注较少。为了克服这一限制，我们提出了以下联邦聚合框架作为有针对性的解决方案，其主要贡献包括：
- 基于类别百分位数的 struggling 类别检测：通过类别级性能统计在全球范围内找到表现不佳的疾病类别。
- 专家感知的客户端权重放大：自适应聚合，以增加在具有挑战性疾病类别中表现优异的客户端的影响。
- 跨数据集泛化研究：评估多个农业数据集，以确保在异构环境下的鲁棒性，并独立评估每种作物，以隔离数据特定的异质性。

相关工作
深度学习在作物疾病检测中的应用
深度学习模型已成为从视觉数据中识别和诊断作物疾病的一种广泛使用的方法。最近的研究表明，卷积神经网络（CNN）可以直接从叶片图像中高精度地分类作物疾病（He等人，2016年）。像ResNet、EfficientNet和MobileNet这样的CNN模型使作物疾病检测变得更加容易，从而训练出更复杂的视觉模式。这些CNN模型可以检测局部纹理变化，包括斑点、颜色变化和病变，这些都可能表明叶片图像中的感染。通过添加注意力机制（如卷积块注意力模块（CBAM）进一步改进了这些深度学习模型，这些机制增强了特征图中的特征表示，同时减少了不相关背景区域的影响（Woo等人，2018年）。进一步的研究表明，当作物疾病症状较弱、较小或在类别间视觉相似时，基于注意力的CNN表现出良好的性能（G?k等人，2024年；Yang等人，2023年）。这对于正确的疾病识别非常重要，因为类别之间的差异仅通过细微的视觉线索来区分。标准CNN可以有效地学习图像内的局部模式，而不是全局上下文表示（Howard等人，2017年，2019年）。基于Transformer的模型通过使用自注意力来关联空间分离的区域来解决这个问题。视觉Transformer（ViT）将图像分割成一系列补丁，类似于句子中的标记，并通过注意力机制学习全局关系（Dosovitskiy等人，2020年）。然而，这些Transformer需要大量的训练数据和更多的计算能力来学习特征表示。在研究中提出了几种混合架构来平衡准确性和效率。例如，MobileViT结合了卷积层和轻量级Transformer块，以捕获图像中的局部细节和全局上下文。资源有限的边缘设备可以更有效地使用这些模型。Mamba Kabala等人（2023年）、Fahim-Ul-Islam等人（2024年）和Sharma等人（2024年）的研究报告了在多作物疾病检测和疾病严重程度评估中使用了混合CNN–Transformer模型，并且在不同作物和环境中的泛化能力得到提高。尽管它们的性能有所提高，但这些模型大多仍在集中控制的环境中进行训练，所有数据都上传到一个服务器上。

农业中的联邦学习
联邦学习（FL）是一种分布式环境，多个客户端在共享模型上进行协作，同时保持数据本地化，而不将原始数据发送到中央服务器（McMahan等人，2017年）。每个客户端在其本地数据上训练模型，然后只将更新后的参数传输到中央服务器，中央服务器将它们聚合成新的全局模型。这种方法非常适合农业应用，因为农场级别的数据可能包含有关作物管理实践、作物健康和估计产量的敏感信息。联邦平均（FedAvg）是最常用的联邦学习聚合技术。在FedAvg中，全局模型参数使用客户端模型的加权平均值进行更新，每个客户端的权重与其本地数据集的大小成正比。当客户端之间的数据分布不同时，FedAvg的性能会下降（Choubey和Divya，2024年；Hari和Singh，2025年）。这种非独立同分布情况在农业农场中很常见且合理，因为作物疾病因地区、气候条件和作物品种而异。已经提出了一些方法和模型来应对数据集中的这种异质性。FedBN是一种FL算法，通过保留批量归一化参数在本地处处理特征分布的异质性（Li等人，2021年）。其他一些现有的FL方法根据模型的验证性能修改聚合权重，而不仅仅是依赖数据集的大小（Li T.等人，2020年；Karimireddy等人，2020年）。这些策略提高了训练稳定性，但主要优化了全局准确性。已经进行了针对资源有限农村环境下的通信高效FL设计的研究。轻量级联邦传输学习旨在在保持可接受准确性的同时降低计算成本（Choubey和Divya，2024年）。基于熵或参与调度的客户端选择策略在带宽有限和连接不稳定的条件下表现更好（Lai等人，2021年；Herath等人，2024年）。最近的工作将基于Transformer的视觉模型与FL结合用于分布式作物疾病检测（Mamba Kabala等人，2023年）。与传统卷积联邦模型相比，这些方法通常实现更高的识别性能。尽管全局模型的整体准确性有了显著提高，但这些模型很少检查哪些疾病类别在各个客户端中一直被错误分类。因此，在FL的聚合过程中，罕见或特定于地区的疾病可能会被低估。解决这一差距需要将类别级性能纳入聚合过程的方法，而不仅仅是依赖于数据量或整体准确性。

表1和表2共同突出了两个重要观察结果。首先，尽管联邦学习越来越多地应用于作物疾病检测，但文献中的大多数研究调查使用的聚合方案都是标准聚合方案，如FedAvg或其变体，主要关注收敛稳定性。这些方法主要基于数据集大小或优化正则化来更新客户端权重，而没有结合显式的个别类别级性能信息。结果，在全局模型更新过程中，罕见或特定于地区的疾病可能会被低估。

表1 方法 年份 类别感知 自适应方法
FedAvg (McMahan等人，2017) 2017 否 否 数据比例权重
FedProx (Li T.等人，2020) 2020 否 否 近似正则化
SCAFFOLD (Karimireddy等人，2020) 2020 否 是 控制变量
FedNova (Wang等人，2020) 2020 否 是 标准化平均
FedDyn (Acar等人，2021) 2021 否 是 动态归一化
AdaClass (提议) 2025 是 是 面向类别的专长

联邦学习聚合方法的比较
- 类别感知：明确地模拟每个类别的性能。
- 自适应：动态调整聚合权重。

表2 作者 年份 数据集 模型/方法指标 局限性
Kabala等人 2023 PlantVillage（38个类别） 使用FedAvg的CNNs（ResNet50、MobileNetV2、ViT） 准确率，训练时间 对FL超参数敏感；ViT计算量大
Aggarwal等人 2023 水稻数据集（5,932张图像） 轻量级FL与EfficientNetB3 + 密集分类器 准确率（97%–99%） 在强非独立同分布条件下性能下降
Islam等人 2024 小麦疾病（Kaggle数据集） CoAtNet + Swin Transformer使用FedMax聚合 准确率、精度、召回率、F1 取决于数据多样性；剪枝可能会减少特征
Choubey和Divya 2024 多客户端水稻数据集 轻量级联邦传输学习（LFTL） 准确率、隐私分数 面临类别不平衡和疾病种类多
Herath等人 2025 MNIST、CIFAR-10/100 动态数据队列FL（基于熵的加权） 准确率、收敛率 非农业特定
Chorny等人 2025 多站点水稻数据集（10,553张图像） FedAvg、q-FedAvg、PT-FedAvg 对独特疾病客户的性能较差
Hari和Singh 2025 PST（50k）、BCG（40k）数据集 智能权重传输（FDL-IWT）使用Dirichlet加权 准确率（95%–97%） 设备异质性；图像噪声
Li等人 2025 MetaFruit、有害动物数据集 VLLFL（视觉-语言FL）使用提示调整 mAP、通信成本 受基础VLM知识的限制
Zubair等人（2025） 2025 PlantVillage、PlantDoc、FieldPlantEnsemble CNN（InceptionResNetV2、MobileNetV2、EfficientNetB3） 准确率、F1 计算成本高；无隐私处理
Yang等人 2023 AI Challenger 2018 三分支Swin Transformer（集中式） 准确率（99%）、F1 严重性混淆；仅集中训练

比较最近的联邦学习和深度学习方法用于作物疾病检测（2023–2025年）

其次，虽然混合CNN–Transformer架构在集中式作物疾病分类环境中表现出强大的性能，但它们与异质性感知的联邦学习的集成仍然有限。表2中的大多数现有联邦方法主要优化全局模型准确性和通信效率，但没有明确解决非独立同分布类别分布和客户端专长之间的相互作用。相比之下，本研究提出的AdaClass作为一种类感知的自适应聚合机制，可以识别全球表现不佳的疾病类别，并动态调整来自这些类别中表现出专长的客户端的权重。通过结合边缘高效的混合建模和在非独立同分布条件下的有针对性的聚合，该方法解决了部署限制和分布式农业环境中的类别不平衡问题。

方法论
我们的方法通过联邦学习系统解决多作物疾病检测问题。这项工作独立地在玉米和番茄作物数据集上评估了提出的FL聚合方法AdaClass，证明了在非独立同分布条件下的稳定行为。这保护了农民数据的隐私，同时实现了模型的协作改进。该系统通过在各个农场训练轻量级混合模型，然后通过智能聚合策略结合它们的知识来工作。

问题构建
我们考虑了一个具有K个客户端（农场）的联邦学习场景，每个客户端都持有本地数据集Di={(xj,yj)}nij=1Di={(xj,yj)}j=1ni和作物疾病标签yj ∈ {1, …, C}。客户端通过聚合本地更新来协作训练全局模型θ，而无需共享原始数据。

目标
找到最优参数θ*，最小化：θ?=argminθK∑i=1wiLi(θ)θ*=argminθ∑i=1KwiLi(θ)
(1)
受限于：∑Ki=1wi=1∑i=1Kwi=1 和 wi ≥ wmin

挑战
大多数农业数据是异质的（非独立同分布），不同地区存在不同的疾病类型。FedAvg使用固定的权重wi=ni∑jnjwi=ni∑jnj，这完全基于数据集的大小，忽略了某些客户端或参与者可能在特定疾病上表现更好。

我们的解决方案AdaClass通过以下方式动态计算聚合权重：
- 使用置信度加权F1分数来识别全局模型表现不佳的疾病类别：?F(c)←∑Ki=1niNF(c)iF?(c)←∑i=1KniNFi(c)，对于每个类别c，其中N=∑jnjN=∑jnj。
- 优先考虑在全局模型表现不佳的特定类别上表现出色的客户端。
- 平衡数据比例和基于性能的权重。

完整的自适应权重计算详见算法1。

算法1 AdaClass：自适应类别感知聚合。数据集和实验设置

PlantVillage
PlantVillage是一个公开可用的数据集，包含54,305张实验室拍摄的图像，涵盖了14种作物的38种疾病类别，背景均匀。该数据集显示不同类别之间存在中等程度的不平衡（Hughes和Salathe，2015年）。

CCMT数据集（玉米子集）
CCMT是一个公开可用的数据集，包含来自加纳地区的24,881张田间拍摄的图像，是四种作物（腰果、木薯、玉米和番茄）的真实世界农业基准。在这项研究中，我们重点关注玉米和番茄子集，分别包含5,358张和5,805张原始图像，以及7种和5种疾病类别（Kwabena等人，2023年）。

在训练过程中，数据集中提供的增强样本被纳入以提高泛化能力并减少类别不平衡。增强和目录合并后的最终玉米数据集包含24,551张图像（19,426张用于训练，5,125张用于测试），番茄子集同样包含27,168张图像（21,723张用于训练，5,445张用于测试）。

类别分布和不平衡处理
玉米子集显示出明显的类别不平衡，如表3所示。少数类别（包括健康状态（4.24%）和草地贪夜蛾（5.80%）的代表比例低于主要类别（如叶枯病（20.48%）和条纹病毒（20.56%）。番茄子集也显示出不平衡现象。代表性较低的少数类别包括健康状态（9.10%）和卷叶病（9.39%）。主要类别包括叶斑病（42.60%）和叶枯病（23.68%）。

表3 疾病类别
训练 测试 总计 比例 (%)

玉米（7个类别，10个客户端）
草地贪夜蛾 1,140 284 1,424 5.80
蝗虫 2,575 411 2,986 12.16
健康状态 830 211 1,041 14.24
叶甲虫 3,789 950 4,739 19.30
叶枯病 4,025 1,004 5,029 20.48
叶斑病 3,024 1,261 4,285 17.45
条纹病毒 4,043 1,004 5,047 20.56
总计 19,426 5,125 24,551 100.00

番茄（5个类别，10个客户端）
健康状态 2,000 500 2,500 9.10
叶枯病 5,200 1,309 6,509 23.68
卷叶病 2,050 532 2,582 29.39
叶斑病 9,373 2,340 11,713 42.60
菌核病 3,100 764 3,864 14.06
总计 21,723 5,445 27,168 100.00

CCMT数据集：玉米和番茄子集的训练-测试类别分布。基于CCMT子集的本地目录分析。两个子集都存在类别不平衡；叶斑病在番茄子集中占主导地位（42.60%），而玉米子集中的类别分布较为均匀，健康状态为少数类别（4.24%）。

为了补偿这种不平衡，实施了两种补充措施：
(1) 在线数据增强：在训练阶段动态使用随机水平和垂直翻转、旋转（±15°）、仿射变换、颜色抖动、基于CLAHE的对比度增强和高斯/双边去噪等方法，以提高数据多样性和鲁棒性。
(2) 类别加权损失：使用平衡权重方程计算类别权重：
wc = NK · nc
其中N是训练样本总数，K是类别数量，nc是类别c中的样本数量。这些权重被包含在加权交叉熵损失中，增加了对少数类别误分类的惩罚。

联邦学习设置
为了模拟分布式农业环境，我们尝试了两种设置：
3客户端设置：实验在三个客户端上进行，使用浓度参数α = 0.3的Dirichlet分布，以验证所提出的架构和算法，并在客户端之间减少疾病类别的异质性，从而将模型架构的贡献与联邦复杂性分离。
10客户端设置：训练数据被分成十个虚拟客户端，使用浓度参数α = 1.0的Dirichlet分布，从而在客户端之间创建中等至高的统计多样性。客户端之间的分布总结在表4中。平均Jensen-Shannon（JS）散度为0.490 ± 0.130，表明标签分布明显偏离均匀分布，表现出真实的非独立同分布（non-IID）行为。

表4 客户端样本 主要类别 (%) JS散度
玉米（7个类别）C0 2,043 — 0.490 4.5
C1 1,832 0.352 5
C2 2,472 0.556 4
C3 1,202 0.385 5
C4 735 0.278 5
C5 1,978 0.412 4
C6 2,346 0.623 2
C7 1,717 0.318 5
C8 1,898 0.764 4
C9 3,206 0.687 4
平均 2,043 — 0.490 4.5
标准差 707 — 0.130 1.3

番茄（5个类别）C0 2,383 0.214 3
C1 3,054 0.213 3
C2 2,046 0.052 5
C3 2,033 0.138 4
C4 2,956 0.289 2
C5 1,971 0.047 5
C6 1,930 0.281 2
C7 1,352 0.098 4
平均 2,116 — 0.147 3.7
标准差 633 — 0.092 1.1

CCMT客户端数据分布（dirichlet α = 1.0）— 玉米和番茄。JS散度：高于0.35表示高异质性。玉米表现出比番茄更强的非独立同分布行为（平均JS = 0.490），为评估AdaClass的跨作物泛化提供了互补的异质性条件。

所有10个客户端都参与每一轮，每轮包含2个时期，总共18轮。同样，在3客户端设置中，所有3个客户端都参与；每轮包含1个时期，总共30轮。在每轮中，客户端使用AdamW优化器进行本地模型训练，学习率为0.001，权重衰减为0.01，批量大小分别为32和64，分别用于训练和验证。使用包含逐步衰减的预热计划来稳定收敛。

正则化机制包括在线增强、类别加权损失、dropout（0.2）、权重衰减、梯度裁剪（最大范数=1.0）和学习率调度，以防止在较小或高度偏斜的客户端上过拟合。

FedProx近端项μ = 0.01，来自Li X.等人（2020年）推荐的标准搜索范围{0.001, 0.01, 0.1}；FedDyn正则化系数αdyn = 0.01，来自Acar等人（2021年）定义的搜索范围{0.1, 0.01, 0.001》。这两个值在所有种子上都是固定的，无需进一步调整。

模型选择
最终通信轮次（10客户端设置的第18轮和3客户端设置的第30轮）的全球模型被选为评估对象。没有应用提前停止。

随机种子
分别选择了随机种子{0,7,42,99,123}和{0,7,123}用于玉米和番茄。这些种子一致地应用于torch.manual_seed, numpy.random.seed, random.seed和Dirichlet客户端分区生成器。通过设置torch.backends.cudnn.deterministic = True和torch.backends.cudnn.benchmark = False来强制执行CUDA确定性。每种方法的Dirichlet分区都从相同的种子重新生成。这种设置确保所有聚合方法在相同的数据分布和训练条件下进行评估，从而实现对所有聚合方法的公平比较。

图像预处理和增强
为了提高图像质量和模型鲁棒性，我们在训练流程的不同阶段应用了两种互补策略。
预处理指的是在训练和推理期间一致应用于所有图像的一组确定性操作。CLAHE用于增强健康组织和病变组织之间的局部对比度。伽马校正（γ = 1.2）使图像变亮，以在昏暗的田间条件下揭示细微的疾病症状。使用双边滤波或高斯模糊进行噪声减少，以减轻传感器噪声和压缩伪影。
数据增强指的是仅在训练期间应用的随机变换，以增加数据多样性和减少过拟合。这些变换包括随机水平和垂直翻转、旋转（±15°）、仿射变换、颜色抖动和边缘锐化（强度=1.5），每个操作都以50%的概率应用。在推理期间禁用这些操作，以确保评估条件的一致性。流程的结果可以在图1中清楚地看到，该图显示了处理前后的图像预处理和增强比较。

图1 预处理前后的图像增强比较。

混合CNN-Transformer架构
提出的混合架构结合了CNNs的效率与transformers的全局建模能力，主要用于检测农业疾病。

骨干网络
图2显示了在3客户端设置中使用的两种超类骨干网络：EfficientNet-B0（Tan和Le，2019年），它在准确性和效率之间提供了最佳平衡（4.9M参数，约20MB），通过深度、宽度和分辨率的复合缩放实现；以及MobileNetV2（Sandler等人，2018年）（3.2M参数，15MB），通过倒置残差块和线性瓶颈实现轻量级部署。

MobileViT集成
根据图2中的架构，通过将局部卷积与全局Transformer注意力机制结合来集成MobileViT块。这种集成有助于通过3 × 3卷积提取局部特征，然后借助展平操作将这些特征转换为大小为2的补丁。这些补丁经过多头注意力处理以捕捉全局依赖性，随后进行重塑和1 × 1卷积操作。

局部特征提取：首先，使用标准3 × 3卷积从输入中提取局部特征。
Local_Features = Conv3×3(Input)

补丁创建：然后将得到的局部特征图展平为一个序列的扁平补丁，每个补丁的大小为2。
Patches = Unfold(Local_Features, patch_size=2)

全局特征建模：对这些补丁应用多头注意力以捕捉整个图像的全局依赖性和关系。
Global_Features = MultiHeadAttention(Patches)

最终输出生成：最后，将全局处理后的特征重塑并通过1 × 1卷积。从原始输入添加一个残差连接以形成块的最终输出。
Output = Conv1×1(Reshape(Global_Features)) + Input

注意力和分类
该架构包括两个注意力模块，即CBAM和ESA。CBAM通过顺序通道和空间注意力处理MobileViT的输出。增强后的特征进行全局平均池化，加上dropout（0.2），然后进行线性分类，如图2所示。这里的通道注意力专注于学习最具区分性的特征，而空间注意力学习强调特征图中最具信息量的区域。ESA模块补充了CBAM，通过执行平均和最大池化操作组合，提供了更强的空间感知能力。此外，ESA利用膨胀卷积进行多尺度特征提取，有利于细粒度和上下文空间信息的捕获。

模型架构
在这项工作中使用了混合CNN-Transformer设计，选择这个设计的原因是显而易见的。CNN通常擅长检测局部模式，如病变边缘和纹理，但它们难以理解整个叶片上的情况。Transformers可以做到这一点，但它们体积庞大且需要大量数据。因此，单独使用任何一个都不适用于数据和高计算资源都有限的联邦设置中的作物疾病检测。首先引入了MobileViT来弥合这一差距，因为它以一半的计算成本提供了与最先进的Transformers相同的推理能力。与标准Transformer不同，MobileViT通过卷积保持局部特征图的完整性，然后在其上进行自我注意力处理。这使得模型能够捕捉病变的细粒度细节和叶片图像的更广泛空间背景。这种组合对于疾病分类非常有用。

接下来选择EfficientNet-B0骨干网络，因为它以可控的方式同时调整深度、宽度和分辨率，而不仅仅是任意加深或加宽网络。在通过其七个MBConv阶段时，空间分辨率从112 × 112降至7 × 7，而通道深度从16增加到320，然后通过头卷积将其提高到1280通道，此时特征足够紧凑，可以有效地应用注意力，同时也具有丰富的语义含义。该模型具有4.77M参数，提供了良好的准确率。

表5 EfficientNet-B0骨干网络的层名称/类型和输出形状
| 层名/类型 | 输出形状 | 参数 | 描述 |
|--------------|-------------|-----------|-------------------------------------------|
| Input | 225 (InputLayer) | None, 225, 225, 3 | 输入图像 |
| Stem | stem_conv + BN + Swish | None, 32, 112, 112 | 初始特征提取 |
| MBConv1block1a | (MBConvBlock × 1) | None, 16, 112, 112 | |
| MBConv2block2a–2b | (MBConvBlock × 2) | None, 24, 56, 56 | |
| MBConv3block3a–3b | (MBConvBlock × 2) | None, 40, 28, 28 | |
| MBConv4block4a–4c | (MBConvBlock × 3) | None, 80, 14, 14 | |
| MBConv5block5a–5c | (MBConvBlock × 3) | None, 112, 14, 14 | |
| MBConv6block6a–6d | (MBConvBlock × 4) | None, 192, 7, 7 | |
| MBConv7block7a | (MBConvBlock × 1) | None, 320, 7, 7 | |
| Headtop_conv + BN + Swish | None, 1,280, 7, 7 | | |
| MobileViT Block | Transformer + Conv2d | None, 1,280, 7, 7 | |
| Global_Features | MultiHeadAttention(Patches) | | |
| Classification | Pool + Dropout + Linear | | |
| | | | |

总参数：4,774,167

EfficientNet-B0 + MobileViT骨干网络的层次结构如表6所示。MobileNetV2作为第二个骨干网络，与EfficientNet不同，它使用倒置残差块和ReLU6而不是复合缩放来达到相同的1,280通道特征空间。这表明MobileViT块和注意力模块在两个模型中的位置相同。不同之处在于MobileNetV2仅使用大约1.55M参数就获得了类似的特征表示，大约是Model A的三分之一。这使得MobileNetV2成为现场边缘部署的一个真正实用的选择。表6展示了MobileNetV2的层次结构、层名称/类型、输出形状和参数描述。

最终，通过添加CBAM（轻量级通道注意力机制）和ESA（扩展空间注意力机制），MobileNetV2解决了叶片上疾病症状分布不均匀的问题。锈斑或枯萎病斑可能只分布在叶片的非常小区域内，如果没有注意力机制可能会被忽略。CBAM通过逐步过滤掉无信息量的通道和背景区域，并通过通道和空间注意力来细化特征表示来处理这个问题。ESA则通过使用扩张卷积添加了另一层空间感知，帮助模型在不同疾病严重程度或光照条件下识别相同疾病的症状差异。它们总共只增加了204,900个额外参数，与性能提升相比，计算开销最小。

所有模拟都在Google Colaboratory和Kaggle Notebooks上运行。Colaboratory环境提供了配备13 GB RAM的Intel Xeon CPU和16 GB VRAM的NVIDIA Tesla T4 GPU。Kaggle Notebooks提供了Intel Xeon CPU、最多30 GB RAM以及配备了16 GB VRAM的NVIDIA Tesla T4 GPU。两个平台都使用基于Linux的Python环境。

AdaClass算法（算法1）在聚合过程中根据两个互补因素动态修改每个客户的输入：（i）客户数据库中的本地训练数据量；（ii）客户是否能够正确分类每种疾病，这目前对全局模型来说是一个挑战。该算法分为两个阶段：

**阶段1（热身）**：在所有初始热身轮次中执行标准的FedAvg聚合。在训练初期，由于模型仍在学习最基本的特征描述，性能指标不稳定。此处使用自适应加权可能会放大噪声信号，导致聚合决策不可靠。这个热身阶段确保了在开始自适应重新加权之前指标的稳定估计。

**阶段2（自适应聚合）**：当模型稳定后，动态增加聚合权重，以确保表现良好的客户能够被选为最重要的，这些客户在全局上对表现较差的疾病类别有较好的处理能力。算法逐步进行工作：

1. **识别表现不佳的类别**：在每轮通信后，计算所有客户K中每个疾病类别的平均F1分数。设F(c)i表示客户i在类别c上取得的F1分数，ni表示客户i的训练样本数量，N=∑Kj=1nj表示总样本数量。类别c的置信加权全局F1分数为：?F(c)=K∑i=1niNF(c)i。(2)
2. **基于数据比例的加权**：确保数据量较大的、更可靠的客户对全局类别级别的估计贡献更多。这减少了数据稀疏客户带来的噪声，因为这些客户的每个类别F1估计可能不稳定。当平均性能落在最低的τ = 0.25百分位数内时，将类别识别为表现不佳的类别：L={c∣?F(c)≤P25(?F)}。(3)
3. **基于数据比例的加权**：与FedAvg一致，为每个客户计算数据比例权重，如下所示：wdatai=ni∑Kj=1nj。(4)
4. **基于性能的加权**：为了更好地反映每个客户处理困难疾病类别的能力，我们为每个客户计算性能分数，如下所示：pi={0.4?flowi+0.6?foveralli，如果客户在Lfioverall中有样本；否则pi={0.4·filow+0.6·fioverall，如果客户在Lfioverall中有样本}。(5)
5. **组合加权**：将基于数据和基于性能的权重合并，如下所示：wi=α?wdatai+(1?α)?wiperf，其中α = 0.7。这种方法赋予数据集大小更大的重要性（70%），同时结合了30%的性能加权贡献。实证评估表明，这种比例在稳定性和自适应专精之间提供了最佳的折中。(7)
6. **动量平滑**：应用指数移动平均平滑来防止轮次之间的波动。(8)
7. **最小权重约束**：强制执行wmin = 0.05的下限，以防止任何客户被完全排斥。(9)
8. **最终归一化**：最后将权重归一化。(10)

表7总结了AdaClass中使用的超参数。

AdaClass的计算复杂度为O(KC)，其中K是客户数量，C是疾病类别的数量。这与FedAvg的聚合步骤相同。额外的操作（如计算F1统计、识别表现不佳的类别和动量平滑）与模型训练相比增加了可以忽略不计的开销。

为了实现完全的可复现性：热身轮次固定为三轮，无论总训练轮次多少。F1计算使用scikit-learn的f1_score函数，并设置zero_division = 0来处理某些客户没有某个类别样本的情况。Softmax实现使用标准的PyTorch/NumPy softmax函数，并在指数化之前应用温度缩放。动量初始化在第一轮中是未定义的；因此，从第二轮开始应用动量。

为了评估所提出的联邦学习框架在作物疾病检测中的有效性，使用了多种定量指标和统计评估方法。这些组件提供了对模型准确性和实际部署能力的良好理解。

对于多类分类问题，我们定义TPi、TNi、FPi和FNi分别为类别i的真实阳性数、真阴性数、假阳性数和假阴性数。这些量构成了计算所有后续评估指标的基础。

**准确性**衡量所有类别中正确分类样本的总体比例。(11)
**精确度**衡量真阳性数与所有预测阳性数的比例。为了考虑类别频率的不同，我们计算加权精确度，根据每个类别的支持度（即真实样本数量）来平均类别级别的精确度。(12)
**加权精确度**根据类别支持度对这些分数进行加权。(13)
**召回率（敏感性）**衡量模型成功识别的实际阳性案例的比例。(14)
**F1分数**通过取精确度和召回率的调和平均值来结合这两个指标。(16)
**Cohen's d**是一个标准化的效应大小，用于衡量两种配对方法之间的差异。(18)
**秩双列相关系数（rrb）**是一个非参数效应大小，与Wilcoxon符号秩检验一起使用，用于衡量差异的一致性。(21)
**接收者操作特征（ROC）曲线分析**评估模型在不同决策阈值下区分类别的能力。(22)
**曲线下面积（AUC）**提供了一个总结分类器性能的单一标量值。(24)
**计算效率评估**进行了严格的计算效率分析，以评估模型在农业环境中的适用性。(25)

我们通过全面的模型尺寸分析来量化内存需求。(25)该指标直接与资源受限的边缘设备上的部署可行性相关。(25)所提出的模型在保持适合实际农业使用的分类准确性的同时实现了部署效率目标。(25)这揭示了该策略如何根据客户的专业知识、数据质量和类别分布的差异进行调整，从而提供了关于权重方案公平性和适应性的见解。通信效率：达到目标准确率阈值所需的轮数，验证了与标准FedAvg相比，智能聚合减少了通信开销（McMahan等人，2017年）。这些联合学习指标使我们能够全面评估我们的方法在避免原始数据共享的同时，跨越异构农业数据分布进行协同模型改进的能力（Kairouz和McMahan，2021年）。结果与讨论 CCMT数据集结果表8展示了不同模型在CCMT玉米数据集上的性能比较。结果表明，结合MobileViT变换器块可以持续提高性能，优于基线CNN模型。在基线架构中，ResNet-50的准确率为92.4%，而MobileNetV2基线的表现较低，为87.77%。表8模型准确率加权F1分数加权精确度加权召回率MobileNetV2（基础）87.77%0.8770.8770.877ResNet-50（基础）92.4%0.920.9230.92MobileNetV2+MobileViT91.4%0.910.9120.914EfficientNet-B0+MobileViT92.5%0.9210.9240.925ResNet-34+MobileViT90.01%0.9000.9000.900CCMT玉米数据集：模型性能比较。通过混合CNN-Transformer架构，所有模型的准确率都有所提高。EfficientNet-B0结合MobileViT获得了最佳结果，准确率为92.5%，加权F1分数也很平衡，与Resnet-50相当。MobileNetV2结合MobileViT紧随其后，准确率为91.4%。这些改进也反映在加权F1分数上，表明混合架构比标准基线模型更能处理具有挑战性的疾病类别。图3展示了不同模型在CCMT数据集上经过30轮通信后的收敛情况。Resnet50在初期轮次表现不稳定，这归因于其高参数数量，使其对非独立同分布（non-IID）数据敏感，在充分聚合之前如此。然而，混合EfficientNet-B0稳步改进，并显示出与基线Resnet-50相当的收敛性，两者都达到了大约92%的准确率。MobileNetV2虽然初期收敛较慢，但显示出持续的改进，最终轮次的准确率达到了大约91%。实验在3个客户端上进行，以验证所提出的架构和算法在控制的疾病类别异质性降低下的有效性。这有助于将模型架构的贡献与联合学习的复杂性区分开来。模型在训练和测试准确率之间的小差距表明，在联合学习设置下过拟合现象有限。PlantVillage数据集结果表9显示了PlantVillage数据集上的联合学习结果。结合MobileViT的混合EfficientNet-B0取得了99.32%的准确率，以及平衡的精确度、召回率和F1分数。ResNet-50结合CBAM（使用标准FedAvg）取得了略高的99.66%准确率，而结合MobileNetV2的混合模型达到了99.17%的准确率。这些结果证明了混合CNN-Transformer架构在分布式农业疾病检测中的有效性，EfficientNet-B0提供了出色的整体性能。图4展示了PlantVillage数据集上模型随通信轮次改进的情况，所有模型都表现出了快速提升，到最后一轮时差异很小，表明数据集的清洁、实验室控制条件使所有模型都能接近最佳性能。图4还显示了实验中模型准确率的收敛速度显著快于CCMT数据集。混淆矩阵分析图5显示了两种混合模型（EfficientNetB0和MobileNetV2）在两个数据集上的区分能力。这两种混合模型表现优异，EfficientNetB0在玉米数据子集上能够很好地区分所有7个疾病类别。MobileNetV2的表现也不错，但在3个客户端的设置中误分类情况略多。混淆矩阵中的对角线表明两种混合模型都能可靠地学习特征并区分疾病类别。接收者操作特征（ROC）分析图6显示了两种混合模型（EfficientNetB0和MobileNetV2）在两个数据集上的强区分能力。两种混合模型的AUC值均超过0.98，表明它们在区分CCMT玉米数据子集中的7个疾病类别方面表现出色。在PlantVillage数据集中，两种模型的AUC值也都超过了0.99。消融研究：基线架构与混合架构为了验证每个架构组件的贡献，我们进行了消融研究，将基线CNN模型与所提出的混合模型进行了比较。表10展示了设计选择的累积效益。从基线MobileNetV2开始，逐渐添加了MobileViT块和注意力机制（CBAM和ESA），其准确率从87.77%提高到了91.4%，提高了3.25%。同样对于EfficientNet-B0，添加MobileViT和注意力机制后，准确率从大约89.5%提高到了92.5%，提高了3%。这些改进验证了带有注意力机制的混合CNN-Transformer方法在联合学习环境中对作物疾病检测的有益性，特别是在处理具有挑战性的疾病类别时。消融研究：提出的AdaClass与现有的聚合技术为了评估所提出的自适应类别感知聚合（AdaClass）的性能，我们将其与三种广泛使用的联邦优化方法——FedAvg、FedProx和FedDyn进行了比较，使用了CCMT玉米和CCMT番茄数据集。所有实验都在相同的条件下进行，包括相同的客户端分区、相同的通信轮次、一致的优化器设置和相同的模型架构，没有引入额外的调整或增强技术，以确保比较的公平性，从而隔离了聚合方法本身的影响。总体性能比较表11和表12分别总结了四种方法在CCMT玉米和CCMT番茄数据集上的总体性能。表11方法准确率（%）宏观F1加权F1FedAvg90.43 ± 0.800.919 ± 0.0100.904 ± 0.009FedProx90.49 ± 0.680.919 ± 0.0090.904 ± 0.007FedDyn90.07 ± 0.870.916 ± 0.0130.900 ± 0.009AdaClass（提出的）90.79 ± 0.570.921 ± 0.0080.906 ± 0.006CCMT玉米数据集上的总体性能比较。表12方法准确率（%）宏观F1加权F1FedAvg92.74 ± 1.460.920 ± 0.0190.926 ± 0.016FedProx90.70 ± 1.340.900 ± 0.0170.906 ± 0.014FedDyn91.19 ± 1.360.902 ± 0.0180.910 ± 0.015AdaClass（提出的）92.98 ± 1.130.924 ± 0.0140.929 ± 0.012CCMT番茄数据集上的总体性能比较。在玉米数据集上，提出的AdaClass方法的总体准确率为90.79%，比FedDyn高出0.72%，比FedAvg高出0.36%，比FedProx高出0.30%。FedAvg和FedProx在宏观F1上持平，均为0.919，而AdaClass则领先0.921，其次是FedDyn，为0.916。在加权F1方面，AdaClass再次取得了最高值（0.906），相比之下FedAvg和FedProx分别为0.904和0.900）。AdaClass在所有三个指标上的标准差也更低。除了平均值和标准差外，我们还计算了95%的置信区间来评估运行的统计可靠性。例如，AdaClass的值为90.79 ± 0.57（CI ≈ ±0.50），而FedAvg为90.43 ± 0.80（CI ≈ ±0.70）。FedDyn和FedProx也表现出类似的趋势。这种较低的方差表明AdaClass在不同数据分区上的收敛更为可靠，并且性能稳定。由于实验室控制条件的图像复杂性较低，因此收敛速度明显更快。由于当前实验是在有限的运行次数（n = 5个种子）下进行的，我们报告了效应量度而不是p值，因为在这样的样本量下p值不可靠。效应量分析进一步证明了AdaClass在所有五个种子上的表现始终优于FedDyn，其中Cohen's d = 0.869（较大），rrb = 1.00。在与FedAvg和FedProx的比较中，效应量分别为d = 0.514和d = 0.586；rrb = 1.00，AdaClass在5个种子中的4个上表现更好。在农业部署场景中，可靠地识别所有疾病类型的方法比仅最大化平均准确率而牺牲类别平衡的方法更有价值（Shafay等人，2025年）。针对每个类别的性能分析表13和表14分别统计了四种方法在CCMT玉米和CCMT番茄数据集上每个疾病类别的F1分数，结果基于三个随机种子平均值。表13疾病类别FedAvgFedProxFedDynAdaClass秋黏虫0.981 ± 0.0060.980 ± 0.0060.979 ± 0.0060.981 ± 0.008蝗虫0.995 ± 0.0020.996 ± 0.0010.996 ± 0.002健康*0.897 ± 0.0390.896 ± 0.0420.886 ± 0.0530.898 ± 0.031叶甲0.993 ± 0.0040.991 ± 0.0020.991 ± 0.003叶枯病*0.836 ± 0.0060.832 ± 0.0090.824 ± 0.0100.836 ± 0.003叶斑病*0.807 ± 0.0230.813 ± 0.0120.805 ± 0.0150.812 ± 0.019条纹病毒0.928 ± 0.0210.928 ± 0.0120.926 ± 0.0140.935 ± 0.010宏观F10.919 ± 0.0100.919 ± 0.0090.916 ± 0.0130.921 ± 0.008CCMT玉米数据集上联邦聚合方法之间的每个类别F1分数比较。表14疾病类别FedAvgFedProxFedDynAdaClass健康0.977 ± 0.0050.969 ± 0.0030.965 ± 0.0020.980 ± 0.002叶枯病*0.905 ± 0.0290.879 ± 0.0200.896 ± 0.013叶卷曲0.925 ± 0.0080.905 ± 0.0140.904 ± 0.006枝孢叶斑病0.952 ± 0.0040.933 ± 0.0050.937 ± 0.0070.950 ± 0.004立枯病*0.841 ± 0.0630.813 ± 0.0480.809 ± 0.0730.855 ± 0.040宏观F10.920 ± 0.0190.900 ± 0.0170.902 ± 0.0180.924 ± 0.014CCMT番茄数据集上联邦聚合方法之间的每个类别F1分数比较。值报告为五个种子（42, 123, 7, 0, 99）的平均值 ± 标准差。[*] AdaClass标记为具有挑战性的类别。AdaClass在7个类别中的4个上取得了最佳或并列最佳的F1分数，并且在叶枯病（±0.003）、健康（+0.031对比FedDyn的±0.053）和条纹病毒（±0.010）上的方差最小。表14疾病类别FedAvgFedProxFedDynAdaClass健康0.977 ± 0.0050.969 ± 0.0030.965 ± 0.0020.980 ± 0.002叶枯病*0.905 ± 0.0290.879 ± 0.0200.896 ± 0.013叶卷曲0.925 ± 0.0080.905 ± 0.0140.904 ± 0.006枝孢叶斑病0.952 ± 0.0040.933 ± 0.0050.937 ± 0.0070.950 ± 0.004立枯病*0.841 ± 0.0630.813 ± 0.0480.809 ± 0.0730.855 ± 0.040宏观F10.920 ± 0.0190.900 ± 0.0170.902 ± 0.0180.924 ± 0.014CCMT番茄数据集上联邦聚合方法之间的每个类别F1分数比较。值报告为三个种子（123, 0, 7）的平均值 ± 标准差。[*] AdaClass标记为具有挑战性的类别。AdaClass在5个类别中的3个上取得了最佳F1分数，并且在立枯病（±0.040对比FedDyn的±0.073）上的方差最小，这是番茄数据集中最难的类别。尽管这些改进幅度不大，但这些趋势在多个类别和作物上的普遍性表明这些增益是系统性的，而非偶然的。例如，在玉米中的蝗虫和秋黏虫以及番茄中的叶卷曲和叶斑病在四种方法上表现出相似的性能。这些类别在所有客户端中都有很好的代表。像健康、叶枯病和叶卷曲这样的挑战性类别在玉米和番茄中提供了明确且有意义的结果。在玉米健康类别中，FedAvg的准确率为0.897，而FedDyn的表现稍差，F1分数为0.886；FedProx的表现也为0.896。AdaClass的F1分数略高，为0.898，变异幅度为±0.031，相比之下FedDyn为±0.053，显示出更高的稳定性。在番茄中，FedAvg和FedProx在四个种子中的排名均低于AdaClass。在农业部署场景中，能够可靠地识别所有疾病类型的方法比那些以牺牲类别平衡为代价来最大化平均准确率的方法更有价值（Shafay等人，2025年）。因此，无论客户端的 ??? 分布如何不均匀，全球模型都能为具有挑战性的类别提供可靠的更新。在玉米数据集上，AdaClass 的 Macro F1 分数略高，为 0.921，且变异性更低（±0.008），而 FedAvg、FedProx 的 Macro F1 分数分别为 0.919 ± 0.010 和 0.919 ± 0.009，FedDyn 的 Macro F1 分数为 0.916 ± 0.013。在番茄数据集上，AdaClass 的 Macro F1 分数同样略高，为 0.924，标准差也最低（±0.014），而 FedAvg 的标准差为 0.920 ± 0.019，FedProx 为 0.900 ± 0.017，FedDyn 为 0.902 ± 0.018。在农业环境中，如果无法正确分类诸如 Verticillium Wilt 等作物病害或 Leaf Blight 等视觉上难以辨识的病害，将会影响作物健康管理。结果表明，AdaClass 在提高具有挑战性的类别分类能力的同时，不会影响其他类别的分类性能，使联邦模型在多作物病害检测的实际应用中更加可靠。

为了了解 AdaClass 对参数 α 的敏感性，我们使用单粒种子评估了以下四种 α 值：0、0.25、0.5、0.75 和 1（FedAvg）。表 15 的结果显示，中等范围的 α 值能够产生相似的准确率。当 α 值为 1 时，AdaClass 基本上等同于 FedAvg，其 Macro F1 分数为 0.914，加权 F1 分数为 0.906，这是所有值中最低的。这表明去除基于性能的权重会对模型公平处理病害类别的能力产生影响。另一方面，当 α 值设置为 0 时，算法完全依赖于性能而忽略每个客户端的数据量，这会导致噪声较大的或数据稀疏的客户端对全局模型产生负面影响，从而降低准确率和 F1 分数。表 15 显示了不同 α 值下的准确率和 Macro F1 分数。

在种子数量为 7 的情况下，对混合参数 α 的敏感性分析显示，中间范围的 α 值能够获得较好的结果。这两种极端配置之间的性能表现相对稳定，表明 AdaClass 对微调具有较好的鲁棒性，并能在多种环境中正常工作。在所有评估的 α 值中，α = 0.7 在所有指标上都取得了最佳结果，因此被选为默认值。表 11 的三个种子对比进一步证实了这一点，AdaClass 的方差明显低于 FedAvg（±0.57 vs. ±0.80），表明自适应加权在不同数据条件下能够产生更可靠的结果。

为了进一步评估所提出的 AdaClass 算法的鲁棒性，我们分析了性能收敛情况和客户端聚合权重在多轮联邦学习中的演变。图 7 显示了 FedAvg、FedProx、FedDyn 和 AdaClass 方法在 18 轮联邦学习中的 Macro F1 分数收敛情况，显示出稳定且有意义的收敛趋势。所有四种方法都表现出稳定的收敛性，表明现有算法在后期轮次中能够逐渐改进并达到性能平台期。然而，AdaClass 在经过 3 轮预热阶段后仍持续改进，说明自适应聚合机制不会引入不稳定性或振荡行为。到第 8 轮时，AdaClass 的 Macro F1 分数达到了 0.9，而现有方法 FedAvg 和 FedProx 到第 10-12 轮才达到类似的性能，表明 AdaClass 的收敛速度更快且更可靠。此外，结果表明自适应机制的平滑发展与优化过程无缝结合。

表 11 显示了 18 轮联邦学习中 AdaClass 聚合算法的客户端权重演变情况，方法选择对最终结果有显著影响。虚线垂直线表示从预热阶段（使用 FedAvg）到自适应聚合阶段的转变，体现了明显的结构变化。

为了评估该模型在边缘设备上的适用性，我们对其模型大小和推理延迟进行了全面分析。表 16 列出了所有模型的计算效率指标。EfficientNet-B0 混合架构体积仅为 18.71 MB，平均 CPU 推理延迟为 58.2 ms（批量大小为 1，输入分辨率为 224 × 224），具有较高的计算效率。MobileNetV2 混合架构体积较小（7.63 MB），平均推理延迟为 41.2 ms，特别适合资源有限的农业边缘设备。相比之下，ResNet-50 基线架构体积较大（89.93 MB），延迟较高（181.2 ms），体现了轻量级架构的效率优势。第 95 百分位延迟指标对于实时农业监测应用尤为重要，MobileNetV2 混合架构的 P95 延迟为 83.5 ms，EfficientNet-B0 为 81.4 ms。这两种混合模型均满足交互式农业监测应用的 100 ms 延迟要求，显示出在精度和效率之间的良好平衡。

总之，本文提出了 AdaClass，这是一种采用自适应加权的联邦深度学习方法，专注于全球模型难以处理的类别，并特别关注在那些类别上表现良好的客户端。这使得所有类别的性能得到平衡。所提出的混合 CNN 架构结合了 MobileViT 和两个 CNN 模型 EfficientNetB0 与 MobileNetV2。这两种模型都较为轻量级，MobileNetV2 处理图像的速度约为 41.2 ms，占用存储空间仅为 7.63 MB；EfficientNet-B0 在 CCMT 上的准确率达到 92.5%，在 PlantVillage 上达到 99.32%。AdaClass 的关键优势在于其处理能力的稳定性——尤其是在罕见或视觉上难以区分的病害类别上，其他方法的方差较大。在玉米和番茄数据集上，AdaClass 的收敛速度更快，Macro F1 分数的变异性更低。对于挑战性较大的类别（如玉米的叶枯病和番茄的 Verticillium Wilt），AdaClass 的稳定性更好。未来，可以通过考虑实验设置仅考虑静态数据分布的局限性来扩展这项工作。在实际情况中，由于季节变化、环境和地理因素的影响，本地数据分布是动态变化的。当前方法没有涵盖这种动态数据分布，为了提高通信的可靠性，需要加强位于偏远和地理环境多样地区的联邦学习基础设施。尽管联邦学习提供了多种隐私保护优势（例如差分隐私），但在未来将此类机制纳入其中非常重要，因为现有框架尚未解决隐私保护问题。