DirPA:基于Dirichlet先验增强的不平衡小样本作物类型分类中先验偏移的应对方法——跨越八个欧洲国家的验证

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:DirPA: Addressing prior shift in imbalanced few-shot crop-type classification

【字体: 大 中 小 】 时间:2026年09月19日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9

编辑推荐:

  针对不平衡小样本作物类型分类中由平衡训练集与长尾测试集引发的先验偏移(prior shift)问题,研究人员提出并扩展了Dirichlet先验增强(Dirichlet Prior Augmentation, DirPA)方法。该方法在训练阶段从对称Dirich

  
针对不平衡小样本作物类型分类中由平衡训练集与长尾测试集引发的先验偏移(prior shift)问题,研究人员提出并扩展了Dirichlet先验增强(Dirichlet Prior Augmentation, DirPA)方法。该方法在训练阶段从对称Dirichlet分布(symmetric Dirichlet distribution)中采样伪先验,并将其注入分类器logits,使模型学习到对多种类别先验分布具有鲁棒性的特征表征,且无需在推理阶段进行额外调整。研究人员基于包含八个欧洲国家的大规模真实数据集EuroCropsML 2.0,在多种k-shot设置下进行了系统评估。结果表明,DirPA在Cohen's kappa(κ)和总体分类精度(overall accuracy, aOA)上持续优于基线方法,尤其在低样本场景下提升显著;性能增益与数据集的结构性类不平衡程度及先验偏移强度呈正相关。此外,DirPA还通过提升父级(parent-level)类别的分类精度和F1分数,增强了层级分类可靠性,显示出跨数据集与跨架构的稳健性。
论文解读

**研究背景与目的**
气候变化的加剧使粮食安全成为联合国17项可持续发展目标之一,农业遥感任务如作物制图、产量估测等日益重要。然而,数据驱动的深度学习模型依赖大量标注样本,而作物标注数据因采集成本高、人工标注不切实际而稀缺且分布不均。小样本学习(few-shot learning, FSL)旨在以极少量样本提升目标任务性能,但传统FSL通常假设平衡的训练(支撑)集与测试(查询)集。真实农业数据却呈高度长尾分布,多数样本集中于少数几类(如小麦),大量作物类别(如欧芹)样本极少。若直接使用平衡训练集和真实不平衡测试集,会造成先验分布偏移(prior shift),即训练先验ptrain(y)与测试先验ptest(y)不一致,导致模型习得错误偏置并损害泛化能力。已有研究多在推理阶段调整类概率,而研究人员先前提出的Dirichlet先验增强(DirPA)方法在训练阶段主动处理先验偏移,但初始实验显示其在宏观指标上欠佳。为此,本研究将DirPA扩展至覆盖八个欧洲国家的大规模真实数据集,系统评估其跨数据集稳定性和操作可靠性,并分析增益与数据不平衡结构的关系。

**关键技术方法**
研究人员采用EuroCropsML 2.0数据集(2021年地块级Sentinel-2 L1C影像,标签来自EuroCrops参考数据,分类遵循HCAT分层体系)。以奥地利与德国联合作为预训练集,其余八国分别作为微调集。模型为四层Transformer编码器加线性分类头,输入为12个Sentinel-2波段(去除B10卷云波段)的时序数据。DirPA在每个训练迭代从对称Dirichlet分布Dir(α·1)采样伪先验π?(s),通过logit调整z′i←zi+τ log(π?(s))注入类别先验。对比损失函数包括交叉熵(CE)和焦点损失(FL),并加入随机过采样(ROS)基线及PRESTO架构验证跨架构泛化。数据划分采用类感知策略,确保所有类别在训练集中有样本;以验证集上的Cohen's kappa作为模型选择标准。

**研究结果**
*Belgium*:CE结合DirPA在所有k-shot设置下于kappa和准确率上均优于基线,kappa最大相对增益达33%(5-shot),100-shot仍保持10%增益;1-shot和5-shot的F1也最高。
*Estonia*:CE DirPA在kappa和准确率上恒定优于CE基线,1-shot kappa相对增益达53%,100-shot仍有9%增益;FL DirPA在多数场景下超过CE基线。
*Latvia*:FL DirPA在全部小样本任务中于kappa和准确率上大幅提升,5-shot时三项指标均改善(kappa增加41%,准确率增加44%,F1增加9%);CE DirPA在1、10、20-shot也有增益。
*Lithuania*:DirPA在几乎所有场景和损失函数下均提升kappa和准确率;FL DirPA除10-shot F1下降约7%外,其余指标均增强。
*Portugal*:结果较复杂,但CE DirPA在10-shot和20-shot、FL DirPA在10、20、100-shot实现三项指标的同时提升;父级类别也获益。
*Slovakia*:CE DirPA在k≥5时kappa和准确率显著改善,5-shot和10-shot三项指标全优;FL DirPA在所有场景下kappa和准确率优于基线。
*Slovenia*:DirPA在所有小样本场景和损失函数下一致提升kappa和准确率;父级类别指标全面提升。
*Spain*:CE DirPA在大多数场景下三项指标均有改善,仅5-shot F1微降2%;FL DirPA对kappa和准确率的提升集中在1、5、20-shot。
*CE ROS*:随机过采样仅在有限场景下获得较好F1,整体常低于CE基线,无法解决先验偏移。
*PRESTO*:在比利时、爱沙尼亚、斯洛文尼亚和西班牙,DirPA在k≤10时一致提升kappa和准确率;父级类别准确率也普遍提高。

**讨论与结论**
讨论指出,DirPA在低样本场景中通过将特征映射到(K?1)-单纯形上的密度而非硬点估计,避免了对稀疏特征过度自信,从而提升系统整体可靠性。增益大小与数据集的结构性类不平衡(如Gini系数)正相关;在比利时、斯洛文尼亚、爱沙尼亚等高Gini国家增益最大。DirPA还作为“层级稳定器”,在细粒度子类混淆时仍能正确识别父级类别,且无需在训练中显式使用层级信息。高样本场景下宏观F1有时下降,可能是对已良好分类类别的决策边界过度平滑所致,但这种代价集中在k=100,超出该方法主要面向的稀缺数据场景。FL与DirPA的交互依国家而异,无明显通用优势。
翻译研究结论:本研究提出了Dirichlet先验增强方法在地理上的扩展应用,旨在弥合平衡小样本训练集与不平衡测试数据之间的先验偏移。通过动态采样Dirichlet伪先验增强训练数据,DirPA鼓励模型学习对多种潜在类别分布稳健的特征表征,而非收敛于固定先验下的刚性点估计,从而捕获小样本情境中的不确定性。由于DirPA在微调训练阶段即已应用,推理时无需任何后续调整,这对农业从业者等非技术用户具有重要实用价值。在八个欧盟国家及多种模型架构上的评估证明了其跨数据集和跨架构的稳健性,在Cohen's kappa和总体准确率上持续改进,尤其在低样本场景下最大化系统可靠性。增益最大者通常集中在类不平衡极端(高Gini系数)的国家,表明先验偏移越严重,DirPA的正则化作用越有价值。基于真实、全面数据集划分的实验进一步表明,DirPA提升F1分数的能力依赖于模型在训练时接触所有目标类别,而非尝试泛化到零样本类别。最后,尽管该方法偶尔因决策边界过度平滑而损失部分细粒度类别性能,但显著增强了层级一致性,确保即使子类区分失败,父级土地覆盖类别仍能被正确识别。这一优异表现为未来将DirPA纳入分层作物分类框架提供了有力依据。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号