CAVGO:一种基于类自适应方差引导的梯度优化方法,用于实现鲁棒的领域泛化

《Neurocomputing》:CAVGO: Class adaptive variance-guided gradient optimization for robust domain generalization

【字体: 大 中 小 】 时间:2026年01月06日 来源:Neurocomputing 6.5

编辑推荐:

  本文提出类自适应方差引导优化(CAVGO)方法,通过整合方差引导的锐度感知最小化与类自适应标签平滑,有效缓解跨域优化中的收敛不一致问题,显著提升模型在异构数据分布下的鲁棒性和迁移能力,实验验证优于现有方法。

  
林耀海|吴万汉|尤志鹏|林有庄|杨长才|林培杰|徐朝阳
福建农林大学计算机与信息科学学院,中国福建省福州市350002

摘要

在数据分布发生变化的情况下,能够保持强大泛化能力的鲁棒模型对于实际应用至关重要。识别平坦最小值是一种有效的策略,尤其是经典的锐度感知最小化(SAM)方法。然而,在领域泛化任务中,同一类别在不同领域的特征差异可能导致SAM的均匀扰动策略被梯度较大的领域-类别对所主导,从而导致收敛不一致和次优的最小值。为了解决这个问题,我们提出了类自适应方差引导优化(CAVGO)。CAVGO通过最小化领域-类别对损失的方差来自适应地调整扰动方向,实现类别级别的跨领域对齐。它还结合了一种新的梯度更新策略和类自适应标签平滑(CALS),有效减轻了对难以分类样本的偏见。通过充分利用不同领域和类别之间的统计差异,CAVGO显著提高了模型在复杂多源分布下的鲁棒性和可迁移性。在多个领域泛化基准测试上的广泛实验表明,CAVGO始终优于现有方法,展现出稳定的泛化优势和在实际应用中的巨大潜力。

引言

近年来,深度学习算法在图像分类、语音识别和自然语言处理等领域的出色表现主要得益于独立同分布(i.i.d.)数据的假设。然而,在实际数据中,这一假设经常被违反,因为目标领域的数据经常与源领域分布不同(即超出分布范围的样本)。这导致模型性能大幅下降。因此,深度学习研究中的一个关键挑战是提高模型在未见目标领域的泛化能力。
领域泛化(DG)是一种应对跨领域分布变化的关键策略,它通过在训练期间利用有限的源领域数据,使模型能够在完全未见的目标领域实现鲁棒的泛化性能。无需重新训练目标领域即可运行的能力赋予了领域泛化重要的实际潜力,而在方法设计中防止对源领域的过拟合仍然是一个关键考虑因素。为了解决源领域过拟合问题,研究人员开发了各种领域泛化方法,包括数据增强[1]、[2]、[3]、学习领域不变特征[4]、[5]、[6]和正则化技术[7]、[8]、[9],所有这些方法都展示了有希望的有效性和泛化性能。但是,一项名为DomainBed[10]的研究表明,简单的经验风险最小化(ERM)方法在各种场景中往往甚至超过了最先进的DG方法。然而,ERM仅通过最小化训练损失来优化模型参数,容易在复杂的非凸假设空间中陷入局部最小值,从而限制了其泛化性能。
在最近的研究[11]中,人们发现了损失景观的几何结构与泛化性能之间的显著相关性。基于这一发现,提出了锐度感知最小化(SAM)[12],通过在模型邻域内优化最坏情况下的损失来获得更平坦的最小值,从而提高泛化能力。尽管SAM在某些DG场景[13]、[14]、[15]、[16]中显示出有希望的结果,但我们观察到其均匀应用于所有样本的扰动策略未能考虑不同领域之间梯度分布的异质性[17]、[18],这可能导致两个关键问题:1)扰动方向与领域内优化路径不对齐:由于损失景观在源领域之间存在显著差异,均匀的扰动方向可能对一个领域有益,而对其他领域产生不利影响。2)跨领域收敛不一致。SAM在训练期间没有考虑不同领域之间的收敛速率、梯度大小和方向的差异,这可能损害整体优化稳定性和跨领域对齐。为了更直观地揭示SAM在领域变化下的收敛不一致性,我们在图1中可视化了同一类别在不同领域的损失收敛曲线。通过标准化每个领域-类别对的损失轨迹,我们可以清楚地观察到它们收敛趋势的显著差异,进一步证实了SAM在多领域优化过程中存在梯度偏差和优化不对齐的问题。
因此,充分利用领域间优化动态的异质性并相应地自适应调整扰动方向,可能会提高SAM在领域泛化场景中的性能。为了实现这一目标,将捕捉跨领域差异的类别级信息纳入模型对于提高其泛化能力至关重要,这需要协调领域间和类别间的特征,并有助于学习更细粒度的特征。因此,我们提出了一种新的领域泛化方法,称为类自适应方差引导梯度优化(CAVGO)。为了捕捉领域间和类别间的特征,我们提出了方差引导的锐度感知最小化(VGSAM)。通过引入领域-类别损失方差最小化约束,扰动方向被自适应优化,以实现类别级别的跨领域对齐,从而有效缓解领域变化问题。此外,我们引入了一种结合类自适应标签平滑(CALS)的新梯度更新策略,该策略基于类别比例设计。具体来说,在第一次梯度计算中使用标准的交叉熵损失来确保对抗性扰动方向的准确性。在第二次梯度计算中,结合CALS来通过动态调整平滑参数来减轻对难以分类样本的偏见问题。我们的主要贡献可以总结如下:
  • 1)
    我们系统地分析了SAM在领域泛化任务中的局限性,并观察到同一类别在不同领域之间的显著特征差异通常会导致领域-类别对在优化过程中收敛不一致。这种不一致性使模型趋向于次优的最小值,从而阻碍了其泛化能力。
  • 2)
    为了解决这个问题,我们提出了一种新的类自适应方差引导梯度优化方法,该方法包括两个关键组成部分:(a)方差引导的锐度感知最小化:通过引入领域-类别损失方差最小化约束,该模块自适应地调整扰动方向,以实现类别级别的跨领域对齐,有效缓解由领域变化引起的优化不稳定性。(b)类自适应标签平滑:在参数更新的第二步中结合该模块,根据类别比例动态校准标签平滑强度,有效纠正尾类和困难样本的更新偏见。
  • 3)
    为了验证所提出方法的有效性,我们在五个标准基准数据集上进行了全面实验。实验结果表明,我们的方法在领域泛化性能上取得了显著改进。
  • 部分摘录

    领域泛化

    领域泛化(DG)的基本目标是在面对与训练数据分布显著不同的新领域时实现鲁棒的泛化,尽管通常在训练期间只能访问有限的源领域数量。这一固有的限制带来了DG中的一个关键挑战:过拟合[19]。现有方法通过多种途径解决这一挑战,包括数据增强、领域不变特征学习和正则化

    方法

    对于DG任务,考虑一组M个源领域,每个领域包含个样本,总共得到个训练样本。训练目标可以表示为:其中代表样本集。结合(1),优化目标可以进一步描述为:
    样本集通常是在独立同分布(i.i.d.)的假设下构建的。然而,当存在领域变化时,这一假设变得无效。由于类别不平衡和噪声等因素

    实验设置

    为了评估我们提出方法的竞争力,我们在五个数据集上进行了实验:PACS [32](9991张图像,7个类别和4个领域)、VLCS [33](10,729张图像,5个类别和4个领域)、OfficeHome [34](15,588张图像,65个类别和4个领域)、TerraIncognita [35](24,788张图像,10个类别和4个领域)和DomainNet [36](586,575张图像,345个类别和6个领域)。我们的实验遵循DomainBed基准[10],便于与领先的领域

    结论

    本文介绍了类自适应方差引导梯度优化(CAVGO),这是一种将方差引导的锐度感知最小化(VGSAM)与类自适应标签平滑(CALS)相结合的算法。具体来说,VGSAM通过将领域-类别收敛一致性纳入SAM的扰动计算过程中,实现了高效的类别级别跨领域对齐。CALS与新的SAM梯度更新策略的结合不仅有效减轻了偏见

    CRediT作者贡献声明

    林耀海:撰写——审稿与编辑,形式分析。吴万汉:撰写——原始草稿,方法论。尤志鹏:数据整理。林有庄:可视化。杨长才:撰写——审稿与编辑。林培杰:撰写——审稿与编辑。徐朝阳:概念化。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

    致谢

    这项工作部分得到了中国福建省科学技术厅的资助(项目编号2022H0008)、莆田大学的研究项目(项目编号2024070)以及中国白茶研究所的开放研究项目(项目编号KH230409A)的支持。
    林耀海(第一作者)于2016年6月在中国西安电子科技大学获得智能信息处理博士学位。他目前是福建农林大学计算机与信息科学学院的副教授。他的研究兴趣包括图像处理、智能信息处理、无人机遥感数据分析和作物表型分析。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号