基于频率引导的泛化表示学习方法，用于跨域少样本学习

《Pattern Recognition》：Frequency-guided generalizable representation learning for cross-domain few-shot learning

本文提出FreqGRL框架，通过低频替换、高频增强和全局频率滤波解决跨域小样本学习中的数据不平衡问题，显著提升模型跨域泛化能力。中文关键字：跨域小样本学习|频率域分析|低频替换|高频增强|全局频率滤波

　　

惠思琪|周三平|邓叶|黄文丽|吴阳|王金军

国家人机混合增强智能重点实验室，中国陕西省西安市咸宁西路28号，710049

摘要

跨域小样本学习（CD-FSL）旨在在领域显著变化的情况下，仅利用少量标记样本来识别新类别。尽管最近的方法利用了有限的目标领域标记数据来提高性能，但丰富的源数据与稀缺的目标数据之间的严重不平衡仍然是有效表示学习的关键挑战。我们首次从频率空间的角度分析这个问题，并确定了两个关键挑战：（1）模型容易偏向于源数据中编码的特定领域知识，这些知识存在于源数据的低频成分中；（2）目标数据的稀疏性阻碍了高频、泛化领域特征的学习。为了解决这些挑战，我们提出了一个名为FreqGRL的新CD-FSL框架，该框架可以减轻频率空间中数据不平衡的影响。具体来说，我们引入了一个低频替换（LFR）模块，它用目标领域的低频成分替换源任务的低频成分，从而创建出更符合目标特征的新源任务，从而减少特定领域的偏见并促进泛化表示的学习。我们还设计了一个高频增强（HFE）模块，该模块过滤掉低频成分，并直接在频率空间中对高频特征进行学习，以提高跨域泛化能力。此外，还加入了一个全局频率滤波器（GFF），以抑制噪声或不相关的频率，从而在目标监督有限的情况下降低过拟合的风险。在五个标准的CD-FSL基准测试上的广泛实验表明，我们的频率引导框架取得了最先进的性能。

引言

小样本学习（FSL）使模型能够仅从有限数量的标记样例中学习新概念[1]。然而，大多数现有的FSL方法假设训练和测试数据来自同一领域——这在现实世界场景中往往是不切实际的。为了解决这个问题，最近出现了跨域小样本学习（CD-FSL），以促进跨异构领域的知识转移。

传统的CD-FSL方法在训练过程中仅依赖源领域数据，无法访问目标领域数据[2]、[3]，当目标领域与源领域存在显著差异时，性能往往会下降。为了解决这个问题，一些工作利用未标记的目标数据来减少领域差异[4]、[5]，但在罕见事件场景中获取足够的目标样本是困难的。最近的方法[6]、[7]则利用少量标记的目标样本，这在实践中更加可行和可扩展。然而，在标记目标数据有限的场景中仍然存在两个挑战：（1）源数据和目标数据集之间的显著领域差异导致模型过度依赖丰富的源数据，从而获得特定于源领域的知识，这会损害泛化性能；（2）标记目标样本的稀缺性限制了泛化领域表示的学习，并增加了过拟合的风险。

现有方法通过数据增强[8]、特征解耦[9]、对抗性学习[4]和各种形式的正则化技术[6]、[10]来解决这些问题。尽管在某种程度上有效，但这些空间域策略依赖于像素级表示，其中特定于领域的特征和领域不变的特征是纠缠在一起的。

在这项工作中，我们从频率域建模的角度来解决这个问题，这为这两种特征提供了更有希望的分离方法。不同的频率成分编码了不同的特征，其中一些特征具有泛化领域的能力[11]。通常，频率成分可以分为低频（LF）和高频（HF）信号[12]。如图1所示，LF信号主要编码特定于领域的属性，如纹理、风格和背景元素。相比之下，HF信号主要表示语义信息，如边缘和轮廓，这些信息对领域变化的敏感性较低，因此更有利于领域泛化[13]。

此外，我们评估了模型仅从LF/HF信号重建的任务的性能。如图2所示：（1）在源领域，模型从LF成分重建的任务上实现了更高的准确性，相比之下从HF成分重建的任务准确性较低。这种显著差距表明模型主要依赖于源领域的LF成分。这种依赖性可能会导致模型嵌入过多的特定于源领域的知识，从而可能阻碍对目标领域的泛化；（2）在目标领域，HF任务的准确性低于源领域，平均只有0.28，远低于源领域的0.51。这种差异表明模型难以从有限的目标领域数据中获取高频、泛化领域的知识。

基于上述分析，我们发现编码特定于领域外观因素的低频成分是导致跨域不匹配的主要因素。同时，高频结构在不同领域之间的可转移性相对更强。因此，我们试图通过减少模型对源领域低频、特定于领域信号的依赖，并促进对源领域和目标领域可转移的高频线索的更有效使用，来减轻领域偏见。

在本文中，我们提出了频率引导的泛化表示学习（FreqGRL）框架，用于减轻CD-FSL中的领域偏见。FreqGRL包括三个互补的模块：低频替换（LFR），通过用目标领域中的一致样本的低频成分替换源领域的低频成分来减少源领域偏见；高频增强（HFE），通过对中间特征图应用逐通道FFT来增强高频信号的使用，选择性地抑制低频响应并保留高频响应；以及全局频率滤波器（GFF），它自适应地重新加权频谱响应，以在目标监督有限的情况下抑制噪声并提高鲁棒性。

本文的主要贡献如下：

• •
  我们揭示了CD-FSL中频率成分的不对称使用，并确定了低频偏见和不足的高频学习是泛化的关键障碍。
• •
  我们提出了FreqGRL，这是一个新的频率引导框架，通过低频替换（LFR）减轻低频偏见，并通过高频增强（HFE）和全局频率滤波（GFF）增强泛化特征。
• •
  在四个基准测试上的广泛实验表明，FreqGRL在1-shot和5-shot CD-FSL中取得了新的最先进结果，明显优于现有方法。

章节片段

跨域小样本学习

跨域小样本学习（CD-FSL）旨在在源领域和目标领域之间存在显著领域变化的情况下实现稳健的小样本分类。根据是否可以访问目标领域数据，现有方法分为三类：无目标、未标记目标和稀疏目标。无目标方法仅依赖源数据，通过任务增强[14]、特征扰动[15]或对抗性训练[16]来模拟领域变化。在目标支持集上进行微调[17]有时

初步

问题表述。传统的CD-FSL方法仅在源数据集上训练模型

$D^s$，并在不同的目标数据集上评估它们$D^t$。在这项工作中，我们采用了一个更实际的方法，引入了一个辅助目标数据集$D^t$，在训练期间提供有限数量的标记目标领域样本。CD-FSL通常被构建为一个$T\{S,Q$样例的$S=\left(x_y\right)\mathrm{i=<mn>1</mn>}N$分类任务。每个任务$T=\{S,由一个支持集$$S\left(x_y\right)\mathrm{i=<mn>1</mn>}N$组成，每个类别有$K$个标记样本，以及

实验

本节评估了所提出的FreqGRL框架在四个CD-FSL基准数据集上的表现。我们首先详细介绍了实验设置，然后与最先进的方法进行了比较。最后，我们进行了消融研究，以评估每个组件的贡献。

结论

本文探讨了跨域小样本学习（CD-FSL）中的频率学习。我们发现，从丰富的源数据继承的低频成分和稀疏目标数据的高频成分利用不足共同阻碍了泛化。为了解决这些问题，我们提出了FreqGRL，它引入了LFR模块来跨领域替换低频成分，HFE模块仅对高频特征进行学习，以及GFF

CRediT作者贡献声明

惠思琪：写作——审阅与编辑，撰写——原始草稿，可视化，验证，软件，项目管理，方法论，概念化。周三平：验证，概念化。邓叶：监督，概念化。黄文丽：监督，概念化。吴阳：写作——审阅与编辑，验证，概念化。王金军：监督，软件，资源，调查，资金获取，概念化。

AI声明

在准备这份手稿的过程中，作者仅使用ChatGPT进行语言润色，特别是语法、拼写和格式优化。没有使用任何AI工具来生成科学内容、解释结果或得出结论。所有建议的编辑都经过作者的仔细审查，作者对最终提交的手稿负全责。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。

致谢

这项工作部分得到了国家科技重大项目（资助编号2023ZD0121300）、国家自然科学基金（资助编号62088102、12326608和62106192）、陕西省自然科学基金（资助编号2022JC-41）、中央高校基本科研业务费（资助编号XTR042021005）以及宁波市公益研究计划（资助编号2024S063）的支持。