基于领域知识自适应归一化的无源跨领域小样本学习方法

《Digital Signal Processing》：Domain Knowledge Adaptive Normalization for Source-Free Cross-Domain Few-Shot Learning

针对源数据不可用和标注稀缺的跨域小样本学习难题，本文提出DKAN框架，从特征语义和分布统计两个维度创新设计：域知识学习模块通过轻量级自注意力压缩冗余信息提升特征可分性；目标自适应归一化动态融合批和实例归一化以缓解域偏移。实验表明DKAN在四个基准数据集上显著优于现有方法，尤其在跨域任务中表现突出，验证了其有效性。

　　

任黄亮|王倩|刘玉琪|邓杰|冯赛琦|李建军

中国内蒙古科技大学

摘要

现有的跨域小样本学习方法面临三个挑战：标注数据稀缺、领域差异显著以及无法获取源数据。这些限制导致了性能的大幅下降。为了解决无源跨域小样本学习中标注数据有限和目标领域分布未知的核心问题，本文提出了一种端到端的领域知识自适应归一化（DKAN）框架。该框架在两个正交维度上进行了创新设计：特征语义和分布统计。我们通过引入轻量级机制设计了领域知识学习模块（DKLM），有效压缩了冗余信息，同时增强了特征的可区分性。此外，我们应用了具有可学习门控权重的目标自适应归一化（TAN），TAN能够动态融合批量归一化和实例归一化，在小样本场景中比固定方法更灵活地适应分布差异。这有效抑制了风格噪声并减轻了协变量偏移。在BSCD-FSL基准测试的四个数据集上的全面实验验证表明，我们的方法优于现有方法，在多个数据集和评估指标上表现优异，尤其是在跨域任务中表现尤为突出。这些结果验证了我们框架的有效性，为无源跨域小样本学习研究提供了新的技术见解。

引言

在模式识别领域，模型的泛化能力仍然面临来自现实世界场景的严峻挑战。一方面，标注数据的稀缺性和类别分布的不平衡性普遍存在，使得模型难以通过大量样本来学习鲁棒特征^[1]。另一方面，由于不同的获取环境导致的数据分布变化进一步加剧了模型从训练领域到目标领域的适应难度。这种双重限制——样本稀缺和领域变化——超出了传统方法的能力范围。监督学习、迁移学习和传统的小样本学习无法处理同时缺乏足够标注和目标领域信息的场景^[1]。因此，跨域小样本学习（CDFSL）研究应运而生。

目前，跨域小样本学习研究主要集中在两个方向。一个方向是数据幻觉，即在训练阶段合成源域内的伪目标样本以提前模拟潜在的领域差异。这种方法的优点在于其直观性和易于与现有框架集成，但合成数据与真实数据之间的二次分布变化往往成为新的风险点。另一个方向是完全放弃对源域数据的访问，转向更具挑战性的无源跨域小样本学习研究：仅使用预训练模型参数和未标记的目标域数据来完成适应^[1,2]。由于在这种研究中从未访问过源域数据，因此模型无法通过逆向攻击进行重构，从而不仅降低了数据合规性和隐私泄露的风险，也更符合实际需求，特别是在涉及敏感数据的应用中^[3]。然而，在去除源域数据后，模型失去了对原始类别边界的直接观察。因此，如何从目标域的未标记样本中同时推断出类别原型和领域不变特征成为了一个新的挑战。

为了解决这一挑战，现有研究集中在三个方面。首先，对比学习框架通过自监督方法构建正负样本对，以对齐跨域特征分布^[3,4,5]。其次，课程学习策略根据样本难度逐步扩展伪标签集，减轻早期错误积累^[3,4]。第三，预训练的生成模型通过知识蒸馏将通用能力转移到小样本任务中^[6]。尽管现有方法在基准测试中表现强劲，但它们有两个关键局限性。首先，它们依赖于固定的归一化策略（批量或实例），无法适应小样本场景中支持集和查询集之间的分布差异。其次，它们缺乏提取领域知识的明确机制，为未见过的领域提供了不足的结构先验。

从信息论的角度来看，无源跨域小样本学习本质上是一个在极端信息约束下的知识转移问题。模型需要从预训练参数中提取可转移的知识表示，并在无法观察源域样本分布且目标域标注样本极其稀缺的情况下快速适应目标域的数据分布特征。这一过程涉及两个关键的信息处理组件：知识提取和分布适应。知识提取要求模型从预训练参数中识别并保留跨域通用特征表示；分布适应要求模型利用目标域的有限信息快速调整特征空间的统计特性，使提取的知识在新领域中有效发挥作用。传统方法通常将这两个组件分开处理，导致知识转移效率低下。

基于上述分析，本研究提出了DKAN，从两个正交维度来解决无源跨域小样本学习问题。在特征语义维度上，我们创新设计了领域知识学习模块（DKLM），通过固定维度压缩来提取领域不变的知识表示，同时有效压缩冗余信息并增强对未见领域的泛化能力。在分布统计维度上，我们创新应用了目标自适应归一化（TAN），利用可学习权重动态融合批量归一化和实例归一化，从而在保持类别可区分性的同时减轻支持集和查询集之间的协变量偏移并抑制风格噪声。这两种创新在特征语义和分布统计上协同作用，相比分别处理知识提取和分布对齐的传统方法具有明显优势。知识提取确保了特征质量，而分布适应确保了分布匹配；这两种机制的协同作用有利于高效的知识转移。通过这种双重创新机制的有机整合，DKAN在极端无源小样本学习约束下实现了稳健的知识转移。

相关工作

相关工作

小样本学习（FSL）旨在使用非常少量的标注样本来快速学习新类别的分类器^[7]。根据不同的学习策略，小样本学习方法主要分为三类：基于模型的方法、基于优化的方法和基于度量的方法。然而，传统的小样本学习方法通常假设源域和目标域遵循相同的数据分布，这一假设往往不成立

方法

为了解决上述挑战，我们提出了DKAN，这是一个基于IM-DCL^[3]基线的微调框架，如图1所示。值得注意的是，该框架严格遵循无源约束：它仅利用源模型的预训练权重进行初始化，不访问源域数据或依赖任何源域统计信息。DKAN采用端到端的设计理念，深入整合了领域知识学习

实验

为了验证所提方法的有效性，我们在四个广泛使用的跨域小样本学习基准数据集上进行了实验评估。具体来说，我们首先详细描述了实验设置，然后展示了评估结果并进行了深入的消融研究分析。

结论

本研究解决了无源跨域小样本学习中的核心问题，即源域数据无法获取且目标域标注数据极其稀缺。我们提出了领域知识自适应归一化（DKAN）框架，该框架从两个正交维度解决了跨域适应问题：特征语义和统计分布。DKLM基于轻量级的单头自注意力机制压缩通道维度，以提取跨域

未引用参考文献

[35]

作者贡献声明

任黄亮：研究、方法论、验证、撰写-初稿、撰写-审阅与编辑。

李建军：研究、验证、资源获取、监督。

王倩：验证。

刘玉琪：验证。

邓杰：监督。

冯赛琦：研究