编辑推荐:
本文提出了一种融合元学习与最优传输(OT)的创新框架L2OT,针对开放集领域泛ization(OSDG)中未知类别识别与领域偏移的双重挑战,通过“学习如何迁移分布”(how to learn to transport)的核心思想,突破了传统元学习“学习如何分类”(how to learn to classify)的局限。该方法通过负最优传输损失与不平衡传输优化策略,显著提升了模型在跨域未知样本检测中的鲁棒性,在多数据集实验中取得领先性能。
开放集识别(Open Set Recognition)
开放集识别(OSR)作为一种分类任务,旨在解决测试阶段出现训练数据中未见过的新类别的问题。传统封闭集分类假设训练与测试数据源自相同类别分布,但该假设在实际应用中常不成立。OSR方法的目标不仅是正确分类属于已知类别的测试样本,还需检测并标记那些属于未知类别的测试样本。
问题设定(Problem Setting)
假设存在多个源域D1, D2, …, DS,所有源域共享同一标签空间Cs。每个域Ds= {(xis, yis)}i=1Ns,其中Ns表示第s个域的总样本数,y可取值于Cs。同时,我们有一个指定的目标域Dt= {(xit, yit)}i=1Nt,其标签空间Ct独立。在普通领域泛化(DG)中,Cs= Ct。而开放集领域泛化(OSDG)的不同之处在于Cs? Ct,未知类别定义为Cu= Ct\ Cs。
领域泛化中的元学习(Meta-learning in DG)
训练过程中,我们将批次中的样本设为{xi, yi, di},其中yi是来自Cs的标签,di是域标签,表明样本来自Dyi。对于给定的特征提取器f,可获得对应的特征表示zi= f(xi)。我们采用元学习策略,遵循[5]将源域划分为源训练域SF= {SF1, SF2}和源测试域SG= {SG1, SG2},其中SF∪ SG= S且SF∩ SG= ?。SF*/SG*表示随机不相交的划分。
数据集(Datasets)
我们在PACS、Office-Home和Digits-DG上评估L2OT。PACS数据集包含四个域:照片(P)、艺术绘画(A)、卡通(C)、素描(S)和七个类别(如狗、大象、吉他),总计约9,991张图像。Office-Home数据集包含四个域:艺术、剪贴画、产品、真实世界和65个类别,总计15,588张图像。Digits-DG数据集包含多个子集,如MNIST、MNIST-M、SVHN和SYN,这些子集包含各种风格的数字图像。
结论(Conclusion)
本文提出了L2OT,一个融合元学习与最优传输(OT)的创新框架。与现有方法聚焦于“学习如何分类”不同,L2OT学习“学习如何迁移”,实现了源域和目标域分布的有效对齐。我们的实验表明,L2OT持续优于现有方法,凸显了其有效性和鲁棒性。L2OT当前的一个局限是其对多源域的依赖。