结合多种知识源的无源主动领域自适应

《Information Fusion》:Source-Free Active Domain Adaptation with Multiple Knowledge Sources

【字体: 大 中 小 】 时间:2026年09月18日 来源:Information Fusion 17.4

编辑推荐:

   •提出了一种面向视觉语言模型辅助的无源主动域适应的融合感知主动样本选择准则。•将主动查询的样本作为语义锚点,用于目标表示的正则化校正。•设计了一种结构感知门控模块,在域偏移条件下自适应地仲裁源模型与视觉语言模型的预测结果。引言无源域适应[1], [2]将预训练的源模型适配到无

  
  • •
    提出了一种面向视觉语言模型辅助的无源主动域适应的融合感知主动样本选择准则。
  • •
    将主动查询的样本作为语义锚点,用于目标表示的正则化校正。
  • •
    设计了一种结构感知门控模块,在域偏移条件下自适应地仲裁源模型与视觉语言模型的预测结果。

引言

无源域适应[1], [2]将预训练的源模型适配到无标签的目标域,且无需访问有标签的源数据,这使得它在隐私敏感和部署受限的应用中极具吸引力。然而,源样本的缺失去除了直接监督信号,而这些监督信号本可以正则化决策边界并保持类别结构,因此在大域差异下目标适配仍然脆弱[3]。
为缓解这一问题,已有两个方向被探索。一个方向引入预训练的视觉语言模型(VLM),如CLIP[4],作为外部语义先验来补充源分类器[5], [6]。另一个方向是无源主动域适应(SFADA)[7], [8],通过查询少量目标样本进行标注以获得可靠的监督信号。主动域适应方法[9], [10]及其无源变体[7], [8]通常使用单模型准则来估计样本的信息量,如预测熵、分类边界或基于梯度的不确定性度量,近期工作进一步利用局部邻域结构来稳定估计[11]。
仍有三个问题悬而未决。(i)SFDA移除了源监督信号却未进行替代:目标结构仅从无标签数据中恢复,因此在大偏移下产生的错误会通过模型自身的伪标签被强化。(ii)VLM辅助的适配添加了知识源却未揭示融合失效的位置:在源数据不可用的情况下,没有留出信号用于校准两个预测器,因此由共同偏差导致的预测一致性无法与由可迁移语义导致的一致性相区分。(iii)主动方法仅依据单模型难度来分配预算:此类准则回答的是某个预测器认为样本有多难,而非在第二个知识源介入后有多少难度仍然留存,因此部分预算被花费在仅靠融合即可解决的样本上。这三个问题是相互耦合的:(iii)中的标注预算是唯一能同时为(i)中缺失的监督提供供给并暴露(ii)中融合失效的机制。
那么,当存在多个异构知识源时,哪些目标样本值得标注?这一问题表明,不确定性应当相对于可用的融合算子来理解,而非相对于单一模型来理解,这一观点与近期论述相一致——即传统的偶然不确定性与认知不确定性之分并不能捕捉现代学习系统中所有值得关注的量[12]。我们据此将不确定性区分为融合可消解不确定性——即预测歧义中跨模型互补性仍可能缓解的部分——与融合不可消解不确定性——即融合后仍然残留的部分。由于在无源适配中真实条件风险不可直接获取,这两种量都无法直接测量,实际目标是识别那些即使经过异构融合后歧义仍不太可能被消除的样本,如图1所示。
因此我们构建了一个可观测代理量,逐步剔除融合可消解不确定性的证据:排名归一化使两个不确定性评分在异构模型之间具有可比性;合取因子丢弃那些仅被单一预测器认为困难的样本;共享语义支撑项在两个特征空间邻域的并集上计算,丢弃那些两个模型仍然支持相同局部语义模式的样本。
图2展示了所得的框架SFADA-MKS,其由该代理量串联为三个阶段。在融合感知估值阶段,根据该代理量对目标池进行排序,并在类感知覆盖约束下查询排名靠前的样本。在锚点驱动校正阶段,从返回的标签估计类原型,并抑制每个原型残差中落在原型诱导判别子空间之外的部分,从而使查询样本修复目标几何结构而非仅仅添加监督。在结构感知仲裁阶段,逐样本融合源模型与视觉语言模型,结合决策证据与校正后几何所提供的结构证据。各阶段形成一个闭环:源模型—视觉语言模型融合的结构决定预算的分配位置,而由此产生的标注又对融合所操作的几何结构进行校正。
主要贡献总结如下:
(1)我们从融合不可消解不确定性的视角出发,形式化提出了VLM辅助的无源主动域适应问题,并提出了一种融合感知的主动样本估值策略,通过联合不确定性估计与共享语义支撑分析来抑制模型特有的可消解不确定性和共识可消解不确定性。
(2)我们开发了一个统一的异构无源主动域适应框架,将主动标注的样本作为语义锚点用于目标表示校正,并采用结构感知门控模块根据决策证据和结构证据自适应地仲裁源模型—视觉语言模型预测。
(3)在多个基准上的大量实验验证了该框架的有效性,表明在有限标注预算下,相较于现有的无源主动域适应和VLM辅助适配基线,该方法始终取得了一致的提升。
本文其余部分组织如下。第2节综述了无源域适应、主动域适应、用于样本估值的不确定性准则以及多源知识融合。第3节形式化了相对于算子的不确定性分解,并介绍了SFADA-MKS的三个核心阶段。第4节报告了在Office-Home、VisDA-C和DomainNet-126上的实验,以及消融、敏感性和可视化分析。第5节给出结论。证明、理论假设的实证审计、实现细节及复杂度分析见附录。

章节摘要

相关工作

无源域适应。SFDA将预训练的源模型适配到无标签的目标域,无需访问源数据,现有方法可分为三类。基于域重建的方法通过从目标数据中重建或近似源知识来间接利用源域信息,包括虚拟源域构建[13]、域内对抗对齐[14], [15]或域不变因子的提取[16], [17]。生成式基础模型使这……

问题设定

我们研究具有异构知识源的VLM辅助无源主动域适应。设 T={xi}i=1N 为包含 K 个类别的无标签目标域,标签集为 Y={1,?,K}。在适配过程中,有标签的源数据不可用,但两个预训练预测器可用:源域模型 θs 和视觉语言模型 θv(如CLIP)。在有限的标注预算下,仅可选择 Nq 个目标样本进行标注。我们的目标是学习一个目标……

基准测试

我们在三个广泛使用的域适应基准上评估所提方法:Office-Home[51]、VisDA-C[52] 和 DomainNet-126[43]。Office-Home包含来自4个域(Art、Clipart、Product和Real-World)共65个类别的15,588张图像,广泛用于评估中等域偏移下的跨域泛化能力。VisDA-C是一个大规模合成到真实域适应基准,包含12个物体类别,其中源域为合成渲染图像,目标……

结论

本文研究了具有异构知识源的无源主动域适应问题,并提出了SFADA-MKS框架,该框架通过评估源模型—视觉语言模型融合后仍然存留的不确定性来衡量目标样本的价值,从而将标注预算集中在仅靠融合无法自行消除歧义的位置。查询所得标签随后作为原型诱导的目标几何校正的锚点,并校准一个结构感知门控模块,逐样本仲裁两种知识源的预测。在Office-Home、VisDA-C和……

生成式AI及AI辅助技术在写作过程中的声明

在撰写本文过程中,作者使用了一种生成式AI写作助手以改善稿件的语言表达。其使用仅限于三项编辑功能:润色单句的英语语法、用词和流畅度;将最初以非正式文体起草的句子改写为符合学术科学风格的形式;以及调整段落结构,即对段内句子的排序、拆分和合并进行……

CRediT作者贡献声明

彭明泽: 撰写—审稿与编辑,撰写—初稿,验证,软件,资源,方法学,调查研究,形式化分析,数据管理,概念构思。刘希尧: 撰写—审稿与编辑。黄达: 指导监督,项目管理,概念构思。梅松竹: 指导监督。沈思齐: 撰写—审稿与编辑,指导监督。

利益冲突声明

作者声明不存在已知的竞争经济利益或个人关系可能影响本文所述工作的客观性。
彭明泽|刘希尧|黄达|梅松竹|沈思齐
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号