基于提示学习的自调节分布对齐框架SRDA：提升无监督域适应的跨域泛化能力

本文推荐：该研究针对基于提示学习的无监督域适应(UDA)方法存在的源域过拟合问题，创新性提出自调节分布对齐(SRDA)框架。通过双分支协同优化机制（自调节多模态提示分支+跨域对齐分支），实现了跨域语义对齐与预训练知识保存的动态平衡，在Office-Home等数据集上取得87.0%的显著准确率提升。

　　

亮点

(1) 首次实验揭示了基于提示学习的UDA方法中源域过拟合与目标域性能下降的内在矛盾，证明在冻结预训练参数条件下，提示向量对源分布的优化过拟合是阻碍跨域泛化的核心问题。

(2) 提出SRDA框架通过解耦多模态提示学习与跨域细粒度对齐的协同优化范式，同时实现跨域语义对齐和保持视觉语言模型(VLMs)的零样本泛化能力。

(3) 在Office-Home、Office-31和VisDA-2017三个基准跨域数据集上的大量实验验证了SRDA框架有效性，分别达到87.0%、92.6%和90.1%的分类准确率。

方法学

给定带标签的源域数据D_s={(x_i^s,y_{i^s)}和未标记目标域数据Dt={xj^t}，其中源域与目标域共享语义标签空间Y但数据分布存在显著差异(Ps(X)≠Pt(X))。SRDA框架包含两大创新模块：}

自调节多模态提示分支

• 引入三约束机制：语义一致性正则化、双域协同对比正则化和文本多样性增强

• 通过多模板文本特征正则化和零样本基线分布对齐策略，使提示向量同时编码源域判别知识和目标域可泛化特征

跨域对齐分支

• 动态双域特征库：采用滑动平均算法构建鲁棒类别原型

• 跨域协同双重注意力(CCDA)模块：通过双层注意力机制实现源域与目标域特征的交互语义校准

数据集

在三个经典UDA基准数据集进行评估：

• Office-31：包含亚马逊(A)、网络摄像头(W)和数码单反(D)三个采集环境的31类办公物品

• Office-Home：涵盖艺术图像(A)、剪贴画(C)、产品图像(P)和真实照片(R)四种视觉风格的65类家庭物品

• VisDA-2017：包含合成图像(S)和真实图像(R)两个域的12类对象识别任务

结论

SRDA框架通过双分支协同优化机制实现动态平衡，其中自调节多模态提示分支的三重约束有效缓解提示优化中的源域偏差，而配备动态特征库和CCDA模块的跨域对齐分支实现了局部语义的细粒度对齐。在三个基准数据集上的实验证明，该方法显著优于现有最先进的提示学习方法。