流形与参数双重平滑的偏标记无监督领域自适应方法

《Electronics》：Dual-Smoothing over Manifold and Parameter for Partial-Label Unsupervised Domain Adaptation Yifan Pan and Yuesheng Zhu

　　

在真实世界机器学习场景中，训练数据往往仅具有弱标注，并且与部署环境存在分布失配。具体而言，当每个实例关联一个候选标签集合时，可能出现标签歧义；同时，训练与测试之间的分布偏移在实践中也十分常见。尽管偏标记学习（PLL）与无监督领域自适应（UDA）分别已被广泛研究，但二者在实际中常常同时出现。例如，在跨医院医学图像分析中，数据集可能同时呈现由于专家解释差异导致的诊断标签不一致（标签歧义）以及由成像设备或患者人口统计学差异引起的显著分布偏移。然而，偏标记无监督领域自适应（PLUDA）作为统一问题尚未得到充分关注。论文为偏标记无监督领域自适应（PLUDA）建立了统一的泛化界，并指出导致现有方法失效的三个关键局限：歧义程度、理想联合误差以及模型复杂度均未得到控制。基于这些理论洞见，研究人员提出了流形与参数双重平滑（DSMP）方法，以同时控制上述三个因素。DSMP 采用基于自适应多核再生核希尔伯特空间（RKHS）相似性的拉普拉斯平滑与候选集精炼，实现基于流形的表示平滑，以应对这三个关键局限。此外，DSMP 通过锐度感知参数平滑，利用损失景观平坦化（loss landscape flattening）在弱监督条件下保证优化稳定性。大量实验表明，DSMP 优于现有基线方法，能够从弱标注源域实现更强的跨域泛化能力。本研究为此前研究不足但在实践中十分重要的 PLUDA 问题提供了理论见解与具有原则性的解决方案。

该文发表于《Electronics》，聚焦偏标记无监督领域自适应（Partial-Label Unsupervised Domain Adaptation，PLUDA）这一复合型弱监督迁移学习问题。研究背景在于，现实机器学习任务往往同时面临两类核心困难：其一是标签歧义，即样本并不对应唯一确定标签，而只给出包含真实标签的候选标签集；其二是领域偏移，即训练阶段的源域与测试部署的目标域在数据分布上不一致。既有偏标记学习（PLL）方法通常假设训练与测试服从相同分布，而无监督领域自适应（UDA）方法则普遍建立在源域单一干净标签监督的前提上，因此二者虽各自成熟，却难以直接应对同时存在标签歧义与分布偏移的复杂场景。论文指出，若将 PLL 与 UDA 简单串联或独立组合，往往会出现误差级联：偏标记消歧不准确会污染跨域对齐目标，而跨域表示错位又会破坏标签消歧的可靠性。因此，有必要针对 PLUDA 建立统一理论分析并设计一体化方法。

论文首先从理论层面对问题进行形式化。研究人员在 PLL 与 UDA 各自经典泛化界的基础上，提出了 PLUDA 的统一泛化上界，表明目标域风险由源域候选集经验风险、假设类复杂度、歧义程度 α、跨域分布差异以及理想联合误差 γ 共同决定。该理论界揭示了现有方法失败的根本原因：一是歧义程度 α 未受控制，会通过 ¹?_1?α 机制放大与源域相关的风险项；二是理想联合误差 γ 未受控制，说明仅进行边缘分布对齐不足以实现跨域语义一致；三是模型复杂度 ?_n(?) 未受控制，在弱监督下会导致优化不稳定及过拟合。论文的重要意义正在于，它并非将 PLUDA 视为 PLL 与 UDA 的简单叠加，而是从统一泛化界出发，明确识别出该问题特有的三类失效因素，并据此构建具有理论驱动的方法框架。

为解决上述问题，研究人员提出 DSMP（Dual-Smoothing over Manifold and Parameter）框架，从表示空间与参数空间两个层面实施“双重平滑”。在体系结构上，DSMP 包含特征提取器 F_θf、分类器 C_θc 与领域判别器 D_θd。方法基础部分采用平均偏交叉熵（Average Partial Cross-Entropy，APCE）来处理源域候选标签监督，并通过对抗式领域训练削弱源域与目标域间的边缘分布差异。在此基础上，DSMP 进一步引入两类关键机制：其一是基于流形的表示平滑（Manifold-Based Representation Smoothing，MRS），其二是锐度感知参数平滑（Sharpness-Aware Parameter Smoothing，SPS）。前者主要通过自适应多核 RKHS 相似性、候选标签集精炼以及拉普拉斯式一致性约束来降低标签歧义、促进跨域语义对齐并对模型复杂度形成几何正则；后者则借鉴锐度感知最小化（SAM）思想，在统一损失上构造最坏参数扰动并进行平坦极小值优化，从而缓解弱监督与多目标联合训练带来的梯度噪声与优化冲突。

方法概括而言，研究人员主要使用了以下几项关键技术：第一，构建 PLUDA 的统一泛化界，将目标域风险分解为候选集经验风险、歧义程度 α、?Δ? 散度、理想联合误差 γ 及 Rademacher 复杂度等项；第二，在模型层面采用 APCE 与对抗式领域判别结合梯度反转层（GRL）实现基础的偏标记监督与跨域边缘对齐；第三，设计基于自适应多核 RKHS 相似性的流形表示平滑损失，并结合高置信伪标签进行候选集精炼；第四，将锐度感知参数平滑引入统一目标，通过参数扰动近似求解双层优化问题，增强弱监督场景下训练稳定性。实验使用 Office-31、Office-Home 与 VisDA-2017 三个视觉领域自适应基准，并按标准协议在源域构造偏标记候选集。

以下依据论文主体中的结果结构进行总结。

Performance on Office-31
在 Office-31 数据集上，论文分别考察了 ResNet-50 与 DeiT-B/16 两类骨干网络，并设置不同标签歧义强度 q。研究结果表明，在 CNN 骨干下，DSMP 在 q=0.2 与 q=0.4 两种设置中均显著优于现有基线，且随着歧义增强仅出现极小性能下降，说明其对偏标记噪声具有较强鲁棒性。作者特别指出，在以 Amazon 为目标域等更具挑战性的任务上，DSMP 的优势更加明显，表明该方法在较大视觉域差下仍能维持有效迁移。在 Transformer 骨干下，DSMP 获得更高的平均准确率，并保持极低方差，说明其双重平滑机制能够与更强的表示能力协同工作，而传统 UDA 方法即便迁移至 Transformer 结构，面对偏标记监督时依然表现不足。

Performance on Office-Home
在 Office-Home 数据集上，研究人员同样在 ResNet-50 与 DeiT-B/16 下进行了系统比较。结果显示，DSMP 在 12 个迁移任务上的平均精度全面领先，尤其在涉及 Clipart 域的高难度任务中提升更大。这表明 DSMP 在视觉风格差异显著的复杂跨域环境中，能够更好地实现语义一致的特征组织。使用 Transformer 骨干后，DSMP 的平均性能再次明显提升，并在绝大多数任务中取得最佳结果，证明该框架不仅适用于传统卷积网络，也可稳定迁移到视觉 Transformer 场景，体现出较好的架构泛化性。

Performance on VisDA-2017
在合成到真实的高难度 VisDA-2017 基准上，DSMP 在 ResNet-101 与 DeiT-B/16 两种骨干下均取得最佳平均表现。按类别分析，方法在几何结构复杂、跨域差异显著的类别上提升尤为明显，如 knife、skateboard、car 与 bicycle 等，说明其不仅改善整体分布对齐，而且增强了细粒度语义辨识能力。与顺序式组合方法及近期相关方法相比，DSMP 表现更均衡、优化方差更低，验证了统一双重平滑设计在极端域偏移场景中的有效性。

Cross-Dataset Analysis
跨数据集综合分析表明，DSMP 的性能增益随任务难度增加而扩大，但在相对容易的迁移设置中仍保持稳定，不表现为过拟合式提升。论文还指出，方法在多个数据集上均具有较低运行方差，这支持了 SPS 在稳定训练方面的作用。同时，DSMP 在 CNN 与 Transformer 两类骨干上均保持领先，说明方法优势并不依赖某一特定特征提取架构。相较顺序组合的 PLL+UDA 方案以及多个近期基线，DSMP 在全部基准上均展现出更强竞争力，并且文中双侧 t 检验结果支持其优势具有统计显著性。

In-Depth Method Analysis
在消融实验中，基础模型去除 MRS 与 SPS 后性能最低；单独加入 MRS 或 SPS 均可带来提升，而二者联合时取得最大增益，说明流形表示平滑与参数平滑具有互补性。超参数敏感性分析显示，DSMP 在较宽的 λ_adv、λ_MRS、批量大小与伪标签阈值 τ 范围内都保持稳定性能，说明该框架在实践中具有较好的可调性与鲁棒性。收敛实验进一步表明，相较基础模型，加入 MRS 或 SPS 都能缓解训练后期精度下降，而完整 DSMP 在训练全过程中始终维持最优表现。运行时间分析显示，尽管每步更新存在一定额外开销，但由于收敛更快，DSMP 最终具有较优总体时间效率。

Domain Alignment Analysis
论文通过 ??-distance 对域对齐质量进行辅助分析。结果显示，DSMP 获得最低的 ??-distance，说明其学习到的表示在源域与目标域之间具有更好的分布一致性。作者强调，这一指标作为可观测代理，支持方法改善跨域对齐质量，但并不直接等价于理论中的理想联合误差 γ。

Manifold Visualization
通过 t-SNE 可视化，研究人员比较了不同消融版本的潜在表示结构。结果表明，缺少 MRS 时类簇更混杂，而包含 MRS，尤其是完整 DSMP 时，类内聚集更紧密、类间边界更清晰，并且跨域样本在语义上表现出更一致的组织结构。该结果从表征几何角度支持了流形平滑促进语义对齐与标签消歧的作用。

Discussion
讨论部分指出，PLUDA 是一个兼具理论难度与现实价值的问题，常见于众包标注、网络抓取数据与弱监督跨域学习等场景。论文的核心贡献在于：一方面建立了统一泛化界，说明偏标记与领域自适应分开处理在理论上并不充分；另一方面据此提出 DSMP，通过流形与参数双重平滑，同时控制歧义程度、理想联合误差与模型复杂度三项关键因素。实验结果在 CNN 与 Transformer 架构下均验证了方法有效性，支持理论分析的正确性。论文同时指出，极端高歧义条件下流形平滑与噪声之间的关系，以及具有天然歧义标签的真实世界 PLUDA 数据集构建，仍是值得进一步深入研究的方向。

研究结论部分可译为：本文研究了偏标记无监督领域自适应问题，在该问题中，训练数据同时受到标签歧义与分布偏移的影响。通过理论分析，研究建立了统一泛化界，并揭示了三个关键限制因素：未受控制的歧义程度、理想联合误差以及模型复杂度。基于这些发现，研究人员提出了 DSMP 框架，该框架通过两类平滑策略发挥作用：（1）基于自适应多核 RKHS 相似性与候选集精炼的流形表示平滑，可同时调控上述三类因素；（2）锐度感知参数平滑，可在弱监督条件下保证优化稳定性。跨 CNN 与 Transformer 架构的大量实验表明，DSMP 优于现有方法，验证了其理论动机与方法设计的有效性。