基于解耦全局-局部融合与几何-语义共识的鲁棒网络弱监督细粒度识别

《Neural Networks》：Robust Webly Supervised Fine-Grained Recognition via Decoupled Global-Local Fusion and Geometric-Semantic Consensus

　　

•一个用于弱监督细粒度识别的鲁棒框架。
•解耦的全局 - 局部融合模型对多粒度视觉特征进行建模。
•几何 - 语义共识在噪声下提高了样本的可靠性。
•实验在弱监督基准上验证了鲁棒性。
引言
细粒度视觉分类 (FGVC) 在从生物多样性监测到工业检查的各种现实应用中发挥着关键作用 (Bergmann, Fauser, Sattlegger, Steger, 2019, Cui, Song, Sun, Howard, Belongie, 2018, Rodner, Simon, Brehm, Pietsch, W?gele, & Denzler, Van Horn, Mac Aodha, Song, Cui, Sun, Shepard, Adam, Perona, Belongie, 2018)。然而，获取此类专门任务的大规模、高质量人工标注在专家劳动力和标注成本方面仍然极其昂贵 (Xia et al., 2019)。为了绕过这一瓶颈，弱监督学习 (WSL) 作为一种可扩展范式应运而生，利用搜索引擎和网络爬虫技术自动化数据获取。然而，网络数据集本质上存在两个交织的挑战，阻碍了鲁棒学习： (1) 严重标签噪声，包括标记错误的样本以及分布外 (OOD) 实例；以及 (2) 高类间相似性，这使得将视觉上相似的硬正样本与真正的噪声区分开来变得极其困难。这种脆弱性因深度神经网络的“记忆效应”而进一步加剧，研究表明神经网络甚至能记忆完全随机的标签 (Zhang et al., 2016)。

同时，视觉基础模型 (VFMs) 的出现，如 DINOv2 (Oquab et al., 2024)，为视觉表示学习带来了重大转变。以自监督方式训练的 DINO 模型学习到了标签无关且高质量的高密度表示，已在广泛的下行任务中表现出强大的迁移能力，包括目标检测 (Li, Zhang, Xu, Liu, Zhang, Ni, Shum, 2023, Liu, Zeng, Ren, Li, Zhang, Yang, Jiang, Li, Yang, Su, et al., 2024, Zhang, Li, Liu, Zhang, Su, Zhu, Ni, & Shum)、语义分割 (Cheng, Misra, Schwing, Kirillov, Girdhar, 2022, Hamilton, Zhang, Hariharan, Snavely, & Freeman, Oquab, Darcet, Moutakanni, Vo, Szafraniec, Khalidov, Fernandez, Haziza, Massa, El-Nouby, Assran, Ballas, Galuba, Howes, Huang, Li, Misra, Rabbat, Sharma, Synnaeve, Xu, Jegou, Mairal, Labatut, Joulin, Bojanowski, 2024) 和稠密对应 (Amir, Gandelsman, Bagon, & Dekel, Caron, Touvron, Misra, Jégou, Mairal, Bojanowski, Joulin, 2021, Zhang, Herrmann, Hur, Polania Cabrera, Jampani, Sun, Yang, 2023)。与依赖任务特定标注的传统监督骨干相比，DINOv2 捕获了内在的视觉基元，并保留了在监督训练期间未明确鼓励的细微细粒度结构。这些特性使得 DINOv2 特别适合弱监督 FGVC，在此场景下需要同时对标签噪声具有鲁棒性并对局部判别细节敏感。

在将基础模型适配到弱监督 FGVC 时，训练可行性和参数效率成为关键瓶颈。现有的双网络架构 (Bai, Zhou, Qin, Wang, Zheng, 2025, Sheng, Sun, Pei, Chen, Luo, Yao, 2024c) 通过交叉监督提高了对噪声标签的鲁棒性。鉴于 DINOv2 (Oquab et al., 2024) 等基础编码器的规模，在训练期间维护多个骨干在计算上变得不可行。冻结骨干会导致领域差异，而完全微调在计算上既昂贵又容易在噪声监督下发生灾难性遗忘。因此，我们探索了一种使用 LoRA (Hu et al., 2022) 的参数高效范式，将这些强大的先验与细粒度任务要求对齐。然而，单纯的参数适配是不够的。区分细粒度子类别进一步需要捕获全局结构和局部判别纹理之间的高阶交互。现有的高阶交互方法 (Gao, Beijbom, Zhang, Darrell, 2016, He, Chen, Liu, Kortylewski, Yang, Bai, Wang, 2022, Li, Wang, Liu, Hou, 2017, Lin, RoyChowdhury, Maji, 2015) 由于其依赖于计算昂贵的双线性运算，难以高效扩展至高维基础模型特征。

此外，FGVC 固有的狭窄决策边界对鲁棒表示学习提出了重大挑战。尽管取得了进展，大多数现有的选择方法 (Han, Yao, Yu, Niu, Xu, Hu, Tsang, Sugiyama, 2018, Li, Socher, & Hoi, Sheng, Sun, Chen, Pang, Wang, Yao, 2024b, Wei, Feng, Chen, An, 2020) 仍然基于小损失准则。这种范式假设训练损失较低的样本更可能是干净的。然而，如图 1(a) 所示，这种假设在以高类间相似性为特征的细粒度场景下往往失效。先前关于噪声标签学习的研究表明，深度网络最终可能会记忆具有虚假相关的标记错误样本 (Han, Yao, Yu, Niu, Xu, Hu, Tsang, Sugiyama, 2018, Li, Socher, & Hoi, Zhang, Bengio, Hardt, Right, & Vinyals)。因此，一些标记错误的样本可能表现出欺骗性的低损失和高语义置信度。相反，干净的硬正样本，例如具有非典型姿势或严重遮挡的样本，通常仍然难以优化，因此保留相对较高的损失。这种语义置信度与样本正确性之间的不匹配暴露了仅依赖基于损失或置信度的样本选择的局限性。同样，现有的对比学习策略 (Albert, Ortego, Arazo, O'Connor, McGuinness, 2022, Wan, Wang, Xie, Li, Huang, Chen, 2024) 试图通过扩展类边界或软化标签来提高对标签噪声的鲁棒性；然而，这种修改可能会模糊细粒度判别所需的细微类间边界。这些局限性使得有必要转向一种基于多视角共识 (Humblot-Renaux et al., 2024) 的可信识别机制，以及一种感知噪声的优化目标，该目标将噪声重新利用为构造性排斥信号以正则化决策边界。

为了解决这些挑战，我们提出了一种名为解耦全局 - 局部共识学习 (DGCL) 的新框架，该框架将特征解耦与基于共识的样本纯化相结合。具体来说，首先，我们提出了解耦全局 - 局部融合 (DGLF) 框架，该框架采用基于 LoRA 的注意力校准和 Patch 选择模块 (PSM) 从基础模型先验中提取判别区域，同时最小化参数开销，如图 2 所示。随后引入双流分解双线性池化 (FBP) 模块来计算全局空间和局部空间之间的交叉协方差，显式捕获高阶交互以解决特征纠缠。其次，为了缓解如图 1(a) 所示的确认偏倚，我们提出了几何 - 语义共识 (GSC) 策略。通过整合几何一致性与语义置信度，GSC 将样本划分为三个不同的子集：绝对干净、不确定和绝对噪声，如图 1(b) 所示。最后，制定了噪声感知监督对比 (NASC) 损失以细化决策边界，利用绝对噪声作为强制负样本来创建类别无关的排斥信号，从而促进特征空间的紧凑性。我们的主要贡献总结如下：
•我们提出了 DGLF 框架，该框架通过 LoRA 适配基础模型，并通过双流 FBP 机制捕获解耦的细粒度特征，解决了特征歧义和效率低下的问题。
•我们引入了与 NASC 损失配对的 GSC 策略。这种多视角共识机制有效地识别了可靠样本，而强制负样本挖掘将绝对噪声转化为有益的排斥信号，以增强边界判别力。
•在三个弱监督基准上的广泛实验表明，我们的方法优于完全微调和多网络 SOTA 方法，达到了 91.73% 的最高平均准确率。
部分片段
Web-FGVC 中的噪声处理
从网络抓取数据中学习细粒度视觉模型不可避免地涉及处理复杂的标签噪声，包括闭集语义混淆和开集分布外 (OOD) 图像。Web-FGVC 中现有的噪声处理方法大致可分为四个代表性方向。
早期方法主要侧重于基于统计差异过滤噪声实例。像 Jo-SRC (Yao et al., 2021) 这样的方法使用 Jensen-Shannon (JS) 散度来测量样本
方法
在弱监督细粒度视觉分类 (Web-FGVC) 中，给定一个训练集 ??={(????,?????)|??=1,?,??}，其中 xi 代表输入图像，相应的标签 ?????∈{1,?,??} 总是包含显著的噪声。核心挑战是学习一个鲁棒的分类器 fθ，能够尽管有错误标签的干扰，仍能区分类别之间的细微差异。
如图 2 所示，我们提出的名为 DGCL 的框架包括三个组件。首先，为了增强特征
实验设置
数据集：我们在三个广泛使用的弱监督细粒度基准上评估了我们的方法：Web-Bird, Web-Car 和 Web-Aircraft (Sun et al., 2021b)。遵循标准协议，直接采用来自相应基准 (CUB-200-2011, Stanford Cars 和 FGVC-Aircraft) 的嘈杂网络抓取训练集和干净测试集。Web-Bird 包含来自 200 个类别的 18,388 张训练图像，Web-Car 包含来自 196 个类别的 21,448 张图像，Web-Aircraft 包含 13,503
结论
在本文中，我们提出了解耦全局 - 局部共识学习 (DGCL) 框架用于细粒度视觉分类，旨在应对高类间相似性和包含分布内和分布外实例的复杂网络噪声的双重挑战。具体而言，DGCL 通过参数高效适配捕获解耦的全局 - 局部交互，通过多视角几何 - 语义共识消除确认偏倚，并重新利用绝对噪声
CRediT 作者贡献声明
Xinyi Guo：写作 – 审查与编辑，写作 – 初稿，可视化，验证，方法论，调查，概念化。Yiwei Lu：写作 – 审查与编辑。Tao Yan：写作 – 审查与编辑，项目行政。
利益冲突声明
作者声明，他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能被视为影响了本文报道的工作。
Xinyi Guo|Yiwei Lu|Tao Yan