《Neurocomputing》：Beyond spatial alignment: Spatial-frequency mutual reconstruction for few-shot fine-grained image classification
编辑推荐：
摘要少样本细粒度图像分类旨在从极其有限的标注数据中识别新颖的子类别。近期方法通过密集特征匹配或互重建来解决空间对齐问题，取得了令人瞩目的成果。然而，其中大多数方法仅作用于空间域，且对所有频率成分和空间块一视同仁。结果，它们往往过度强调背景布局，而削弱了对细粒度识别至关重要的高
摘要
少样本细粒度图像分类旨在从极其有限的标注数据中识别新颖的子类别。近期方法通过密集特征匹配或互重建来解决空间对齐问题，取得了令人瞩目的成果。然而，其中大多数方法仅作用于空间域，且对所有频率成分和空间块一视同仁。结果，它们往往过度强调背景布局，而削弱了对细粒度识别至关重要的高频纹理线索。为了解决这一局限性，我们提出了空间 - 频率互重建网络（SFMR），该网络显式地在空间域和频率域中对特征表示进行建模。首先，局部感知特征增强（LAFE）模块将可学习的二维几何距离惩罚引入自注意力机制，有助于保留标准 Transformer 往往弱化的局部结构拓扑。其次，自适应频率解耦（AFD）模块采用离散余弦变换（DCT）和连续可学习掩码，将特征图分离为低频结构流和高频纹理流。最后，显著性加权互距离（SWMD）指标在两个流中独立计算重建误差，并利用前景感知块权重对其进行聚合。一个轻量级显著性预测器动态估计块的重要性，从而使最终距离强调有信息量的对象区域，而非背景噪声。在多个基准上的实验表明，SFMR 能有效捕捉判别性细节，并取得极具竞争力的性能。
引言
仅从少量标注样本中泛化到新颖类别的能力仍然是计算机视觉中的一个基本挑战。虽然通用少样本学习专注于识别语义上不同的物体类别，但少样本细粒度图像分类（FS-FGIC）进一步要求模型区分视觉上相似的多子类别，例如鸟类物种或车辆型号 [1], [2]。在此设置下，类间方差本身就很小，因为不同的子类别往往具有相似的全局形状和部件配置。真正的判别性线索通常细微且高度局部化，例如鸟喙的颜色或羽毛的纹理。在极端数据稀缺的情况下，这些线索进一步被视角变化、尺度变化和杂乱的背景所掩盖，使得精确的特征提取和对齐变得至关重要。
为了缓解支持集和查询集图像之间的空间对齐，近期研究已从全局图像级池化转向密集块级匹配 [3]。一个突出的分支将度量学习构建为互重建问题，其中一张图像的密集块被用于重建另一张图像的块，而重建误差作为距离度量 [4]。尽管这些方法改善了空间对齐，但基于重建的度量学习在少样本细粒度识别中仍面临三个密切相关的挑战：不可靠的空间对应、频率纠缠的表示以及无差别的距离聚合。
首先，重建质量从根本上依赖于语义相关物体部件之间的可靠对应关系。为了建模密集块的交互，许多近期方法采用自注意力来增强特征表示 [5]。然而，标准自注意力是置换不变的，并不明确阻止空间上相距遥远的块之间的交互，这可能会削弱在姿态和视角变化下对齐对应物体部件所需的局部几何拓扑 [6]。
其次，即使对应关系有所改善，密集重建通常在单个特征空间中进行，该空间联合编码了低频（LF）结构信息和高频（HF）细粒度细节 [7]。LF 成分描述粗略的物体布局和轮廓，而 HF 成分则保留了细微的判别性线索，如羽毛纹理、喙的颜色或车辆饰条。由于 LF 结构通常占据更大的空间区域且更容易重建，优化往往被这些粗略模式所主导，从而降低了局部 HF 证据的贡献，而这些证据对于细粒度识别通常至关重要。
第三，最终的重建距离通常通过对所有块的重建误差进行等权聚合来获得。然而，判别性前景区域通常仅占细粒度图像的一小部分，而背景块数量更多，且往往表现出显著的外观变化。因此，来自这些信息量较少的区域的累积重建误差可能会稀释决定类别身份的前景块的贡献 [8], [9]。
然而，仅仅抑制背景或单独对齐部件是不够的，因为这些因素是相互依赖的。为了解决这些挑战，我们提出了空间 - 频率互重建网络（SFMR），其概念如图 1 所示。SFMR 并没有引入三个独立的组件，而是将它们组织成一个统一的重建流水线。局部感知特征增强（LAFE）模块首先在特征交互期间保留局部空间拓扑，为密集匹配提供几何感知的块表示。基于这些增强特征，自适应频率解耦（AFD）模块使用二维离散余弦变换（DCT）将特征图转换到频率域，并将它们分离为 LF 结构流和 HF 纹理流，从而减少粗略布局与细微判别性细节之间的竞争。最后，显著性加权互距离（SWMD）模块在两个频率流中执行双向重建，并预测逐块的重要性分数，使有信息量的前景区域对最终距离贡献更大，同时抑制不可靠背景区域的影响。通过这种方式，SFMR 共同解决了在哪里匹配、匹配什么频率证据以及哪些重建块应主导最终指标的问题。
具体来说，我们首先引入局部感知特征增强（LAFE）模块，以在特征交互期间保留局部几何拓扑。LAFE 将连续的二维距离先验注入自注意力 logits，并使用可学习标量来自适应地控制其影响。与传统的 位置编码不同，该设计根据空间邻近性显式地正则化注意力，同时保持全局感受野。
接着，我们设计自适应频率解耦（AFD）模块以缓解频率纠缠。在通过二维离散余弦变换（DCT）将增强特征图转换到频率域后，AFD 应用可学习的连续谱掩码生成独立的 LF 和 HF 特征流。所提出的掩码不依赖固定的 低通或高通滤波器，而是在保持完全可训练的同时引入初始频率偏差，从而实现针对 不同数据集和骨干架构的适配。
最后，我们提出显著性加权互距离（SWMD）模块用于重建度量计算。SWMD 对解耦的频率流执行双向重建，并预测相对块重要性分数以指导距离聚合。SWMD 并没有对每个重建块赋予同等的重要性，而是强调对分类更具信息量的区域，从而减少而非完全消除背景主导的重建误差的影响。
本工作的主要贡献总结如下：
- •
我们提出了 SFMR，一个专为少样本细粒度分类定制的互重建框架。它明确解决了密集特征匹配中被忽视的频率纠缠、背景主导和几何丢失问题。
- •
我们引入了 LAFE 模块，该模块将可学习的二维距离惩罚整合到自注意力中，在保留全局上下文建模的同时保留局部拓扑。
- •
我们设计了一个基于 DCT 的 AFD 模块，将密集特征解耦为低频结构流和高频纹理流，从而实现更有针对性的细粒度匹配。
- •
我们制定了 SWMD 机制，利用预测的块显著性来聚合重建距离，从而抑制背景噪声并改进面向前景的相似度估计。
章节摘要
少样本细粒度图像分类
早期少样本学习（FSL）主要关注通用物体识别。基于度量学习的方法，如原型网络 [10]、匹配网络 [1] 和关系网络 [11]，学习一个嵌入空间，其中同一类的样本距离较近，而不同类的样本被分开。然而，直接将这些方法应用于细粒度图像分类（FGIC）通常性能有限，因为全局图像表示往往忽略了
方法论
在本节中，我们提出了空间 - 频率互重建网络（SFMR）。我们首先描述小样本任务设置和特征表示。接着我们介绍三个核心模块：局部感知特征增强（LAFE）、自适应频率解耦（AFD）和显著性加权互距离（SWMD）。完整框架如图 2 所示。
实验
我们在三个广泛使用的细粒度少样本基准上评估 SFMR，并将其与近期代表性方法进行比较。我们还进行消融研究以了解每个模块的贡献。此外，我们提供了涵盖特征分辨率影响、显著性的定性和定量评估以及计算复杂度的深入分析。
讨论
本节解释了 SFMR 在何时最有用以及其当前设计的局限性在哪里。实验结果表明，当分类任务同时需要可靠的局部对应关系和判别性频率证据时，SFMR 效果最佳。LAFE 提高了密集特征的几何质量，AFD 减少了粗糙结构与细微纹理之间的竞争，SWMD 减少了低重要性重建误差的影响。消融结果表明这些
结论
本文提出了 SFMR，一个用于少样本细粒度图像分类的空间 - 频率互重建框架。所提出的方法解决了密集重建的三个耦合弱点：局部几何漂移、频率纠缠和背景敏感的距离聚合。LAFE 将可学习的局部先验引入自注意力，AFD 利用自适应谱掩码将几何增强特征分离为 LF 和 HF 流，SWMD 执行显著性加权
CRediT 作者贡献声明
蒋靖宇： 写作 - 初稿、方法论、概念化。张晓涵： 写作 - 审阅与编辑、调查。黄明升： 写作 - 审阅与编辑、数据管理。朱耀华： 写作 - 审阅与编辑、验证。朱阳航： 写作 - 审阅与编辑、验证。张勇： 写作 - 审阅与编辑、监督。
利益冲突声明
作者声明他们没有已知的竞争经济利益或个人关系，这些利益或关系可能会影响本论文中报告的工作。
蒋靖宇 目前在中国科学院大学（北京，中国）攻读电子信息专业博士学位。他的研究兴趣包括计算机视觉、少样本学习、细粒度图像分类和表示学习。
蒋靖宇 | 张晓涵 | 黄明升 | 朱耀华 | 朱阳航 | 张勇
