特征超分辨率：跨分辨率特征增强，以实现更好的低分辨率细粒度图像分类

《Neurocomputing》：Feature super-resolution: Cross-resolution feature enhancement for better low-resolution fine-grained image classification

　　

• •
  提出了一种用于低分辨率细粒度图像分类的新型范式。
• •
  设计了一个用于细粒度细节恢复的局部特征对齐模块。
• •
  开发了一个用于维持全局语义一致性的多粒度模块。
• •
  以更低的计算复杂度达到了最先进的精度水平。

引言

细粒度图像分类 (FGIC) 指的是在共同的元类别内区分子类别的任务 [1]。由于子类别之间的小类间变异和大的类内变异，精确识别仍然是一个具有挑战性的任务。为解决这些问题，现有的细粒度图像分类方法通常依赖于高质量图像来提取细粒度的判别性特征。然而，在真实应用场景中采集的图像数据往往由于采集设备的限制、不同的观看距离和复杂的环境条件而在质量上存在缺陷，尤其是在分辨率方面。在这种情况下，细节模糊的低分辨率图像严重阻碍了传统细粒度图像分类模型提取判别性特征的能力，导致分类性能明显下降，如图 1 所示。

为应对这一挑战，低分辨率细粒度图像分类最近引起了越来越多的研究关注。核心挑战在于如何有效地从低分辨率图像中恢复和提取判别性细粒度特征。如图 2(a) 所示，一种常用的方法是采用超分辨率重建方法在分类前生成更好的图像。其基本思想是使用由高分辨率图像监督的超分辨率模型来增强低分辨率输入中的细节，从而更好地满足细粒度图像分类的需求。然而，这种方法面临两个主要挑战：(1) 超分辨率重建的局限性。 由于超分辨率过程固有的病态特性 [2]、[3]、[4]、[5]，重建的图像在粗层次上可能看起来与高分辨率图像相似，但通常在细粒度细节上存在差异。这些差异可能表现为伪影或模糊，导致输出对于细粒度图像分类不够理想。此外，超分辨率和分类任务的优化目标本质上不一致。特别是对于细粒度图像，超分辨率模型产生的"高质量"输出可能无法保留准确分类所必需的语义一致细节。这种不匹配不仅会削弱语义识别，还可能引入误导性噪声。(2) 效率问题。 加入独立的超分辨率模块会增加模型参数数量和计算开销。此外，联合训练超分辨率重建和分类任务会带来优化挑战，并可能阻碍模型收敛。

深入上述方法，尽管超分辨率过程起着至关重要的作用，但其最终目标并不是生成超分辨率图像，超分辨率图像仅作为中间步骤。具体来说，超分辨率模型由高分辨率图像监督，以恢复低分辨率输入中缺失的细节，从而有助于提取细粒度判别性特征。然而，真正的目标是要恢复与任务相关的表示，而非重建像素。因此，我们提议将超分辨率过程的重点从像素级恢复转向特征级增强，使网络能够在特征空间中直接学习判别性线索，如图 2(b) 所示。这种特征级恢复范式允许判别性信息直接在特征空间中被恢复，避免了图像级超分辨率方法固有的伪影和语义漂移问题。通过将增强从像素转移到特征，该过程与分类目标本质上保持一致，强调任务相关的语义而非视觉保真度。这种视角有效地弥合了分辨率导致的语义差距，同时在推理过程中保持了计算效率。

基于这一思路，我们引入了特征超分辨率的概念。我们明确地将该概念定义为深度特征空间中的表示增强过程，而非像素的空间上采样。这一范式将特征级恢复推广为低分辨率细粒度图像分类的统一框架。通过在高分辨率监督下增强低分辨率特征的表示质量，它既实现了局部细化，又实现了全局语义一致性。为实现这一范式，我们设计了一个跨分辨率特征增强网络 (CRFE-Net)，由两个结构相同但独立的分支组成——高分辨率信息捕获 (HRIC) 网络和低分辨率图像分类 (LRIC) 网络。在训练过程中，HRIC 提供特征级监督来指导 LRIC，后者起到类似传统超分辨率网络的作用。为确保恢复的特征在局部特征和全局语义两个层面上均与目标图像保持一致，我们进一步引入了两个关键模块：跨分辨率局部特征对齐 (CLFA) 模块和多粒度全局语义一致性 (MGSC) 模块。具体来说，CLFA 模块将特征图分割成独立的子区域，促进对高分辨率和低分辨率图像相应区域的联合训练。该模块能够有效地恢复局部细粒度判别性细节。在此基础上，MGSC 模块通过捕获输入图像更整体的表示，进一步增强了全局语义一致性。在推理期间，仅保留 LRIC 网络，其他组件被丢弃，以最大限度地减少参数数量和计算开销。在广泛使用的基准数据集上进行的广泛实验验证了 CRFE-Net 的有效性。

综上所述，我们的主要贡献如下：

• •
  我们提出了 CRFE-Net，一种新颖高效的特征超分辨率框架，用于低分辨率细粒度图像分类。通过将增强范式从像素级重建转向特征级对齐，CRFE-Net 直接学习分辨率不变的表示，显著降低了模型复杂度，并避免了传统超分辨率方法固有的语义不一致性。
• •
  我们设计了一种协同的跨分辨率增强机制，集成了两个互补模块。具体来说，跨分辨率局部特征对齐 (CLFA) 模块通过自适应子区域划分来恢复局部细粒度判别性特征。同时，多粒度全局语义一致性 (MGSC) 模块强制执行层级语义对齐。这两个模块的一致性融合通过同时确保局部细节保真度和全局语义连贯性，明确地弥合了分辨率导致的语义差距。
• •
  在三个广泛使用的细粒度基准数据集上进行的广泛实验证明了 CRFE-Net 相较于现有方法的优越有效性和效率。

章节摘要

细粒度图像分类

现有的细粒度图像分类方法 [6]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18] 主要关注于发现关键细节特征。早期方法 [8]、[19] 依赖于人工标注来定位关键区域并提取局部特征。随后，这些关键部件特征与物体级特征结合进行分类。然而，获取这些额外的人工标注需要广泛的专家知识，限制了其可行性和

方法

在本节中，我们介绍了用于低分辨率细粒度图像分类的跨分辨率特征增强网络 (CRFE-Net)。与先前在像素级别操作的超分辨率方法不同，我们的方法执行特征级增强，通过局部对齐和多级语义一致性直接指导低分辨率表示模仿其高分辨率对应项。这种特征级超分辨率范式利用

实验设置

我们在三个广泛使用的细粒度数据集上进行了实验 [56]、[57]、[58]，如表 2 所示。ResNet50 [59] 被采用为 HRIC 和 LRIC 网络的骨干网络。遵循标准实践 [29]、[30]、[31]，高分辨率图像被调整为 224 $$ 224。低分辨率图像通过双线性下采样生成，缩放因子分别为 $$ 4 和 $$ 8，得到 56 $$ 56 和 28 $$ 28 的分辨率。低分辨率细粒度图像的

结论

本文提出了一种新颖的框架 CRFE-Net（跨分辨率特征增强网络），专为低分辨率细粒度图像分类设计。CRFE-Net 通过两个关键组件进行优化：CLFA 和 MGSC。CLFA 模块通过子区域对齐机制增强判别性细节，使模型能够更精确地关注细粒度局部模式。MGSC 模块强化全局语义一致性并促进多粒度特征交互，从而

CRediT 作者贡献声明

刘浩： 写作 – 原稿，可视化，方法论，调查，正式分析，数据整理，概念化。陈振多： 写作 – 审阅与编辑，验证，监督，资源，项目管理，资金获取，概念化。白庆泽： 验证，项目管理，调查，正式分析。刘晓倩： 验证，方法论，调查，概念化。马振翔： 验证，方法论，调查，

利益冲突声明

作者声明他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

致谢

本工作部分得到国家自然科学基金资助（项目编号 62202272、62172256 和 62202278）、山东省自然科学基金（项目编号 ZR2019ZD06）以及山东大学青年学者计划的资助。

刘浩 于 2022 年获得中国山东大学软件工程学士学位，目前正在山东大学软件学院攻读软件工程硕士学位。他的研究领域包括深度学习、计算机视觉和细粒度图像分析。

刘浩|陈振多|白庆泽|刘晓倩|马振翔|罗鑫|许新顺