用于特征上采样的群组大小自适应核扩展

《Image and Vision Computing》：Group-size adaptive kernel extension for feature upsampling

　　

• •
  GSAKE 从共享的内容自适应基础内核中派生出针对特定群体的内核。
• •
  群体重建能够在没有编码器引导的情况下限制通道间的干扰。
• •
  GSAKE 提高了边界的一致性，并在复杂场景中保留了细小结构。
• •
  跨任务和架构的测试证实了其即插即用的通用性。

引言

特征上采样是一种提高特征图空间分辨率的操作，对于密集预测任务至关重要[1]、[2]、[3]、[4]、[5]。它通常用于编码器-解码器框架的解码器中（图1），从高级语义特征中恢复空间细节，以满足下游应用所需的细粒度、像素级别的预测。在密集预测及相关视觉理解任务中，准确的空间和结构表示是一个共同的要求。然而，最近的性能提升主要依赖于日益专业化的网络设计和特定任务的学习策略[6]、[7]。典型的例子包括用于鸟瞰视角语义分割的几何正则化[8]、用于医学图像分割的专家混合适应[9]，以及用于遥感理解的专门监督策略、结构先验和混合架构[10]、[11]、[12]。尽管这些研究针对不同的应用场景，但它们的改进主要来自监督策略、先验知识、几何约束或架构专业化。此外，一些方法通过细化主干特征来增强边界表示[13]、[14]。相比之下，可以在不同网络架构中重用的基础操作符仍然相对较少被探索。特别是特征上采样，相比其他基础深度学习操作符，它受到的关注要少得多[15]、[16]、[17]。

最广泛使用的上采样方法是最近邻插值和双线性插值，这两种方法都因其低计算成本而受到重视。然而，它们都依赖于固定的权重。转置卷积[18]（反卷积）引入了可学习的参数，但其不均匀的内核重叠常常会产生棋盘格状伪影。

作为响应，研究方向转向了自适应的、内容感知的机制。基于内核的方法如 CAREAFe[19]、[20] 预测位置特定的重组内核，而 DySample[21] 利用通道重新校准实现隐式动态加权。FADE[22] 和 SAPA[23] 采取了不同的方法，利用编码器特征的丰富空间细节来指导解码器特征的重组。然而，在突然的物体边界周围进行准确重建仍然具有挑战性[24]，特别是对于小的或细的结构。许多内容感知内核对所有通道应用单一的共享重组内核，隐含地假设特征子空间之间的重建需求相似。然而，不同的通道组编码了异构信息，如边界、纹理和高级语义。这种多样性要求不同的空间响应。

为了解决操作符层面的这一限制，我们提出了群体大小自适应内核扩展（GSAKE），它将特征上采样表述为一个群体结构化的重建过程。一个内核预测器生成一个共享的基础内核，该内核编码了共同的重建先验，而一个可学习的内核扩展模块将其转换为针对不同通道子空间的不同但相关的内核。这种共享先验和群体特定适应的结合实现了差异化的空间响应，而无需独立地为每个群体预测一个完整的动态内核。

本文的贡献总结如下：

• •
  我们提出了 GSAKE，这是一种新颖的即插即用上采样操作符，它可以自适应地为每个通道组生成特定于该组的内核。关键在于，它无需高分辨率特征作为指导，因此比基于指导的方法具有更广泛的适用性。
• •
  为了减少通道间的干扰，我们让高效的内核预测器依赖于全局上下文来合成一个共享的基础内核，然后将其转换为特定于群体的上采样内核，并应用于不重叠的通道组以实现差异化的特征重建。
• •
  在多个架构、数据集领域和密集预测任务上的广泛评估验证了我们方法的通用性。GSAKE 在所有设置中都持续提高了性能，特别是在语义分割的边界精度方面取得了显著的提升。

本文的其余部分结构如下：第2节回顾并分类了当前的上采样方法。第3节详细阐述了所提出方法的原则和实现。第4节从定量和视觉的角度报告了实验结果。第5节讨论了该方法的局限性和未来发展方向。最后，第6节总结了核心贡献。

章节片段

相关工作

基于位置的方法。最近邻插值和双线性插值因其计算效率高而被广泛采用，每个输出像素只需要少量的算术运算。然而，这两种方法都依赖于与内容无关的插值规则。相比之下，转置卷积引入了可学习的参数来模拟特征扩展模式。为了降低其高计算成本，转置卷积通常在前面添加了一个简单的插值步骤。另一种学习方法是

方法

本节详细阐述了我们提出的 GSAKE 框架。我们首先回顾了基于内核的上采样器 CARAFE 的操作原理，以激发我们的设计选择。接着是通道解耦策略的理论推导、详细的架构描述以及全面的复杂性分析。

实验

在本节中，我们通过逐步扩大的实验协议来评估我们的方法。我们从使用 ADE20K[34] 进行的语义分割控制比较开始，以验证不同模型能力下的有效性。然后，我们将评估扩展到 ADE20K 和 PASCAL VOC[35] 的异构架构上，以排除架构特定的效应并测试跨数据集的通用性。接下来，我们将方法应用于 Synapse[36] 和 FLARE22[37] 医学数据集

讨论

设计选择分析。我们对卷积类型的消融研究表明，当内核组数量较少时，用 DSConv 替换标准卷积会导致性能显著下降。这与 BSConv[53] 中的分析一致，该分析将 DSConv 的有效性归因于内核内的相关性。当这些相关性受限时，性能会下降。我们假设性能下降是由于通道间交互减少所致

结论

我们提出了 GSAKE，这是一种通用的特征上采样重组操作符，它能缓解由于在所有通道中共享单个内容感知内核而导致的边界细节恢复不良的问题。GSAKE 将特征上采样表述为一种结构化的重建过程，它结合了共享表示和群体特定的优化，而不是对所有通道应用统一的空间重组。共享的基础内核为每个组提供了相关且一致的重建先验，同时

CRediT 作者贡献声明

Jingjing Xin：撰写——原始草案、软件、方法论、概念化。Chenglong Wu：撰写——审阅与编辑、可视化、形式分析。Geming Xue：可视化、验证、软件。Geng Liu：撰写——审阅与编辑、监督、资源。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

Jingjing Xin|Chenglong Wu|Geming Xue|Geng Liu