通过扇区卷积神经网络实现旋转不变表示学习

《Pattern Recognition》:Rotation-Invariant Representation Learning by Sector Convolution Neural Networks

【字体: 大 中 小 】 时间:2026年04月08日 来源:Pattern Recognition 7.6

编辑推荐:

  旋转卷积网络通过扇形卷积提取旋转equivariant特征,结合旋转不变编码器实现任意旋转不变性,实验验证其在图像分类和视觉里程计任务中优于基线方法。

  
林文伟|孙迅培|钟崇浩|孟海涛|陈刚|张炳贤|顾宗华
中山大学,广州,510275,广东,中国

摘要

卷积神经网络(CNN)通过利用其局部等变特性来处理平移、缩放和光照变化等变换,在具有挑战性的视觉任务中展现了出色的性能。然而,标准CNN受到固定方格内核和笛卡尔采样机制的根本限制。这种结构刚性阻碍了旋转等变特征的捕获,导致在处理不同方向的相同对象时预测结果不一致。为了解决这一限制,我们提出了RCN,这是一种新型的深度学习框架,旨在实现对抗任意旋转的不变性。RCN不依赖于旋转数据增强或旋转后的方格内核,而是采用扇形卷积模块来实现所有方向的等变特征提取。此外,旋转不变编码器结合循环填充和旋转对齐模块,确保了等变性,并使特征方向对齐,从而产生旋转不变的表示。在旋转图像分类、特征匹配和视觉里程计任务上的实验评估证实了RCN的有效性,展示了其在所有任务中的先进旋转不变性。

引言

为类内图像实现旋转不变和等变表示是计算机视觉领域的基本挑战之一。这一挑战在各种实际视觉任务中普遍存在,包括同时定位与映射(SLAM)[1]、对象分类[2]和检测[3]、基于运动的结构估计(SfM)[4]以及图像重排序[5]。为了从旋转图像中提取不变/等变特征,近几十年来提出了许多架构,从手工设计的方法到基于学习的方法。
传统方法通过基于像素分布和梯度设计的手工模式来应对这些挑战,以抵消旋转变化的影响。例如,尺度不变特征变换(SIFT)[6]通过高斯差分(DoG)金字塔来识别尺度和方向信息,从而生成不变描述符。然而,由于手工描述符的表示能力有限,这些方法在处理无纹理区域或具有重复结构的场景时表现不佳。
得益于卷积神经网络(CNN)[7]和丰富的数据,基于学习的方法的特征表示能力显著提高,表现出优于手工设计的解决方案。虽然基于CNN的方法通过平移等变卷积机制实现了对平移的不变性,但由于其固有的方形内核对几何旋转敏感,它们无法为旋转输入建立稳定的表示。如图1(底部)所示,当输入旋转时,相同感受野的方形内核会产生完全不同的响应,导致相同对象的表示不一致。一种直接的策略是通过数据增强来隐式学习旋转不变性。然而,这种增强并不总是能带来显著的性能提升。迫使网络记忆特定方向的变化会消耗大量模型容量,从而导致专门化与泛化之间的权衡。更具体地说,尽管模型在训练集中对旋转样本进行了适应,但由于数据分布的变化,其泛化到多样化现实世界场景的能力或保持对典型姿态的精度往往会受到影响。此外,数据增强不可避免地会增加训练过程的计算开销。
为了克服这些缺点,最近的研究在特征提取层面探索了架构修改,旨在将旋转感知直接嵌入网络中。Cohen和Welling [8]基于群论提出了群卷积网络(GCNN),以理论上有原则的方式捕获多个方向的特征。在此基础上,后续方法如ORN [9]、RotEqNet [10]和RIC-CNN [11]开发了动态调整卷积方向的灵活机制。这些方法通过结合旋转内核来扩展层通道,以聚合不变表示。然而,由于计算成本高昂,大多数方法仅限于离散采样(例如8个方向),无法保证完全的旋转等变性。这种稀疏采样无法覆盖连续的旋转流形,导致在实际应用中的鲁棒性较差。同时,像RF-Net [12]、CyCNN [13]和CPCCL [14]这样的方法采用极坐标系中的极坐标变换来重新构建卷积。然而,基于极坐标的方法在坐标变换过程中经常会出现插值误差和信息丢失,可能降低细粒度特征表示的质量。
在本文中,我们提出了旋转卷积网络(RCN),用于对抗任意旋转的不变表示学习。RCN不使用传统的基于方形的卷积,而是采用扇形卷积来显式建模几何旋转,无需依赖数据增强。这项工作扩展了我们的初步研究[15]。RCN采用VGG风格的架构,包括扇形卷积(SConv)模块和旋转不变编码器(RiE)模块,旨在解决旋转等变特征提取和不变表示精炼的双重挑战。SConv模块作为初始层,确保等变特征从旋转域过渡到平移域。通过使用扇形内核,RCN从不同角度的扇区提取特征,有效地将旋转变化编码为平移位移。随后,提出的RiE模块利用这些等变特征实现严格的旋转不变性。RiE包含两个新颖组件:循环填充和旋转对齐模块。循环填充应用于所有卷积层,保持了SConv引入的拓扑连续性。旋转对齐模块集成到每个模块中,以显式对齐特征图的方向,有助于学习内在的不变性。通过SConv和RiE的协同作用,RCN在设计上自然实现了旋转不变性。
我们的贡献可以总结如下:
  • •
    我们提出了RCN,这是一个无需数据增强即可学习旋转不变表示的框架,通过几何等变性和显式对齐实现了鲁棒性。
  • •
    我们设计了一个扇形卷积(SConv)模块,该模块在图像中心周围的扇形网格上进行卷积,有效地将旋转特征转换为平移等变表示。
  • •
    我们提出了一个旋转不变编码器(RiE)模块,其中包含循环填充和旋转对齐模块,以保持拓扑连续性并对齐类内对象的旋转,实现对任意旋转的不变性。
  • 我们在广泛的基准测试中评估了所提出的RCN框架。在MNIST、CIFAR-10和CIFAR-100上的图像分类、AID上的场景识别、HPatches上的特征匹配以及视觉里程计等任务上的实验结果表明,RCN一致性地超越了旋转增强的CNN基线和最先进的旋转等变网络。此外,广泛的消融研究和超参数敏感性评估验证了每个组件的有效性,并突出了精度和模型效率之间的有利权衡。
    本文的其余部分组织如下:第2节回顾了旋转不变性学习的相关工作。第3节介绍了RCN框架及其架构设计。第4节展示了实验评估和分析。最后,在第5节得出结论。

    相关工作

    相关工作

    在本节中,我们回顾了关于旋转不变性的先前研究,重点关注图像分类和特征匹配任务。

    RCN概述

    旋转变换严重降低了标准CNN中特征表示的稳定性,导致在依赖旋转的任务中性能不佳。为了解决这一挑战,需要在网络设计中同时考虑等变性和不变性。为此,我们提出了旋转卷积网络(RCN),这是一个用于实现鲁棒旋转不变表示学习的框架。RCN包括两个关键组件:扇形卷积

    实验

    在本节中,我们进行了全面的实验来评估所提出的RCN模型的旋转不变表示能力。首先,我们验证了其在图像分类中的旋转鲁棒性,然后进行了在不同视图、光照和旋转条件下的特征匹配实验。接下来,我们将RCN作为特征描述符应用于具有大旋转运动的模拟室外序列的视觉里程计(VO)。最后,进行了消融研究和超参数分析

    结论与未来工作

    在本文中,我们提出了RCN,这是一种基于原理的旋转不变架构,通过扇形卷积(SConv)和旋转不变编码(RiE)实现鲁棒的表示学习,而不是依赖数据增强。SConv层通过扇形内核提取旋转等变特征,而RiE将这种等变性转化为真正的不变性。
    全面评估验证了所提出的RCN的有效性,分别在MNIST上实现了99.22%、CIFAR-10上实现了78.18%、CIFAR-100上实现了50.95%

    CRediT作者贡献声明

    林文伟:撰写——审稿与编辑、撰写——原始草稿、验证、监督、软件、方法论、概念化。孙迅培:可视化、验证、软件、调查。钟崇浩:撰写——原始草稿、验证、方法论。孟海涛:方法论、调查、形式分析。陈刚:撰写——审稿与编辑、资金获取、形式分析、概念化。张炳贤:监督、项目管理、资金

    利益冲突声明

    作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号