受视觉掩码启发的非均匀网格上的方向感知超像素

《Pattern Recognition》：Direction-aware superpixels on non-uniform grids inspired by visual masking

　　

• 新范式：用非均匀网格重建取代固定的 3×3 模板。
• AMVM 融合测地距离与小波响应，为内容自适应网格提供种子的初始分布。
• DRS 将首次命中的射线聚合到九个方向性分箱中用于关联计算。
• 在 BSDS500 与 NYUv2 上改善了边界贴合度与非局部连贯性。

引言

超像素分割算法通过在像素级处理与完整图像表示之间提供具有理想特性的中间表示，弥补了像素级处理的局限性。根据下游具体应用的需求，这些算法可以依据多种准则将像素分组，从而减少像素级冗余并降低后续处理的计算复杂度。因此，超像素分割已成为众多计算机视觉任务的基本预处理步骤，包括语义分割[1]、[2]、高光谱聚类[3]、[4]、极化SAR图像解译与变化检测[5]、[6]，以及实例分割[7]。

传统超像素方法大致可分为基于聚类的方法[8]、[9]与基于图的方法[10]、[11]。具体而言，这些技术要么将像素聚合为簇并迭代细化直至满足收敛准则，要么将分割任务表述为由能量函数或某种替代目标函数定义的优化问题。此类方法通常依赖手工设计特征来评估像素相似度。虽然这些方法在各种场景中已被证明有效，但其整体性能与计算效率往往受到制约。

近年来，基于深度学习的超像素分割主要采用可微聚类框架：由网络生成像素-超像素关联场，并在固定的 3×3 规则网格模板中进行监督。代表性方法如 SSN[12]及其后续变体均体现了这一思路。例如，SCN[13]用全卷积回归器替代迭代式 k-means 以生成关联图，从而提升了效率；AINet[14]将高层网格特征与像素关联，以丰富上下文信息；OverSegNet[15]通过神经架构搜索研究任务驱动的编码器核；BINet[16]则融合了与腹侧视觉通路一致的仿生神经网络结构，为超像素分割网络设计提供了补充视角。更新的方法如 SSMamba[17]与 ELGANet[18]引入了长程依赖建模、边缘增强与局部-全局注意力，以更有效地保持边界并建模上下文。

尽管这些方法行之有效，但它们通常从均匀网格进行初始化，这施加了一个尺度无关且各向同性的感受野：(i) 与依赖纹理的尺度不匹配；(ii) 忽略各向异性结构与方向性边界；(iii) 在物体边界上进行跨物体聚合，而这本应抑制物体间交互，从而妨碍以合适的尺度布置超像素并维持边界贴合。图1更明确地揭示了这一局限：由于网格初始化在很大程度上决定了生成超像素的尺度，均匀网格倾向于为图像内容差异极大的区域分配相似大小的单元，导致对均匀区域过度分割，而对具有复杂边界或丰富纹理的区域欠采样。相反，本文提出的方法采用内容自适应的非均匀网格，使单元尺寸随图像内容变化。本质而言，固定的 3×3 规则网格重建方案无法建模跨物体关系，这最终限制了当代深度学习超像素方法的分割性能。因此，我们为深度学习超像素形式化了一种新的非均匀网格重建范式，在该范式中，利用方向感知的首次命中关联，在内容自适应的网格上重建像素属性。

值得注意的是，基于图的超像素方法曾采用各种自适应策略以缓解均匀种子初始化的局限，而近期也有少量研究探索了超像素图构建与深度学习模型之间的交互方式。例如，结构敏感 SLIC（SSS）基于测地距离与结构感知度调节种子密度，在结构丰富的区域分配更多种子、在均匀区域分配更少种子[19]。类似地，Vine Superpixel Segmentation（VSS）依据图像的颜色与梯度线索重新分配种子密度[10]。最近，Iqbal 等人[20]提出了面向基于图神经网络（GNN）的图像分类的动态超像素图细化策略。然而，此类研究关注的是面向下游识别任务的图构建或细化，而非深度学习超像素分割本身。相反，当代深度学习方法仍然主要遵循固定网格范式，未纳入内容驱动的自适应初始化。

在本文中，我们提出了一种受视觉掩蔽效应[21]、[22]启发的新型超像素分割方法。视觉掩蔽是一种局部现象，其中强刺激会抑制较弱的邻近刺激。在深度学习超像素分割中，该效应为克服固定网格的局限提供了自然线索：结构复杂的区域（如边缘、纹理与各向异性边界）应以更密集的单元和更具选择性的关联范围进行建模，而均匀区域则可用更粗糙的粒度表示。这有助于缓解尺度不敏感问题以及各向同性局部重建与各向异性图像结构之间的失配。为实现这一思想，我们将测地距离变换与小波响应相结合，其中前者强调结构与边界感知的敏感性，后者捕获局部变化与纹理强度。在操作上，我们通过测地距离变换[23]与小波变换[24]构造自适应掩蔽启发式视觉图（AMVM），其突出高响应区域并弱化均匀背景。AMVM 指导非均匀网格初始化，在视觉显著区域分配更细的单元，在其他区域分配更粗的单元。

在这一非均匀网格上，我们提出了方向感知重建方案（DRS），其利用九个方向性首次命中关联分箱定义广义关联图 Q?。具体而言，对于每个锚点（小单元的中心或大单元中某象限的中心），八条方位方向射线识别首次命中的单元，再加上与像素自身单元对应的 SELF 分箱。通过用这种方向感知关联替代固定的 3×3 规则网格模板，我们的方法实现了内容自适应的交互范围，能够更好地捕获跨物体关系，并直接克服了固定局部重建的局限。因此，所提出的方法用内容自适应的非均匀网格取代均匀网格初始化，使单元尺寸与交互范围可随图像内容变化。

主要贡献总结如下：

• 我们为深度学习超像素分割提出了一种与骨干网络无关的非均匀网格重建范式，使该框架可直接适用于现有的编码器-解码器架构，而非绑定于特定骨干网络。

• 我们提出了 AMVM，其融合测地距离与小波响应以模拟视觉掩蔽，从而为与结构对齐的非均匀网格初始化提供指导图。

• 在该网格上，我们引入了 DRS，将每个单元锚点的首次命中证据聚合到九个方向性分箱中（八个方位方向加自身），建立了各向异性的交互范围，以保留边界并捕获非局部连贯性。

本文其余部分组织如下：第2节回顾相关超像素方法；第3节提出本文的 AMVM 与 DRS 框架；第4节报告在 BSDS500 与 NYUv2 上的实验与分析；第5节讨论局限性；第6节给出结论。

相关章节摘要

相关工作

超像素分割方法大致可分为三类：基于图的超像素分割方法、基于聚类的超像素分割方法以及基于深度学习的超像素分割方法。

固定局部重建及其局限性

本小节形式化地阐述了现有深度学习超像素流程中广泛使用的固定 3×3 规则网格重建方案。我们先统一符号表示，然后给出该固定 3×3 规则网格模板下的聚合（像素→超像素）与重建（超像素→像素）公式，最后分析其局限性。

设 p 为像素集合的索引，s 为超像素集合的索引。现有深度学习流程通常预测……

数据集与实现细节

为评估我们方法的有效性，我们在两个不同领域的公开基准上进行了实验：BSDS500[40] 与 NYUv2[41]。BSDS500 数据集包含 200 张训练图像、100 张验证图像和 200 张测试图像。沿用[13]、[14]中的常见做法，每帧标注图像被视为独立样本，共得到 1087 个训练样本、546 个验证样本和 1063 个测试样本。我们的网络使用这 1087 个训练样本进行训练。NYUv2 数据集最初设计用于……

局限性

所提出的框架存在若干局限。首先，与 SLIC 或 SEEDS 等经典超像素方法不同，本方法在部署前需要训练数据与参数优化。其次，当前流程增加了额外的预处理与推理开销：AMVM 涉及测地距离计算、小波响应提取以及非均匀网格生成。因此，当前实现更适合高分辨率、内存受限或离线……

结论

为克服对强制各向同性、局部交互的均匀 3×3 网格的依赖，我们为深度学习超像素分割提出了一种内容自适应的替代方案。受视觉掩蔽启发，我们实例化了一种非均匀、方向感知的重建范式：AMVM 融合测地距离与小波响应以生成自适应种子分布的掩蔽先验；DRS 沿九个方位方向汇聚首次命中证据。这一受生物学启发的设计有助于缓解……

作者贡献声明（CRediT）

赵庭宇：写作—审阅与编辑，写作—初稿撰写，验证，方法论，概念化。
孙原：方法论，概念化。
彭波：监督，经费获取，概念化。
张争光：调查研究。
吴溪：调查研究。

利益冲突声明

作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

致谢

本工作受四川省科技计划（编号：2024ZDZX0001）支持。

赵庭宇 | 孙原 | 彭波 | 张争光 | 吴溪