SFUR-Net：面向伪装目标检测的语义-频率引导不确定性精化网络

《Signal Processing: Image Communication》：SFUR-Net: Semantic-Frequency Guided Uncertainty Refinement Network for camouflaged object detection

　　

• 提出SFUR-Net，整合语义、频率、不确定性和边界学习以进行伪彩色物体检测。
• 设计SPLM和FACE以增强目标定位和伪装感知能力。
• 引入UGRD和BILM以实现不确定性感知的精细化和准确的边界保留。
• 在CAMO、CHAMELEON、COD10K和NC4K基准测试上超越了当前最先进的方法。
• 通过广泛的定量、定性和消融实验验证了有效性。

**引言**

伪彩色物体检测（COD）是一项极具挑战性的任务，其目标是检测和分割与周围环境在视觉上高度相似的物体。与传统的显著物体检测相比，COD要困难得多，因为前景物体在颜色、纹理、形状和光照方面有意与背景融为一体，导致判别性线索微弱且物体边界模糊。准确检测伪彩色物体在许多实际应用中至关重要，例如智能监控、自主导航、生态监测、农业检测、工业缺陷分析和医学图像理解[1]，[2]。

深度学习领域的最新进展极大地提升了COD的性能。在早期阶段，基于CNN的方法通过边界信息、特征聚合和多任务学习策略增强了伪装感知能力[3]，[4]，[5]。随后，基于Transformer的架构展现出更好的长程依赖关系和全局上下文信息建模能力，在COD任务上取得了显著的性能提升[6]，[7]，[8]。最近，频域感知、不确定性引导学习和语义聚合策略被提出作为增强高隐蔽性物体检测的有前景方向[9]，[10]，[11]，[12]，[13]。然而，在复杂背景中准确检测高度伪装的靶标仍然是一项极具挑战性的任务。

COD任务存在几个内在挑战。首先，伪彩色物体通常与周围环境具有非常相似的视觉特征，使得前景和背景的分离极其困难。其次，伪彩色物体的边界通常模糊或部分遮挡，导致轮廓定位不准确和分割不完整。第三，复杂的纹理和背景噪声容易混淆特征提取网络，导致误检和漏检。最后，许多伪彩色靶标的外观变异大且尺度变化大，要求网络同时学习局部细节和全局语义上下文[3]，[6]，[14]。

基于Transformer的模型在全局表征学习方面取得了巨大进展；然而，大多数现有方法主要关注空间域，往往忽视了嵌入在其他特征空间中的互补信息的利用。这意味着微妙的伪装线索难以被检测到，特别是在非常困难的场景中。

现有COD方法仍然存在一些局限性。首先，大多数现有方法严重依赖空间域特征表征，而忽视了判别性频域信息，而频域信息可以揭示伪彩色物体与其周围环境之间的细微纹理不一致性[9]，[15]，[16]。其次，现有的定位机制通常进行确定性预测，而未显式表征不确定性，因此对模糊区域和不完整的物体表征很脆弱[10]，[17]，[18]。第三，尽管最近有基于语义聚合的研究，但基于原型的语义推理在对象感知定位方面的潜力在COD中仍未被充分探索[19]，[20]，[21]。最后，边界信息通常作为辅助监督使用，而不是显式参与特征交互和精细化过程，这限制了细结构分割和物体轮廓的准确性[3]，[11]，[12]，[22]。

这些局限性促使我们提出一个统一框架，该框架能够同时利用语义原型、频域表征、不确定性估计和边界感知精细化。

为了解决上述问题，我们提出了SFUR-Net，一种新颖的语义-频率引导不确定性精细化网络，用于伪彩色物体检测。所提出的框架基于轻量级且高效的SMT骨干网络[23]，并将语义推理、频率感知、不确定性估计和边界感知学习集成到一个统一架构中。

具体来说，我们首先提出语义原型定位模块（SPLM）来学习代表性的语义原型并生成对象感知的定位引导。与传统的特征聚合方式不同，SPLM显式建模了目标区域与原型表征之间的语义一致性，从而实现更可靠的伪彩色物体定位。我们设计了频率感知伪装增强模块（FACE），以探索互补的频域线索，揭示在RGB域中难以区分的微妙伪装模式，从而促进判别性特征提取。此外，设计了不确定性引导精细化解码器（UGRD）来估计预测不确定性并自适应地将精细化聚焦于模糊区域。最后，提出了边界交互学习模块（BILM），以促进语义特征和边缘特征的有效交互，保留精细结构细节并改善轮廓描绘。

这些模块的这种协同融合使SFUR-Net能够有效地解决现有COD方法的主要问题，并为在挑战性环境中检测高度隐蔽的物体提供更鲁棒的解决方案。

尽管原型学习、频域表征、不确定性估计和边界感知学习在各种计算机视觉任务中已各自展现出令人信服的性能，但它们对伪彩色物体检测（COD）的应用仍然在很大程度上是独立且特定于任务的。现有的COD方法通常只利用这些范式中的一个或两个，例如语义聚合、频率感知、不确定性建模或边界监督，而未能建立它们之间的协同交互。因此，它们通常无法同时解决COD的主要挑战，包括微弱的语义判别性、细微的纹理不一致性、模糊的物体边界以及高伪装区域中不可靠的预测。

所提出的SFUR-Net通过引入一个专门为伪彩色物体检测设计的统一语义-频率-不确定性协同学习框架，与现有方法有着根本性的不同。所提出的架构并非简单地组合几种现有技术，而是建立了一个渐进的信息精细化流水线，其中每个模块都增强了后续阶段的有效性。具体来说，所提出的语义原型定位模块（SPLM）执行原型引导的语义推理以生成对象感知的定位线索，从而抑制背景干扰。生成的语义表征随后由频率感知伪装增强模块（FACE）进行处理，该模块利用互补的小波域信息来揭示仅靠空间表征难以区分的微妙伪装纹理。这些频率增强的特征随后由所提出的不确定性引导精细化解码器（UGRD）进行精细化，该解码器显式估计预测不确定性并自适应地将特征精细化集中在模糊的伪装区域。最后，边界交互学习模块（BILM）在浅层边界表征和高层语义特征之间建立了显式的门控交互，在保持语义一致性的同时实现准确的轮廓保留。

SFUR-Net的主要创新之处并不在于引入单一的孤立操作，而在于建立一个统一的学习框架，该框架显式地解决了伪彩色物体检测中四个互补的不确定性来源：语义不确定性、频域不确定性、预测不确定性和边界不确定性。与主要依赖空间特征表征的传统COD框架相比，SFUR-Net通过语义原型定位、频率感知伪装增强、不确定性引导精细化和边界交互学习来逐步解决这些不确定性。这一设计使网络能够首先识别对象感知的语义证据，随后恢复微妙的频谱线索，选择性地精细化不可靠的预测，最后保留细粒度的物体结构。因此，所提出的框架提供了语义、频谱、不确定性和结构表征之间的原则性交互，而非独立模块的简单聚合。

本工作的主要贡献总结如下：

• 我们提出了SFUR-Net，一种新颖的语义-频率引导不确定性精细化框架，用于伪彩色物体检测，该框架在统一的端到端架构中渐进地集成了原型引导的语义推理、频率感知的特征增强、不确定性引导的自适应精细化和边界-语义交互。
• 我们提出了语义原型定位模块（SPLM），该模块显式学习语义原型以生成对象感知的定位引导，从而在具有挑战性的伪装场景中实现更具判别性的特征表征。
• 我们引入了频率感知伪装增强模块（FACE），该模块联合利用空间域和小波域表征来揭示微妙的伪装纹理，同时保留高层语义信息。
• 我们设计了不确定性引导精细化解码器（UGRD）和边界交互学习模块（BILM），两者协同通过自适应不确定性估计和门控边界-语义交互来精细化模糊区域并保留精细的物体轮廓。
• 在CAMO、CHAMELEON、COD10K和NC4K基准数据集上进行的广泛实验表明，所提出的框架始终优于近期最先进的方法，同时保持了有竞争力的计算效率。

**基于CNN的伪彩色物体检测**

早期的基于深度学习的伪彩色物体检测方法主要采用卷积神经网络（CNN）来在复杂场景中学习判别性表征。基于CNN的方法的优势在于其建模局部特征的能力，它们在传统手工特征方法的基础上带来了显著的性能提升。Sun等人提出了BGNet，通过引入显式的边界监督来引导特征学习并提高分割中的结构感知能力，从而……

**整体架构**

SFUR-Net的整体架构如图1所示。给定输入图像??∈?^(??×??×3)，我们使用轻量级SMT骨干网络[23]获取不同尺度上的分层特征表征，表示为：{??1,??2,??3,??4}=???(??)，其中???(?)是编码器，????是在第??个阶段生成的特征图。浅层特征（??1和??2）保留了丰富的纹理和边界信息，而深层特征（??3和??4）编码了高层语义上下文。为了增强物体定位，最深层……

**数据集**

为了公平地评估所提出的SFUR-Net的有效性，我们在四个广泛用于伪彩色物体检测的基准数据集上进行了实验，包括CAMO、CHAMELEON、COD10K和NC4K。这些数据集涵盖了各种尺度、背景、纹理和隐蔽程度的广泛伪装场景，从而为COD方法提供了具有挑战性的测试环境。CAMO[2]是最早专门为伪彩色物体检测开发的基准数据集之一……

**结论**

与严重依赖空间特征学习的传统COD方法不同，SFUR-Net能够在一个统一框架中高效地利用语义原型推理、频域感知、不确定性感知精细化和边界交互学习。特别是，所提出的语义原型定位模块（SPLM）执行原型引导的推理以获得对象感知的语义表征，而频率感知伪装增强（FACE）模块则利用……

**CRediT作者贡献声明**

Ashish Kumar Dogra：正式分析，数据管理。Vipal Kumar Sharma：方法论，概念化。Vivek Kumar Sehgal：监督，项目管理。Harsh Sohal：可视化，验证。

**利益冲突声明**

作者声明他们没有已知的可能影响本文所报告工作的财务利益或个人关系。

作者进一步确认：
• 本研究是在没有任何可能被误解为潜在利益冲突的商业或财务关系的情况下进行的。
• 没有资助机构、商业实体或外部组织在研究设计、数据收集、分析、结果解释或……中发挥任何作用

Ashish Kumar Dogra | Vipal Kumar Sharma | Vivek Kumar Sehgal | Harsh Sohal