AFRNet:一种自适应频率调节网络,结合伪装光谱间隙建模技术用于伪装物体的检测

《Neurocomputing》:AFRNet: Adaptive frequency regulation network with camouflage spectral gap modeling for camouflaged object detection

【字体: 大 中 小 】 时间:2026年05月16日 来源:Neurocomputing 6.5

编辑推荐:

  何晓|罗福贵|刘子阳|邓丽萍中国西华师范大学计算机科学学院,四川南充,637009摘要伪装对象检测(COD)本质上具有挑战性,因为伪装物会刻意模仿前景和背景的外观,导致区分性线索在空间频率上的分布不均。同时,深度神经网络在处理低频成分时存在固有的光谱偏差,这常常会抑制对可靠伪装感

  
何晓|罗福贵|刘子阳|邓丽萍
中国西华师范大学计算机科学学院,四川南充,637009

摘要

伪装对象检测(COD)本质上具有挑战性,因为伪装物会刻意模仿前景和背景的外观,导致区分性线索在空间频率上的分布不均。同时,深度神经网络在处理低频成分时存在固有的光谱偏差,这常常会抑制对可靠伪装感知至关重要的细微结构信息。为了解析这一现象,我们引入了伪装光谱间隙(CSG),这是一种统计度量方法,用于量化频域中不同频段的前景-背景可分离性。我们的分析揭示了一种频率不平衡现象:尽管低频段的平均能量差异可能更大,但在严重伪装情况下,高频成分提供了更稳定的结构线索,这表明需要自适应的光谱建模。基于这一发现,我们提出了AFRNet,一种基于知识的光谱调节框架。具体来说,自适应频率调节机制根据输入依赖的光谱统计信息动态重新平衡多频段响应,而分层双路径融合策略则将细粒度结构细节与跨尺度语义依赖性结合起来。最后,语义引导的解码过程通过基于反馈的调制进一步细化预测结果,以提高边界完整性和结构一致性。在三个COD基准测试上的广泛实验表明,所提出的方法在保持紧凑架构的同时实现了更高的结构精度。这些结果表明,自适应光谱调节为减轻伪装对象检测中的光谱偏差提供了一种有效机制。

引言

伪装对象检测(COD)旨在识别那些被刻意隐藏在复杂背景中的前景对象,在这种情况下,传统的视觉线索(如颜色对比度、外观差异和边界显著性)显著减弱[1]。与一般的对象分割任务不同,即使视觉差异非常微妙,COD也需要准确的前景-背景分离,使其成为一个特别具有挑战性的密集预测问题。在各种实际应用中,包括医学图像分析[2]、工业检测[3]、农业监测[4]和军事目标识别[5],可靠的伪装感知至关重要。尽管在数据集和模型架构方面取得了最新进展[6]、[7]、[8]、[9]、[10]、[11],但在严重伪装条件下进行稳健检测仍然很困难。
大多数现有的COD方法侧重于通过多尺度聚合[12]、[13]、[14]、全局上下文建模[15]、[16]、[17]、[18]、注意力机制[19]、[20]、[21]、[22]或多模态集成[4]、[23]来增强空间特征表示。这些方法隐含地假设可以通过空间域建模充分恢复区分性线索。然而,在强伪装下,前景对象被设计成模仿背景外观和粗略结构。因此,剩余的区分性信息通常嵌入在细微的结构变化和细粒度的纹理不规则性中,这些可能无法仅通过空间表示有效捕获。
从频域的角度来看,伪装可以解释为前景和背景之间光谱特征的重新分布。如图1(a)所示,低频成分主要保留了跨区域共享的全局外观信息,而中高频段编码了细粒度结构细节和边界不规则性。为了定量分析这一现象,我们引入了伪装光谱间隙(CSG),这是一种用于表征频域中前景-背景可分离性的频段级统计度量方法。我们的分析揭示了一种频率不平衡现象(图1(b)):尽管低频成分可能表现出更大的平均能量差异,但它们的响应高度依赖于场景,并且常常受到全局外观相似性的主导。相比之下,在严重伪装下,中高频段提供了更稳定的结构线索。这一观察表明,伪装并没有消除区分性线索,而是以不均匀且依赖于场景的方式将它们重新分布在不同的频段中。这种统计特征化为将频域差异分析与自适应特征调节联系起来提供了原理基础,从而实现了基于知识的光谱调节机制的设计。
然而,识别出区分性光谱线索的位置并不能保证深度模型能够有效利用它们。众所周知,神经网络在训练过程中对低频成分存在固有的光谱偏差[24]、[25],这导致它们在处理粗略结构时收敛更快,而削弱了细粒度的频率成分。因此,在COD预测中,细微边界和微纹理常常被过度平滑,导致结构一致性下降[26]、[27]。尽管最近的一些研究将频率线索纳入COD架构[28]、[29]、[30]、[31]、[32]、[33]、[34],但频率信息通常只是作为辅助增强手段引入,而不是根据光谱差异特征进行显式建模和调节。这些观察促使我们从光谱差异和自适应调节的角度重新思考COD。我们不是凭直觉强调特定的频段,而是寻求使特征学习与统计分析揭示的频段级前景-背景可分离性保持一致。
基于上述光谱差异分析,我们提出了AFRNet,一种用于COD的知识引导光谱调节框架(图2)。该框架利用CSG揭示的频段级差异特性,根据输入依赖的统计信息进行自适应的多频段频率分解和动态光谱重新平衡。为了进一步提高结构一致性和语义推理,分层双路径自适应融合(HDAF)模块将局部结构信息与多个特征层次的全局语义上下文结合起来。最后,语义引导的自适应特征融合(SGAFF)解码器逐步将融合后的表示细化为空间精确的预测图。值得注意的是,AFRNet保持了紧凑且计算效率高的架构,证明了自适应光谱调节可以在不增加模型复杂性的情况下实现改进的结构感知。所提出的光谱调节范式也可能激发未来在其他需要细粒度结构线索的密集预测任务中的探索。这里,“知识引导”指的是从频域伪装分析中得出的统计先验,这些先验为AFRNet中的自适应光谱调节和特征细化提供了指导。
本工作的主要贡献总结如下:
  • •
    我们提出了AFRNet,通过显式结合多频段频率信息来减轻深度神经网络在COD中对低频表示的光谱偏差。我们还引入了一个频域度量方法CSG,用于表征不同频段之间的前景-背景差异,并为自适应频率感知特征学习提供分析得到的先验。
  • •
    设计了分层双路径自适应融合(HDAF)模块,用于将细粒度的局部细节与全局语义表示结合起来。此外,还采用了语义引导的自适应特征融合(SGAFF)解码器,逐步细化多级特征,提高结构一致性和边界精度。
  • •
    在多个公开的COD基准测试上的广泛实验表明,AFRNet与现有方法相比表现出竞争性或更优的性能,特别是在边界划分、纹理保留和在复杂伪装条件下的鲁棒性方面,同时保持了较低的模型复杂性和计算成本。
  • 部分摘录

    伪装对象检测

    早期关于伪装对象检测(COD)的研究主要依赖于手工制作的视觉线索,包括纹理对比度[35]、颜色偏差[36]和背景抑制策略[37]。尽管这些方法利用了伪装的特定低级特征,但它们在复杂场景中的性能通常有限,因为手工设计的特征往往无法捕捉到伪装对象中固有的细微语义和结构模式。
    随着深度学习的发展,

    方法

    在本节中,我们介绍了AFRNet(图2)的方法论,这是一种用于COD的知识引导光谱调节框架。AFRNet采用了轻量级的SMT-T主干网络[59],并结合了自适应频率调节来减轻伪装条件下的光谱偏差。总体而言,AFRNet遵循一个三阶段的频率到语义学习流程,包括光谱调节(AFRM)、分层交互(HDAF)和语义引导解码(SGAFF)。

    实验

    为了全面评估所提出的AFRNet的有效性,我们进行了包括对比评估和消融分析在内的广泛实验。对比实验旨在将AFRNet与代表性的最先进COD方法进行基准测试,以展示其整体竞争力。此外,还进行了一系列消融研究,系统地调查了每个架构组件的贡献,从而更深入地了解其作用

    失败案例分析

    尽管AFRNet在多种伪装场景下表现稳健,但在严重遮挡和极端目标尺度下仍可能失败。
    如图12的第1-2行所示,严重遮挡仍然具有挑战性,因为缺失的可见线索和中断的边界连续性阻碍了准确的划分。尽管所有方法在这些情况下都面临困难,但AFRNet仍然能够提供相对更好的定位效果。第3-4行展示了另一个具有极大目标的困难场景。当对象占据大部分

    结论

    在本文中,我们从频域角度研究了COD,并提出了AFRNet,以解决深度神经网络中常见的光谱偏差问题。通过系统的频率分析,我们引入了CSG,它揭示了伪装下的前景-背景可分离性在频段间的分布是不均匀的,中高频段提供了相对更稳定的结构线索,而低频成分则表现出更大但更

    CRediT作者贡献声明

    何晓:撰写——原始草稿、方法论、形式分析、数据整理、概念化。罗福贵:撰写——审阅与编辑、验证、调查。刘子阳:撰写——审阅与编辑、验证、调查。邓丽萍:撰写——审阅与编辑、监督、调查。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
    何晓于2005年在中国西华师范大学(CWNU)获得学士学位,2008年在中国电子科技大学获得硕士学位,2023年在西南科技大学获得博士学位。他目前是中国西华师范大学计算机科学学院的副教授。他的研究兴趣主要集中在深度学习、计算机视觉和优化领域。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号