HFINet：混合特征集成技术，用于提升协作式伪装物体检测能力

《Computer Vision and Image Understanding》：HFINet: Hybrid Feature Integration for enhancing collaborative camouflaged object detection

协同伪装目标检测中，本文提出HFINet框架，通过跨层特征整合（CLFI）、局部特征精炼（LFR）和双粒度特征融合（DGFF）模块解决多尺度特征提取不足、边缘感知能力有限和跨组共识识别问题，在CoCOD8K等数据集上显著优于35种SOTA方法。

　　

李世元|毕洪波|莫迪森|张聪|李月

东北石油大学电气与信息工程学院，大庆，163318，中国

摘要

协作式伪装物体检测旨在识别一组相关图像中具有相似特征的伪装物体。在复杂环境中检测多个伪装物体对于提高军事操作和安全监控应用的效率和准确性至关重要。然而，当前的协作式伪装物体检测方法仍面临一些挑战，包括多尺度特征提取和整合不足、边缘感知能力有限以及群体间共识识别不够完善。为了解决这些挑战，我们提出了一种新颖的方法：混合特征整合网络（HFINet），旨在彻底改变协作式伪装物体检测的现状。HFINet包括三个主要模块：跨层特征整合（CLFI）、局部特征细化（LFR）和双粒度特征融合（DGFF）。通过结合不同分辨率的特征图，CLFI从低层次到高层次捕获多尺度信息；LFR通过使用多种大小的卷积核以及基于边缘的注意力机制来细化局部特征，从而提高模型捕捉细节的能力，并锐化物体边界；DGFF则融合多分辨率特征图以增强伪装物体的检测能力，特别是提高群体间的共识和协同性能。根据在CoCOD8K数据集上进行的广泛实验，HFINet在六个常规评估指标上的表现优于35种方法，其中包括18种现有的最先进伪装物体检测（COD）方法、10种最先进的共显著性物体检测（CoSOD）方法和7种最先进的协作式伪装物体检测（CoCOD）方法。代码可在以下链接获取：https://github.com/LSY20030127/HFINet/tree/master/HFINet。

引言

在计算机视觉中，伪装物体检测（COD）是一项专门的任务，用于识别和分割与周围环境极为相似的物体；这些物体通常被称为“伪装物体”。由于它们在颜色、纹理或形状上的极端相似性，对于人类观察者和传统的计算机视觉算法来说，检测这些物体具有很大的挑战性。COD在多个领域展示了巨大的潜力，例如医学图像分析中的肺干扰检测（Fan等人，2020b）、工业质量控制中的不合格产品筛选（Fan等人，2020a）、农业监测中的蝗虫和番茄识别（Zhang等人，2023b）、军事应用中的伪装识别（Hwang和Ma，2024）以及艺术风格迁移（Putatunda等人，2022）。

传统的伪装物体检测通常依赖于单张图像进行分析。尽管这类模型取得了显著进展，但在高度复杂的伪装场景中，仅依赖单张图像仍可能导致检测结果不明确或不可靠。一种自然的解决方法是通过考虑一组相关图像来识别其中的共同伪装物体，从而利用共享的线索来提高鲁棒性和准确性。如图1所示，最先进的（SOTA）COD方法在多目标和遮挡场景中往往表现不佳。这促使人们提出了协作式伪装物体检测（CoCOD），虽然这是一个相对小众的任务，但它代表了低可见度视觉感知领域的一个具有挑战性和前瞻性的方向。同时，CoCOD还提供了一种可推广的方法论，可以应用于实际领域，如医学成像（例如内窥镜中的息肉或病变检测）和基础设施检查（例如道路裂缝或金属划痕识别）。共显著性物体检测（CoSOD）旨在识别多张图像中的共同显著物体，重点检测在组内共享显著视觉特征的物体。另一方面，CoCOD专注于检测与周围环境视觉上相似的伪装物体，这使得它们难以被识别。CoCOD利用多张图像的协作信息来增强检测能力，考虑了组内的共享特征和特定的伪装模式。

张等人提出了双边分支网络（BBNet）（Zhang等人，2023a），实现了跨图像协作和单图像学习。然而，其相对简单的多尺度融合策略未能将低层次的高分辨率特征与高层次的语义特征对齐，导致边缘细节挖掘能力较弱且边界模糊。张等人还引入了协作式伪装物体检测方法（CCNet）（Zhang等人，2024），该方法提高了边缘感知和组内整合能力，但依赖于后端优化而不是端到端的边缘和语义融合，从而限制了其在伪装场景中的有效性。Tong等人提出了局部到全局净化网络（LGPNet）（Tong等人，2024），该网络更有效地整合了局部纹理和全局语义，但其固定的注意力机制缺乏自适应权重，经常导致特征冗余或组间信息丢失。Tang等人提出的双交叉查询网络（DCQNet）（Tang等人，2024）通过“多对一”的方案增强了组内共识，但忽略了对于具有不同尺度或姿态的物体的动态调整需求，导致对异构分布的泛化能力较弱。

为了解决这些问题，我们提出了HFINet，这是一个为CoCOD量身定制的混合特征整合框架。它包含三个模块：（1）跨层特征整合（CLFI），明确地桥接高分辨率的低层次和高层次特征图，以在层间传递多尺度线索；（2）局部特征细化（LFR），通过多核卷积和基于边缘的注意力机制来增强细节感知并锐化边界；（3）双粒度特征融合（DGFF），通过利用自注意力和多尺度交叉注意力来整合上下文语义和精细细节，从而提高跨尺度的伪装物体检测能力。如图2所示，与其他当代最先进的（SOTA）COD、CoSOD和CoCOD模型相比，所提出的方法在性能上有了显著提升。

总的来说，我们的主要贡献可以总结如下：

• 我们提出了HFINet，一个整合多尺度特征的CoCOD模型。

• 我们提出了CLFI来整合多层次特征。

• 我们提出了LFR，使用多分支卷积和边缘引导来细化特征。

• 我们提出了DGFF来提高群体间共识和多尺度检测能力。

相关工作

相关工作

张等人（2023a）发布了一个新的标记数据集CoCOD8K，以提高深度学习在协作式伪装物体检测中的性能。然而，值得注意的是，关于CoCOD的学术研究仍然很有必要。COD和CoSOD的相关研究进展也推动了CoCOD的进一步发展。在本节中，我们简要概述和回顾了COD、CoSOD和CoCOD的不同方法和程序。

我们的方法

在本节中，我们首先介绍所提出方法的总体结构，然后详细描述我们模型的每个组成部分。

数据集

为了验证所提出方法的有效性，我们在现有的公共协作式伪装物体检测数据集上评估了我们的模型，即CoCOD8K（Zhang等人，2023a）。该数据集包含8528张图像，涵盖了5个超类（陆地、海洋、飞行物、两栖动物和昆虫），根据伪装物体的生活环境进行分类，以及70个子类（如人、猫头鹰、螃蟹、蟾蜍和蠕虫），基于它们的生物特性进行分类

潜在应用

为了进一步展示我们方法在伪装分析之外的泛化能力，我们还在几个面向应用的数据集上进行了定性实验。具体来说，我们在三个医学息肉分割数据集（CVC-300 Bernal等人，2012年，CVC-ClinicDB Bernal等人，2015年，以及CVC-ColonDB Tajbakhsh等人，2015年）、一个带钢表面缺陷数据集（SD-Saliency-900 Shen等人，2024年）和一个路面裂缝数据集（CRACK500（Wan等人，2024年）上评估了该模型。

失败案例分析

尽管HFINet在大多数具有挑战性的条件下（包括多目标和遮挡场景）都表现出强大的性能，如图1所示，但仍存在一些极端情况，性能会下降。如图14所示，HFINet偶尔难以准确分割极小的物体或在背景纹理非常杂乱的场景中分割物体，因为这些场景中的边界线索较弱。这些例子突显了HFINet在处理细粒度或纹理相似区域时的当前局限性。

结论与未来工作

在本文中，我们提出了一种新的框架HFINet，用于协作式伪装物体检测，该框架包括三个模块：跨层特征整合（CLFI）、局部特征细化（LFR）和双粒度特征融合模块（DGFF）。更具体地说，CLFI通过整合不同分辨率的特征图提高了模型捕捉复杂细节的能力；LFR通过增强表示复杂语义信息来提升性能

CRediT作者贡献声明

李世元：撰写——原始草稿。毕洪波：验证、监督。莫迪森：可视化、方法论。张聪：撰写——审阅与编辑。李月：撰写——审阅与编辑。

代码和数据可用性

代码可在以下链接获取：https://github.com/LSY20030127/HFINet/tree/master/HFINet

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本文是我们的原创工作，尚未在其他地方发表或提交。所有作者均已同意提交，并声明没有利益冲突。作者感谢编辑和匿名审稿人对我们论文早期版本的许多有益评论。

资助：本工作得到了国家自然科学基金 [资助编号 62471124]和广西多源信息重点实验室研究基金的支持