基于频域融合和高阶交互的深度辅助伪装物体分割技术

《IEEE Transactions on Multimedia》：Depth-assisted Camouflaged Object Segmentation via Frequency-domain Fusion and High-order Interaction

本文提出F2HI框架，通过频域交互融合和高阶交互单元解决掩藏物体分割中的多模态信息互补与高阶特征交互问题，显著提升分割性能并优于27种现有方法。

　　

摘要：

最近，一些研究引入了深度线索来解决伪装物体分割（COS）问题，并显著提高了分割性能。然而，现有方法仍存在两个局限性：1）它们仅限于一阶或二阶交互模型；2）它们忽略了RGB和深度模态之间的频域互补特性。在这项工作中，我们提出了一个名为FHI的频域融合和高阶交互框架，以克服上述局限性。具体而言，FHI包含两个关键组成部分：频域交互融合（FDIF）和高阶交互单元（HOIU）。FDIF将RGB和深度模态的频率信息分解为高频和低频成分，利用一种模态的主导频率成分来增强另一种模态的较弱频率成分，从而在频域实现互补增强。此外，它还采用了交叉注意力机制来促进全局多模态交互。HOIU通过级联自注意力来解析多目标伪装场景生成的跨区域特征，从而实现高阶特征交互。与27种最先进的COS方法相比，FHI在四个主流COS基准测试中表现出竞争力。