基于纹理增强引导网络的RGB-D显著性目标检测:跨模态特征融合与噪声抑制新策略

【字体: 时间:2025年09月08日 来源:Expert Systems with Applications 7.5

编辑推荐:

  本文提出TGNet模型,通过构建纹理增强模块(TEM)和双路径自适应交互模块(DAM),创新性地解决RGB-D显著性检测(SOD)中跨模态特征退化与深度图噪声传播问题。采用动态解码模块(DDM)实现多级语义校准,在五个基准数据集上验证了其优越性能,为复杂场景下的目标感知提供新思路。

  

亮点

TGNet通过三项核心创新提升RGB-D显著性检测性能:1)在特征编码阶段,纹理增强模块(TEM)利用RGB图像的高频纹理信息,通过注意力机制分层优化深度特征;2)在特征融合阶段,双路径自适应交互模块(DAM)通过通道-空间协同驱动机制建立跨模态语义关联;3)在解码阶段,动态分层引导机制通过可学习的跨尺度变换模块实现高级语义特征对低级空间细节的渐进校准。

RGB-D显著性目标检测

RGB-D显著性检测领域持续围绕多模态特征融合与网络架构优化展开。RD3D模型首次将3D卷积引入该任务,通过扩张3D编码器预融合RGB与深度模态。Ji等人开发的深度校准框架通过置信度引导滤波修正深度值偏差,而CMFNet则采用交叉调制滤波器组实现多尺度特征重组。

模型概览

如图2所示,TGNet采用双流PVTv2架构作为编码器。RGB分支选用PVTv2-b1网络以捕获丰富纹理特征,深度分支则采用轻量级PVTv2-b2网络,并通过跨阶段特征继承机制实现深度特征的分层增强。

数据集

实验在六个主流RGB-D数据集上进行评估:包含复杂场景的大规模数据集NJU2K(1,985样本)、专注显著性检测的NLPR(1,000实例)、真实场景的DUT-RGBD(1,200样本)等。

结论

TGNet通过纹理增强模块(TEM)优化深度特征几何表示,双路径交互模块(DAM)实现通道-空间维度的互补特征筛选,动态分层解码机制有效抑制背景噪声并提升轮廓完整性,为跨模态特征融合提供新范式。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号