基于置信度门控与方向性推理的RGB-T显著目标检测网络CDRNet
《Scientific Reports》:Reliability gated cross-modal attention with shear reparameterized directional reasoning for RGB-thermal salient object detection
【字体:
大
中
小
】
时间:2026年10月03日
来源:Scientific Reports 4.9
编辑推荐:
RGB-T(热红外-可见光)显著目标检测旨在定位显著区域,因为仅凭外观线索往往不足以完成检测,而热辐射即使在光照不良的条件下依然能提供有效信息。然而,目前仍存在两个局限性:跨模态注意力机制的强度是预先固定的,因此某一时段无信息的模态流仍然会全量参与贡献;方向性推理仅限于两个图
RGB-T(热红外-可见光)显著目标检测旨在定位显著区域,因为仅凭外观线索往往不足以完成检测,而热辐射即使在光照不良的条件下依然能提供有效信息。然而,目前仍存在两个局限性:跨模态注意力机制的强度是预先固定的,因此某一时段无信息的模态流仍然会全量参与贡献;方向性推理仅限于两个图像轴向,因为对角线覆盖需要使用二次复杂度成本的密集亲和图。我们提出CDRNet(置信度与方向性推理网络),该网络采用双ResNet-50编码器结构。跨模态注意力机制采用可靠性门控:根据每个模态的空间熵和梯度能量估算系数,通过门控残差缩放传递的上下文信息,注意力尺度则由池化后的模态嵌入之间的余弦差异导出,使得锐度跟随语义差距而非固定常量变化,当输入均衡时可恢复对称融合。方向性推理采用剪切重参数化:环形剪切将每条对角线映射到某个轴上,使单一轴向算子以线性而非二次复杂度覆盖四个方向,逐像素门控暴露学习到的各向异性,共享权重的第二阶段在无额外参数的情况下进一步精炼结果。边界门控解码器通过乘性调制将边缘证据回传至表示层,并在辅助监督下工作,其跨尺度聚合器在每个分支下以依赖上下文的权重混合两种膨胀率。在VT821、VT1000和VT5000数据集上,CDRNet的S-measure值分别为0.908、0.949和0.918,在各项指标上均优于19种近期方法,消融实验也逐一验证了各组件的贡献。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号