BMF-DETR:伪深度引导的双向多策略融合端到端目标检测

《AI》:BMF-DETR: Pseudo-Depth-Guided Bidirectional Multi-Strategy Fusion for End-to-End Object Detection

【字体: 大 中 小 】 时间:2026年09月22日 来源:AI 6.5

编辑推荐:

  基于Transformer的检测器虽能有效建模长程上下文,但其表征仍主要由RGB外观主导,在杂乱、遮挡或拥挤场景中可能变得不可靠。研究人员提出了BMF-DETR——一种伪深度引导的检测器,无需深度传感器即可引入源于RGB的几何结构。来自Depth Anythi

  
基于Transformer的检测器虽能有效建模长程上下文,但其表征仍主要由RGB外观主导,在杂乱、遮挡或拥挤场景中可能变得不可靠。研究人员提出了BMF-DETR——一种伪深度引导的检测器,无需深度传感器即可引入源于RGB的几何结构。来自Depth Anything 3的DA3Mono-Large离线生成空间对齐的伪深度图,而两个ResNet-50流分别编码外观与相对几何信息。双向交叉模态注意力(BCMA)建立双向对应关系,多策略融合(MSF)通过全局校准、通道分配和空间门控将两条流组合,再经挤压-激励(SE)重校准。在2024年Roboflow整理的PASCAL VOC衍生数据集的固定验证/评估划分上,完整模型达到60.80 AP,而容量匹配的双RGB对照仅为52.80 AP。BMF-DETR在COCO 2017上取得49.30 AP。其检测器包含58 M参数,计算量为103 GFLOPs;这些数字不包括离线伪深度生成。一种共享低层变体在50 M参数和87 GFLOPs下仍保持60.10 AP。结果表明,当伪深度贡献与容量效应分离并在受控融合设置下评估时,它可以作为一种有效的辅助表征。
论文解读:伪深度引导的双向多策略融合端到端目标检测

目标检测是计算机视觉的核心任务之一。基于Transformer的检测器(如DETR)将目标检测重构为集合预测问题,摆脱了手工锚框和非极大值抑制,但其特征表示仍主要依赖RGB外观信息。在杂乱、遮挡或拥挤场景中,前景与背景纹理相似、目标可见部分较小时,外观线索变得不可靠。相对几何信息(如前景-背景顺序、轮廓连续性、粗略空间层次)提供了同一场景的另一种描述。传统RGB-D系统可通过深度传感器直接获取几何信息,但额外传感器增加了成本、同步要求和部署复杂度。单目深度估计模型可从单张RGB图像推断出深度样表示,即伪深度,无需专用硬件。然而伪深度并非独立的物理观测,它与RGB外观高度相关,且在小目标、弱边界、反光表面和严重遮挡处可能包含局部错误。因此关键问题不是简单地将伪深度添加到RGB检测器中,而是能否在限制冗余和不可靠响应的同时,从这种派生表示中提取有用结构。此外,若未控制额外主干网络、参数量或优化路径等因素,增益可能被错误地归因于几何信息。BMF-DETR通过保持RGB和伪深度双流分离足够长时间以建立双向对应,然后在全局、通道和空间维度进行内容依赖的融合,来解决这一问题。其贡献在于对异质但相关表示的组织方式,而非提出新的注意力算子。实验设计包含了容量匹配、置乱与退化伪深度、简单融合、单向交互、MSF组件消融、融合层级消融、运行时间核算、轻量变体和深度模型适配。

研究人员采用两阶段管线。离线阶段,使用来自Depth Anything 3的DA3Mono-Large模型(ViT-L编码器和DPT预测头)为每张RGB图像生成伪深度图并缓存。在线阶段,配对的RGB图像和缓存伪深度图分别输入两个独立的ResNet-50主干(均从ImageNet初始化),提取三个层级的特征(通道数为512、1024、2048)。在三个融合层级上,首先通过双向交叉模态注意力(BCMA)在两个方向(RGB查询伪深度,伪深度查询RGB)建立对应关系,并残差添加回原分支。随后多策略融合(MSF)模块执行三步融合:全局校准(一个流的全局描述符校准另一个流)、通道分配(全局和局部描述符竞争性分配通道贡献)、空间门控(逐位置分配两个表示)。加权后的流拼接、归一化、经1×1卷积投影,最后用压缩比率16的标准SE(挤压-激励)块重校准融合通道。训练采用Deformable-DETR风格的编码器-解码器(各6层,300个查询),使用匈牙利匹配,分类损失为Focal Loss,回归损失为L1和广义IoU损失,权重λcls=2、λL1=5、λGIoU=2。训练50个epoch,AdamW优化器,初始学习率2×10-4,权重衰减1×10-4,在第40和48 epoch衰减0.1倍。数据增强采用共享的RGB-深度几何变换(随机翻转、多尺度缩放/裁剪)。主要实验数据来自Roboflow整理的PASCAL VOC 2012公共衍生数据集(2024年2月6日导出),其COCO格式标注包含13,690张训练图像(31,356个框)和3,422张验证图像(7,835个框),训练集与验证集无重叠。COCO实验使用train2017和val2017。评估遵循COCO边界框协议。

在受控消融研究中,完整模型在固定验证/评估划分上达到60.80 AP,而RGB基线仅为49.10 AP。但这一11.70点差异不能单独归因于BCMA,因为伪深度分支和额外容量同时引入。因此,容量匹配对照组更有信息量:当第二分支接收RGB副本且架构不变时,AP为52.80,远低于完整模型的60.80 AP。置乱伪深度(跨图像打乱)使AP降至50.70,受控伪深度退化得到57.10 AP。简单拼接和逐元素相加分别达到54.60和53.80 AP,CBAM门控基线为56.60。这表明仅靠第二主干或通用融合无法复现完整模型的增益。方向性同样重要:深度→RGB和RGB→深度单向交互分别达到58.90和58.40 AP,均低于双向模型。移除MSF中的全局校准、通道分配或空间门控分别使AP降低1.20、1.60和1.90点。没有单一融合层级能匹配三层级设计;L2+L3是最强的两层配置(59.40 AP)。SE块并非在每项指标上都有益:AP从59.90升至60.80,APs从15.60升至17.90,但APm从42.60变为42.50,AP50保持76.60,因此SE被描述为适度改进而非全尺度普适增益。

在COCO 2017上与代表性端到端检测器的语境比较中,BMF-DETR达到49.30 AP、68.40 AP50、52.90 AP75。其检测器含58 M参数和103 GFLOPs(排除DA3Mono-Large)。由于各对比行在实现和输入策略上存在异质性,该差异仅作描述性报告,不作为融合增益的受控估计。因果解释依赖于公共代码路径消融实验。在计算成本方面,报告边界仅涵盖缓存输入可用的检测器(包括两个ResNet-50流、BCMA、MSF、SE、多尺度投影、编码器、解码器和检测头),不包括DA3Mono-Large预处理、深度推理、缩放或缓存生成。在A6000记录设置下,RGB基线检测器每幅图像24.8 ms,缓存输入的BMF检测器为35.7 ms。轻量设计中,C1(减半伪深度分支宽度)成本最低,C3(共享stem和第一残差阶段,高层编码器分离)在仅损失0.70 AP的情况下减少8 M参数和16 GFLOPs,被认为是最优部署变体。深度模型适配实验中,D1(轻量残差适配器)和D2(部分解冻深度模型的在线训练变体)分别达到61.10和61.30 AP,但这些是辅助性单次运行研究,未作统计显著性声明。

讨论部分指出,受控实验明确了增益来源:容量匹配的双RGB对照(52.80 AP)、置乱伪深度(50.70 AP)、拼接(54.60 AP)、逐元素相加(53.80 AP)均低于完整模型(60.80 AP),单向交互也弱于双向交互。这说明配对伪深度表示的内容及其集成方式对性能至关重要。结论部分总结,BMF-DETR将外观和相对几何保持在不同流中,在三个特征层级建立双向对应,然后进行全局、通道和空间分配,最后进行通道重校准;该方法应被理解为对相关表示的组织而非新的注意力原语。主要局限包括:缺乏独立的VOC派生测试划分、使用验证集进行检查点选择并作为最终报告、缺乏多次运行的方差估计、缺少完整DA3Mono-Large管线的统一成本画像。伪深度可能对极小、严重遮挡、反光或弱纹理目标不可靠。未来工作应评估独立留出测试协议、量化运行间方差、在固定计时协议下测量完整管线,并研究显式不确定性建模和参数共享。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号