《Neurocomputing》：RPE-IDet: Towards robust low-light object Detection via RGB-Pseudo-event Interactive feature fusion
编辑推荐：
Gang Li|Jinping Zhang|Tao Pang|Zhongpan Zhu|Mingke Gao上海交通大学智能自主系统研究所，中国上海201210摘要在低光环境下进行物体检测仍是一项艰巨任务，因为基于强度的RGB图像存在固有噪声且信息损失严重，这会降低特征的辨识度，
Gang Li|Jinping Zhang|Tao Pang|Zhongpan Zhu|Mingke Gao
上海交通大学智能自主系统研究所，中国上海201210
摘要
在低光环境下进行物体检测仍是一项艰巨任务，因为基于强度的RGB图像存在固有噪声且信息损失严重，这会降低特征的辨识度，进而限制现有单模态检测器的性能。传统的跨模态解决方案，如RGB-事件融合，由于依赖于昂贵且专业的硬件，存在实际应用限制。为解决这些问题，我们提出了一种名为“增强表示的伪事件交互式检测器”（RPE-IDet）的新颖实用框架，该框架仅利用单个RGB输入即可实现强大的互补融合。我们的主要创新点是一种基于高斯光流的特殊算法，可用于计算生成“伪事件”表示，从而无需额外传感器即可利用与运动相关的信息。此外，我们还设计了互补表示交互式融合模块（CRIFM），该模块采用深度两阶段交互融合策略。CRIFM首先通过双域特征重新校准（DDFR）提升表示内的质量，然后通过双分支交互融合（DBIF）模块实现最大程度的协同作用，该模块采用了复杂的通道和空间交叉注入机制，即DERA和DEMA。在三个具有挑战性的低光基准测试中的大量实验表明，RPE-IDet具有更出色的性能。在RGB和伪事件互补融合模式下，我们的方法在TunnelDefect数据集上的性能优于现有最先进的跨模态融合检测器，优势幅度为，同时保持了较高的计算效率（7.5百万参数，17.2 GFLOPs）。这些结果充分证明了我们的互补表示融合方法在现实世界低光应用中的有效性和实用性。
引言
在自动驾驶[1]、安全监控[2]、深海探测[3]以及地下空间检查[4]等关键现实应用中，低光环境普遍存在，因此低光物体检测是一项至关重要且极具挑战性的任务。如图1所示，基于标准的RGB的深度学习检测器在低光场景下性能会显著下降，主要原因有三：1）在极暗区域物体几乎不可见，存在严重的信息损失；2）强光源导致过曝和饱和，使得特征受损；3）高噪声干扰会降低检测特征的稳定性。为应对这些挑战，现有的研究大致可分为三类：（1）低光图像增强（预处理）：这类方法旨在在检测前提升RGB图像的质量，通过增强颜色和边缘特征或提高可见度并减少反光来实现。不过，虽然这些预处理步骤能提高可见度，但往往会导致实时延迟，且在面对不同现实环境光照条件时泛化能力较差。（2）专用低光检测器：研究人员设计了特定的网络模块以适应低光成像特性，例如利用低光图像与正常光图像之间的相关性或采用场景分解模块。然而，由于低光RGB图像中纹理和颜色信息的质量本身就较差，这些方法难以实现有效的特征提取。（3）多模态融合检测器：鉴于依赖单一模态的局限性，许多研究试图融合来自不同模态的丰富信息，如RGB和红外光。值得注意的是，事件相机因其高动态范围（HDR）以及捕捉时间变化和清晰边缘信息的能力而备受关注。尽管多模态融合具有巨大潜力，但其应用面临一个核心的实际限制，即通常需要昂贵且复杂的硬件设备来同步获取数据。此外，现有的融合策略往往采用结构相似的骨干网络进行简单拼接，无法充分利用基于强度的特征与与运动相关的特征之间复杂的非线性关联。
重要的是，我们的工作解决了数据获取方面的障碍，同时保留了互补视觉信息的优势。我们没有依赖由独立传感器捕获的真实跨模态数据，而是提出了一种方法，将来自单个RGB输入的两种互补表示——即强度域的RGB图像和通过计算生成的与运动相关的伪事件图像——进行融合。这种方法避免了硬件复杂性，使我们能够专注于设计高效的表示交互机制，以最大化这两种衍生数据流之间的协同效应。
为打造一种强大且实用的解决方案，我们提出了基于RGB-伪事件交互特征融合的低光物体检测框架RPE-IDet，该框架专注于将来自单个RGB输入的互补视觉表示进行高效融合。首先，我们通过基于高斯光流原理的高质量伪事件图像合成算法来解决数据限制问题。这种新颖方法能够从单个RGB输入生成与运动相关的伪事件图像，让我们无需依赖实体事件相机即可利用类似事件的数据优势。在本研究中，我们重点关注这两种通过计算得到的表示（RGB和伪事件）的融合，我们将它们称为互补表示。其次，我们设计了专门的骨干特征提取器，即用于处理基于强度的表示的语义内容的RIFE，以及用于处理与运动相关的表示的边缘/变化内容的PIFE。此外，我们还引入了互补表示交互式融合模块（CRIFM）来策略性地融合这些特征。CRIFM与传统的多模态融合有所不同，它专为两种衍生但互补的特征流之间的深度交互而设计。具体而言，首先通过双域特征重新校准（DDFR）对特征进行增强，以确保高质量的信息进入交互阶段。随后，双分支交互融合（DBIF）模块通过双分支可交换表示注意力（DERA）和双分支可交换多尺度注意力（DEMA）实现特殊的交叉注入机制，从而实现通道和空间上下文的深度非线性交换，确保最终融合的特征能够最大限度地发挥基于强度的表示与与运动相关的表示之间的协同作用。
总之，我们的主要贡献如下：
(1) 我们提出了RPE-IDet框架，用于在低光环境下实现强大的物体检测，该框架采用了基于单个RGB输入的基于强度的RGB表示与与运动相关的伪事件表示之间的新颖融合方式。
(2) 我们设计了专门的特征提取器RIFE和PIFE，它们针对每种表示所具有的独特语义和边缘特征进行了优化，从而提升了不同尺度下的特征质量。
(3) 我们设计了CRIFM，其中包含用于提升流内特征的DDFR，以及用于在通道和空间域实现深度可交换交互的DBIF（包含DERA和DEMA），从而有效减轻表示间的干扰，最大化特征的互补性。
(4) 我们基于高斯光流开发了一种新颖的伪事件图像合成算法，该算法能够从单个RGB输入高效生成高质量的事件类表示，使得我们的融合方法更加实用且易于应用。此外，我们还创建了用于低光隧道缺陷检测的TunnelDefect数据集。
章节节选
通用物体检测
目前，主要有三种基于深度学习的物体检测框架：基于CNN的、基于Transformer的以及基于Mamba的。由于具备强大的特征提取能力和内在的归纳偏差，CNN在物体检测领域受到了广泛关注。YOLO系列[15]、[16]、[17]、[18]、[19]可直接预测类别概率和边界框坐标。尽管基于CNN的模型性能有所提升，但其有限的全局建模能力仍是一个瓶颈
RPE-IDet架构概述
所提出的RPE-IDet是一种新颖的互补表示信息融合网络，它旨在有效利用RGB图像中的文本细节以及伪事件图像中的边缘运动特征。如图2所示，RPE-IDet由三个主要组成部分构成：RGB图像特征提取器（即RIFE）、伪事件图像特征提取器（即PIFE）以及互补表示交互式融合模块（即CRIFM）。这两个输入分支会分别被处理
实验数据集
TunnelDefect。 TunnelDefect数据集是一组专为在真实照明条件下检测隧道缺陷而开发的低光图像集合。它包含了885张高分辨率RGB图像（例如800 800），这些图像是在运营中的地铁隧道夜间维护期间，仅使用车辆或手持工作灯拍摄的。这种拍摄环境带来了包括对比度低、噪声高、照明不均以及运动模糊等现实世界中的挑战。每张图像都经过了精心标注
结论
在本文中，我们提出了RPE-IDet，这是一种新颖且实用的框架，可在具有挑战性的低光条件下实现强大的物体检测功能。通过基于物理原理的高斯光流算法从单个RGB输入生成伪事件表示，RPE-IDet既避免了真正跨模态系统的硬件限制，又保留了互补视觉信息的优势。所提出的CRIFM采用了两阶段交互融合策略：首先通过DDFR进行增强
CRediT作者贡献声明
Gang Li：撰写——审阅与编辑，资金获取。Jinping Zhang：撰写——审阅与编辑，撰写——初稿。Tao Pang：验证，研究。Zhongpan Zhu：可视化。Mingke Gao：资源，研究。
利益冲突声明
作者声明他们不存在任何可能影响本文所述工作的已知财务利益或个人关系。某位作者是该期刊的编委会成员/主编/副主编/特邀编辑，但他并未参与本文的编辑审稿或发表决策过程。
Gang Li（IEEE会员）于2018年在中国上海交通大学获得控制科学与工程博士学位。他于2013年获得同校的控制理论与控制工程硕士学位，2010年获得中国浙江工业大学测量与控制技术及仪器专业学士学位。他目前是上海交通大学电子与信息工程学院控制科学与工程系的研究员。他的
