《Image and Vision Computing》:RSD-DETR: A lightweight Transformer for robust small object detection with application to railway signal monitoring
编辑推荐:
•MEKFEM能够学习微小铁路信号的多尺度边缘残差。•面向任务的注意力机制与定位方法提升了退化场景下的检测性能。•RSD-DETR以13.77M参数达到了60.88%的mAP@[0.5:0.95]。•跨基准测试与边缘设备测试验证了该方法的实用鲁棒性与可部署性。引言基于视觉的铁
- •
MEKFEM能够学习微小铁路信号的多尺度边缘残差。
- •
面向任务的注意力机制与定位方法提升了退化场景下的检测性能。
- •
RSD-DETR以13.77M参数达到了60.88%的mAP@[0.5:0.95]。
- •
跨基准测试与边缘设备测试验证了该方法的实用鲁棒性与可部署性。
引言
基于视觉的铁路信号感知是高级驾驶辅助系统和列车自动运行系统的重要组成部分,因为轨旁信号传递了行车许可、速度限制以及依赖于线路的行车指令[1]。与道路交通信号灯不同,铁路信号通常由车载前向摄像头在远距离和强透视变换条件下进行观测。因此,信号显示可能仅占据数十个像素,而运动模糊、眩光、低光照、雨、雾、雪以及部分遮挡等因素进一步削弱了其形状和颜色线索。
现有的铁路信号检测研究主要采用基于CNN的单阶段流程,因为其具有优越的速度与精度折中优势。基于YOLO的系统已证明实时铁路信号识别的可行性[2],近期的铁路专用方法引入了高分辨率特征路径、注意力机制或轻量级检测头以提升小目标敏感性。例如,FFTLNet将频率-空间稀疏注意力与混合特征聚合相结合用于铁路信号检测[3],而SOED在GERALD基准上协调了小目标增强金字塔、细节敏感检测头和轻量级融合细化模块[4]。这些研究证实了任务特定特征增强的价值,但仍存在若干局限性:精细边界信息在下采样过程中逐渐丢失,背景灯光和铁路基础设施产生混淆响应,且更重模块的精度提升可能无法转化为资源受限的车载部署。
通用目标检测器提供了强大的基线,但未能完全解决这些铁路特有的困难。两阶段检测器如Faster R-CNN [5]以相对较高的计算成本提供精确的区域细化,而单阶段检测器如YOLO [6]和SSD [7]则优先考虑吞吐量。检测Transformer将目标检测重新表述为集合预测问题,改善了全局上下文建模[8]。Deformable DETR [9]、Anchor DETR [10]和DINO [11]改进了收敛性或查询设计,而RT-DETR [12]提供了实用的实时端到端基线。然而,深层低分辨率特征对极小目标可能仍然不敏感,标准特征映射可能会抑制在低对比度条件下具有信息量的弱负响应。
上述观察促使了三个协同的设计选择。第一,铁路信号需要在深层特征图中消失之前显式保留高频形状和边界线索,这促成了所提出的MEKFEM的设计。第二,低光和杂乱场景同时包含同向和反向的特征变化,因此将现有的极性感知注意力公式适配到RT-DETR编码器中,而非作为一种新的注意力机制提出。第三,微小框对微小的坐标偏差高度敏感,因此采用GIoU-Focaler-IoU组合以在强调定位不佳样本的同时保持稳定的几何梯度。RSD-DETR的主要架构创新在于面向任务的MEKFEM设计,而极性感知编码器和Focaler-IoU则作为任务适配组件集成,以解决弱对比度表示和小框定位方面的互补性挑战。
主要贡献总结如下:
- 1.
我们提出了MEKFEM,这是一种面向铁路的特征提取模块,结合了自适应高频残差增强、多尺度上下文聚合和双域特征选择,以有限的计算开销保留远距离信号的结构。
- 2.
我们通过将MEKFEM与任务适配的极性感知上下文建模和困难样本导向的定位优化相结合,构建了一个轻量级的RSD-DETR框架。PolaFormer和Focaler-IoU被明确视为适配组件,同时阐明了其铁路特定动机和互补性角色。
- 3.
我们建立了更广泛的评估协议,涵盖组件级消融实验、天气和光照子集、额外铁路环境、与铁路专用检测器的比较以及工业边缘设备上的FP16/INT8部署。
本文其余部分组织如下。第2节回顾了铁路信号检测、轻量级检测Transformer以及近期的图像/多模态表示研究。第3节介绍了RSD-DETR。第4节报告了实验评估结果,第5节总结了全文。
章节摘要
铁路信号检测
铁路信号检测与通用交通标志或交通灯检测不同,因为目标通常在远距离观测,占据极小的图像区域,且与视觉上相似的灯具、杆柱、标志和接触网结构共存。早期研究确立了基于CNN和YOLO的信号检测可行性,而近期工作则日益关注小目标增强和背景抑制。FFTLNet使用频率-空间稀疏注意力和混合
方法
RSD-DETR基于RT-DETR-R18开发,用于远距离铁路信号检测。其核心架构贡献是MEKFEM,该模块取代了原有的ResNet-18特征提取器,以保留微弱的边界和多尺度线索。随后,RT-DETR编码器通过极性感知注意力进行任务适配,定位目标函数则结合了GIoU与Focaler-IoU。这些组件分别对应三个实际难题:下采样过程中微小信号细节的消失,
实验
本节从四个角度评估RSD-DETR:GERALD上的铁路信号精度、SODA-D上的跨基准小目标性能、跨天气/光照条件和第二种铁路环境的鲁棒性,以及在工业智能视频分析主机上的部署效率。此外,还对MEKFEM内部组件和两个极性分支进行了细粒度消融实验。
结论
本工作提出了RSD-DETR,用于退化视觉条件下的远距离铁路信号检测。其主要的原创组件是MEKFEM,该模块学习互补的边缘残差,聚合多尺度上下文,并在紧凑的特征提取器中选择有信息的空间/通道响应。极性感知编码器和GIoU-Focaler-IoU目标函数进一步经过任务适配,以保留弱对比度交互并改善具有挑战性的小目标实例的定位,从而实现了
CRediT作者贡献声明
孙至正:撰写–初稿,验证,软件,方法论,调查研究。朱小明:撰写–审阅与编辑,监督,项目管理,资金获取,形式化分析。刘一东:资源,数据管理。刘建:资源,数据管理。岳峰:撰写–审阅与编辑,可视化。张润通:撰写–审阅与编辑,验证。
利益冲突声明
作者声明不存在已知的竞争性财务利益或个人关系,这些利益或关系可能影响本文所报告的工作。
致谢
本工作得到了天津金航计算技术研究院的研究资助(项目编号:M24GYH00140)。
Zhizheng Sun|Xiaomin Zhu|Yidong Liu|Jian Liu|Feng Yue|Runtong Zhang