基于FPGA的前端低光增强技术用于确定性纯视觉驾驶感知 谢福文、 荆汉辉、 卢志亭、 鞠少新、 彭伯春、 谢天乐、 杨林芳、 韩文曼、 王志忠和赛高乐

《Electronics》：FPGA-Based Front-End Low-Light Enhancement for Deterministic Vision-Only Driving Perception Fuwen Xie, Hanhui Jing, Zhiting Lu, Shaoxin Ju, Bochun Peng, Tianle Xie, Linfang Yang, Wenman Han, Zhizhong Wang and Gaole Sai

　　

摘要

仅依赖视觉的驾驶感知系统对光照变化极为敏感，尤其是在低光环境下，较低的对比度以及图像质量下降会降低检测和分割的准确性。本研究并非将图像增强作为后处理步骤，而是探讨了在异构FPGA–ARM架构中，将低光增强功能移至基于FPGA的前端处理模块所带来的系统级影响。该设计构建了一个硬件加速的视觉处理流程，可在ARM处理器进行高级感知处理之前完成颜色空间转换、定点卷积增强以及多通道数据融合。实验结果表明，所采用的基于FPGA的前端增强方案仅会增加13毫秒的处理延迟，且这一操作可与前一帧的神经网络推理同步进行，因此不会对整个处理流程造成任何额外负担。相比之下，采用传统的软件实现的后端增强方案则需将全部处理时间串行地加到推理阶段，从而导致系统整体延迟成比例增加。该系统能够在支持实时多任务感知的同时保持58帧/秒的稳定处理速度，这些任务包括车道检测（YOLOPv2，每帧539毫秒）、物体检测与紧急制动（YOLOv5，每帧432毫秒），以及硬件级的多摄像头同步功能。