在边缘SoC上实现环绕视图生成与语义分割的流式集成

《IEEE Access》：Streaming Integration of Surround View Generation and Semantic Segmentation on an Edge SoC

　　

摘要：

将环绕视图生成与深度神经网络推理集成到同一个边缘系统级芯片中面临诸多挑战，因为环绕视图处理流程需要大量的外部内存传输，而人工智能推理又需要数据在芯片间频繁移动，这导致了严重的内存带宽瓶颈。本文提出了一种基于数据流的流式架构，可将环绕视图生成与DNN推理整合为单一处理流程。该架构通过采用芯片内流式处理方式来处理大部分通道，仅在必须进行全帧缓冲时才使用外部内存，从而减少了数据传输量。此外，本文还引入了一种基于参数的坐标变换方法，替代了传统的坐标查找表方法，这样无需重新配置硬件即可实现实时视角切换和灵活校准。生成的环绕视图会直接传输到基于FINN的语义分割加速器，而只有低分辨率的特征图会被传输到处理系统进行后续处理。所提出的系统已在Xilinx Zynq UltraScale+ MPSoC（ZCU104）上实现。实验结果表明，该处理流程所需的总带宽为147.91 MB/s，能够实现32帧/秒的端到端处理速度。通过对该处理流程的设计与分析，本研究为解决基于环绕视图的感知系统中的内存瓶颈问题提供了一种有效方法。