在基于Zynq Ultrascale+ MPSoC的Kria KV260 FPGA板上实现高效硬件加速，用于ADAS：一种用于实时计算的混合协同设计方法

《Integration》：Towards efficient hardware acceleration on Zynq Ultrascale+ MPSoC based Kria KV260 FPGA board for ADAS: A hybrid co-design approach for real-time computing

【字体：大中小】 时间：2026年10月04日 来源：Integration 2.5

编辑推荐：

　　 • 针对自动驾驶辅助系统（ADAS）的FPGA优化MTL框架，整合了对象检测和语义分割功能。 •

•
针对自动驾驶辅助系统（ADAS）的FPGA优化MTL框架，整合了对象检测和语义分割功能。
•
基于Kria KV260的定制硬件-软件协同设计，具备高效的PS-PL流水线机制和资源感知的DPU调优能力。
•
采用QAT技术，经过精细的逐层缩放优化，实现了接近FP32精度的INT8输出。
•
在6.95瓦的功耗下，实现了47.5帧每秒的实时处理性能，展现了嵌入式平台的强劲效率。
•
在性能与功耗比以及资源利用效率方面均超越了现有的嵌入式视觉系统。

引言

深度学习（DL）[1]和基于视觉的系统[2],[3]的快速发展显著推动了ADAS[4],[5]领域的研究。ADAS的性能取决于其准确解读和分析环境的能力——包括车辆、行人和交通标志——并据此做出适当决策。DL技术在准确性、速度和可靠性方面超越了传统算法，彻底改变了这一领域。VGG-Net[6]、GoogleNet[7]、DenseNet和ResNet[8]等模型已被广泛用于图像分类任务。在对象检测方面，多阶段检测器（如R-CNN和Faster R-CNN[9]）以及单阶段检测器（如SSD[10]和YOLO[11]）都展现了显著的效果。

此外，语义分割技术也取得了显著进展，例如DeconvNet[12]和SegNet[13]等模型；车道检测问题则通过LaneNet[14]和VPGNet[15]等架构得到了有效解决。然而，实现低错误率的综合架构需要大量的计算和内存资源。但由于能耗和成本限制，车辆中的嵌入式处理器存在诸多固有约束。因此，实时MPSoC加速器对于满足日益增长的计算需求并实现ADAS的实时处理变得至关重要。这些加速器提供了所需的计算能力和效率，以提供提升驾驶安全和车辆性能的实时反馈。然而，许多先行研究仅从算法或硬件部署的角度来探讨DL模型的加速问题。

本文重点探讨了在实时MPSoC加速器上部署ADAS工作负载的关键挑战，包括优化DNN架构以满足实时需求、在保持高性能的同时降低能耗，以及在关键安全场景下确保系统可靠性。我们的方法采用了硬件-软件协同设计（hw-sw co-design）框架，特别关注MTL（模型联邦学习，Model Federation Learning）技术，并在MPSoC-FPGA平台上优化ADAS性能。MTL技术通过利用不同任务的相似性和差异性，使单一AI模型能够同时处理多种感知任务，已被证明非常有效。这种方法降低了计算复杂度，提高了效率和准确性[16],[17]，尤其在MPSoC-FPGA平台上的hw-sw协同设计中尤为重要，有助于优化处理速度、推理时间和能源效率[16],[17],[18]。

在各种硬件平台中，FPGA和ASIC因其并行性、可配置性和能效优势[19]而越来越受到深度学习推理的应用青睐。特别是基于MPSoC的FPGA，结合了PL（编程逻辑）和嵌入式ARM核心，为硬件-软件协同设计提供了理想的环境，实现了灵活的控制和高速数据处理[20],[21]。本研究采用的Kria KV260 MPSoC FPGA平台在计算能力、灵活性和能效方面取得了良好平衡。它集成了PL资源、ARM Cortex-A53核心、片上内存和高速AXI接口，非常适合 latency敏感的ADAS任务。我们的实现将预处理和后处理操作分配给基于ARM的系统，同时通过集成式DPU执行DL推理。这种分区策略减少了延迟并提高了吞吐量，构成了我们hw-sw协同设计的基础。强大的工具链支持（如Vitis AI和PetaLinux）进一步促进了在该平台上的高效部署[22],[23]。

为了更好地理解我们的工作，以下部分回顾了ADAS领域的MTL和hw-sw协同设计相关的研究，强调了当前的研究方法、它们的局限性以及所提出框架的动机。

章节摘录

贡献

本研究提出了一个针对嵌入式ADAS应用的综合MTL框架。主要贡献包括：

•
开发了一个统一的MTL框架，能够在单个硬件单元上同时执行语义分割和多对象检测。该框架引入了共享的编码器-颈部结构以及针对具体任务的解码器，并实现了自适应特征平衡，从而提高了任务间的一致性，减少了冗余计算。

提出的方法

为了解决实时、高能效ADAS系统的需求，我们提出了一个基于FPGA的MTL框架，该框架通过共享的ResNet-18骨干网络和特定任务解码器同时执行对象检测和语义分割。这种统一设计促进了特征的重用和计算效率的提升，同时兼顾了准确性和延迟之间的平衡。借助硬件-软件协同设计，该框架集成了INT8推理的QAT技术和AXI流数据流、多线程ARM-DPU架构。

性能评估

图4展示了我们的MTL模型在Kria KV260平台上的实际应用情况。子图(a)展示了整个系统设置，包括用于实时视频采集的Logitech StreamCam、用于推理处理的Kria KV260开发板以及用于显示结果的高分辨率FHD显示器。子图(b)展示了实时应用示例，其中语义分割和对象检测结果被叠加在输入图像上。

结论与未来工作

ADAS通过利用强大的计算资源和复杂的算法提升了车辆的安全性和便利性。MPSoC-FPGA架构通过并行处理和灵活的硬件加速器提供了显著的优势，这对于实现实时、高效的ADAS解决方案至关重要。同时，模型量化有助于在嵌入式平台上平衡准确性、性能和内存限制。

本研究提出了一个基于MPSoC-FPGA的硬件-软件协同设计方法，用于优化MTL算法。

写作过程中关于生成式人工智能和AI辅助技术的声明

在准备本论文期间，作者使用了Grammarly工具来提升文本的可读性和语言表达。使用该工具后，作者对内容进行了必要的审查和编辑，并对发表文章的内容负全责。

利益冲突声明

作者声明没有任何已知的财务利益或个人关系可能影响本文所述工作的结果。

Guner Tatar|Salih Bayar|Ihsan Cicek

引言