边缘-云端协同优化的3D视频分析技术及高效神经编码器

《Computer Networks》：Edge-cloud co-optimized 3D video analytics with synergistic neural codecs

　　孙赫斌|施晓航|王小坤|张胜|孟凌坤|郑涵|朱安东|钱竹中|李向宇|王东旭

摘要
自动驾驶越来越依赖3D视频分析技术来感知复杂环境，由于车载计算能力有限，边缘-云端协作成为常见做法。然而，受限的带宽要求必须进行强力压缩以降低传输成本，而这会显著降低感知精度，因为传统为视觉保真度优化的编码器往往忽视与任务相关的语义信息。我们提出了NEVA，这是一种双功能神经编码器，通过端与端协同优化将特征提取与压缩相结合，并与后续检测网络相集成。与现有编码器不同，NEVA采用了针对边缘-云端系统不均衡计算资源设计的非对称架构。它并非仅针对几何重建优化压缩或单独调整比特率，而是将压缩强度和编码器复杂度作为可在以任务为导向的目标下控制的参数。其轻量级的边缘编码器能在有限的边缘计算条件下将稀疏点云转换为紧凑的伪视频潜码，而云端解码器则将时间恢复功能整合到常规重建流程中，从而恢复对感知有用的密度和语义信息。随后，一个自适应控制器会根据带宽、边缘计算资源以及检测精度来选择合适的编码器-解码器组合。实验表明，在满足应用规定的感知精度要求的前提下，NEVA可使边缘设备端的系统吞吐量提升150%至460%。

引言
自动驾驶越来越依赖于3D视频分析技术，激光雷达和毫米波雷达等深度传感器能够以高空间精度捕捉三维场景[1]、[2]。这些传感器持续生成编码物体几何形状和运动状态的点云帧，产生大量数据流，这就需要复杂的检测[3]、跟踪[4]以及场景理解流程[5]。如果在车辆上完全处理这些连续的点云流，将会给计算、内存和能源消耗带来巨大压力。资源受限的车载平台难以维持安全感知所需的处理速度，从而导致延迟，进而影响避障和规划等任务[6]、[7]。

为了解决这些限制，边缘-云端协作的3D视频分析技术成为一种有前景的解决方案[8]、[9]、[10]。如图1所示，前端设备捕获连续的点云帧，并将其压缩为紧凑的潜在表示形式，然后传输到云端服务器，在那里通过高性能计算进行解码和推理。通过将压缩后的数据传输到云端，这种架构避免了过度依赖有限的边缘计算能力，实现了处理能力与通信效率之间的更好平衡。

在这一流程中，编码器在决定系统吞吐量和感知精度方面起着关键作用。然而，实际网络提供的带宽既有限又不稳定，这就迫使人们进行强力压缩，从而不可避免地减少可用于分析的信息量。在如此高的压缩比下，大多数现有编码器[11]、[12]、[13]、[14]都遵循以Chamfer距离[15]、Hausdorff距离[16]以及PSNR[17]为核心的速率-失真优化目标。它们的预测、变换和量化阶段都是为了最小化这些视觉指标，优先保证表面平滑性和整体几何结构的保留。当带宽紧张时，这种以视觉为导向的优化往往会忽略那些对视觉失真影响不大，但对后续语义推理至关重要的细微几何特征、稀疏边界以及细小的物体结构。因此，在压缩过程中，语义信息常常被无意中丢弃，随着压缩强度的增加，视觉保真度与分析精度之间的差距也越来越大。

为了在带宽受限的情况下保持分析精度，我们认为应该直接针对下游任务优化压缩，而非通过影响视觉质量的间接方式。神经编码器使得这一目标得以实现，因为其训练目标可以与可微的分析损失函数相结合。然而，仅靠直接的任务优化并不足以满足实际的边缘-云端部署需求。我们的测试表明，尽管进行了任务感知优化，但现有的典型神经编码器在边缘端的编码成本仍然过高，即便网络并非瓶颈，这也可能成为整个流程的制约因素。这揭示了本文要解决的核心问题：一种面向机器的边缘-云端3D分析编码器必须同时保证分析精度、降低边缘端编码成本，并能适应不同的计算和带宽条件。

为了解决这一难题，我们设计了NEVA，这是一种专为边缘-云端3D视频分析中不均衡的资源状况而设计的协同型神经编码器。其设计遵循一个耦合原则：边缘端应通过轻量级计算对点云进行压缩，同时保留与任务相关的语义信息；而云端则应利用更强大的计算能力，恢复在强力压缩过程中丢失的空间密度。为此，边缘编码器将分层体素过滤、渐进式伪视频下采样以及基于变换器的聚合功能整合到一个紧凑的编码流程中，从而在减少计算量的同时不丢失对检测至关重要的结构。在云端，通过利用帧间相似性并将基于变换器的上采样功能整合到重建流程中，可以弥补所产生的稀疏性，无需额外的恢复模块即可恢复密度和语义信息。为应对不断变化的带宽和边缘计算资源，NEVA还提供了压缩因子和特征融合深度这两个可调节参数。控制器会根据带宽、计算资源可用性以及精度反馈来调整这些参数，从而在压缩效率、边缘编码成本和分析精度之间实现平衡。与那些为人类感知质量而优化的流式系统不同，NEVA是为机器感知而设计的，同时兼顾分析精度和流程吞吐量。

我们开发了NEVA框架，并将其与开源的3D分析工具箱MMDetection3D[18]相结合，该工具箱支持多种基于深度学习网络的3D视频分析任务[19]、[20]、[21]。我们在nuScenes[22]数据集以及FCC[23]现场网络数据上进行测试。结果表明，在达到相同的目标分析精度的前提下，与现有的最先进流式系统相比，NEVA在边缘设备端的整体吞吐量提升了150%至460%，在桌面设备端则提升了23%至152%。

本文的主要贡献如下：
• 我们指出了边缘-云端3D视频分析中的两个部署层面问题：以视觉保真度为目标的压缩无法保证下游的感知精度；即便传输带宽没有饱和，边缘端编码也可能成为主要的性能瓶颈。
• 我们为这种应用场景提出了编码器设计原则：压缩、恢复以及运行时适配功能必须围绕边缘端和云端的不均衡资源共同设计，而非作为独立模块分别优化。
• 我们提出了NEVA，这是一种面向机器的神经编码器框架，它通过轻量级的边缘编码器、云端的临时恢复解码器以及一个能够根据分析精度目标共同调整压缩因子和特征融合深度的运行时控制器来实现这一设计原则。
• 在nuScenes数据集以及真实的FCC网络数据上的实验表明，NEVA在保持感知精度高于应用规定阈值的同时提升了系统整体效率，使端到端延迟降低了51.1%。

背景与动机
本节将NEVA与以往的研究成果进行对比，同时明确了面向机器的边缘-云端3D分析编码器在设计上需要满足的要求。首先，我们分析了现有点云编码器的优化目标为何未能与下游的机器感知需求完美契合（2.1节）。接着，我们指出，即便引入了任务感知训练，现有的神经编码器仍受限于边缘端的编码成本（2.2节）。最后，我们探讨了为何简单的下采样方法并不适用。

NEVA概述
NEVA是一种面向机器的边缘-云端3D分析编码器，旨在在资源受限且不断变化的情况下实现实时感知。它的架构基于一个核心原则：边缘端的计算应尽可能减少并具备可扩展性，而那些需要借助更强大模型才能实现的恢复功能则应转移到云端，并针对下游分析任务进行优化。图4展示了NEVA的边缘-云端编码路径，该路径结合了轻量级的边缘编码、云端的恢复功能。

实现
我们使用C++和Python在x86和ARM平台上实现了NEVA，并将其与MMDetection3D[18]相结合。边缘编码器可以在Jetson AGX Orin或桌面GPU上运行，而云端解码器及后续的检测器则运行在具有强大计算能力的服务器上。该系统还包括编码器版本管理、用于数据传输的无损序列化功能，以及确保解码器输出与检测器输入格式一致的元数据处理功能。通过这种分离式的实现方式……

评估
我们在一个端到端的原型系统中对NEVA作为面向机器的边缘-云端3D分析编码器的性能进行了评估。此次评估旨在回答四个问题：（1）在保持相近分析精度的条件下，NEVA能否提升端到端流程的吞吐量；（2）这些性能提升源自何处；（3）哪些组件负责保障分析精度；（4）系统在不同资源条件下的表现如何。

讨论
基于场景的优化与任务重定向。NEVA被设计为一种基于场景的神经编码器，而非完全与特定任务无关的压缩工具。这种设计使得编码器能够利用特定应用场景的分布特性，比如自动驾驶场景，从而保留对下游分析有用的结构。同时，NEVA并不局限于某种特定的检测器实现方式。如5.9节所示，其编码器-解码器架构、伪视频潜码……

结论
我们提出了NEVA，这是一种专为实时边缘-云端3D视频分析而设计的神经编码器框架。NEVA通过端到端的直接精度优化以及与解码器集成在一起的恢复功能来满足分析精度要求，同时通过轻量级编码、高效的基于变换器的压缩技术以及实时的编码器参数调节功能，显著提升了流程的吞吐量。大量的测试表明，NEVA在实时3D视频分析领域具有出色的性能。

CRediT作者贡献声明
孙赫斌：撰写——审阅与编辑，撰写——初稿，验证，软件，方法论。施晓航：撰写——初稿，指导，软件，方法论，研究调查，形式分析，数据整理，概念构建。王小坤：撰写——初稿。张胜：撰写——审阅与编辑，撰写——初稿。孟凌坤：指导。郑涵：撰写——初稿。朱安东：撰写——审阅与编辑，撰写——初稿。钱竹中：……

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了南京大学-中国移动通信集团联合研究院、南京市重点科技专项（编号202309006）以及中国教育部基础学科拔尖计划（编号JYB2025XDXM118）的支持。此外，该项目还得到了“111计划”（编号B26023）以及新型软件技术工业化协同创新中心的资助。孙赫斌是南京大学的研究员，她于2024年获得南京大学计算机科学与技术系的学士学位，目前正在该校计算机科学学院攻读博士学位，师从张胜教授。她的研究兴趣包括自动驾驶领域的协同感知、边缘计算以及视频分析技术。