综述：适用于自动驾驶的边缘赋能视觉感知技术：架构设计、优化措施以及基于通信特性的性能分析

《Computer Communications》：Edge-enabled visual perception for autonomous driving: Architectures, optimisations, and communication-aware performance analysis

　　•首次系统性地研究了在V2X约束下基于相机的边缘感知。•轻量级架构在边缘硬件上以50–154 FPS的帧率实现了79%–80%的mIoU。•INT8格式、剪枝和蒸馏技术提高了边缘效率，同时精度损失最小。•考虑通信的分析确定了V2X的延迟预算为10–50毫秒。•恶劣天气导致mIoU下降20–30%；领域变换导致mAP损失15–25%。

引言
自动驾驶车辆（AVs）正在彻底重构交通方式，将数十年的道路安全改进压缩到向机器驱动的感知和控制的转变中[1],[2],[3],[4],[5]。作为安全关键系统，AVs必须满足ISO 26262功能安全和ISO/PAS 21448（SOTIF）标准，因为感知故障直接影响碰撞避免和决策延迟。分析师预测到2025年将有7亿辆联网车辆，并预计到2030年全球超过50%的车队具备完全自主行驶能力[1],[3],[6]。主要动机是道路安全：研究指出高达94%的交通事故是由于人为错误造成的，这为自动化感知所能预防的伤害设定了理论上限[2],[7],[8],[9]。除了个人出行外，自动驾驶技术在商业物流、公共交通和最后一公里配送中也发挥着变革性影响，在这些场景中，感知的可靠性和延迟要求与乘客-车辆场景相当或更高[2],[10]。
感知模块构成了AV堆栈中的主要信息收集和场景理解子系统，它将原始传感器数据流转换为结构化环境表示，下游的规划和控制模块依赖这些表示来安全运行[4],[5],[10]。其中，对安全道路运行最为关键且最适于边缘部署的三个感知任务是语义分割（像素级场景标记）、对象检测（动态物体和静态危险物的识别与定位）以及单目深度估计（从单张图像中推断出度量学上的3D信息）[2],[11],[12],[13],[14]。跟踪、自我定位和多传感器融合被视为上下文边界主题，它们阐明了基于相机的系统设计，但并未在这项调查中进行系统性的回顾。在复杂驾驶条件下实现可靠和安全的道路运行，需要强大的实时场景解释能力[11],[15],[16]。传统上，感知任务的计算需求需要强大的处理器和基于云的数据处理[17],[18],[19]。然而，越来越多地希望在车辆内部直接部署自主能力，这推动了向基于边缘的处理方式的根本转变[17],[20],[21],[22]。
边缘设备，如汽车级GPU（NVIDIA Drive AGX，30–45瓦）、神经处理单元（NPUs：Google Coral TPU，2瓦；Intel Movidius VPU，1–2.5瓦）和FPGA（Xilinx Kria KV260，5.5–10瓦），对计算吞吐量（0.5–32 TOPS）、内存带宽（25–137 GB/s）和热预算（在-40°C到105°C的汽车温度范围内需要被动冷却）施加了严格限制。这些限制瓶颈化了计算密集型感知模型的执行：最先进的 segmentation 网络的单次推理过程可能会超出嵌入式SoC的全部帧预算[17],[18],[20],[21],[22],[23]。在同一嵌入式设备上同时实现与安全性相关的延迟（<100毫秒端到端）、具有竞争力的准确性和低于10瓦的功耗仍然是一个未解决的工程挑战[11],[17],[24],[25]。缩小这一差距，在嵌入式汽车硬件的功耗-热预算范围内部署符合汽车安全标准的感知模型，是这项调查系统性地描述的中心工程挑战[17],[22],[26],[27]。
基于相机的感知系统是AV传感器套件的基本组成部分：相机以低成本和重量提供了丰富的、高分辨率的视觉环境信息，这是其他替代方式无法同时具备的属性[5],[8],[11],[28]。这项调查系统性地回顾的三个任务——语义分割、对象检测和单目深度估计——分别解决了AV理解“谁”、“什么”和“多远”这三个不同维度的问题[11],[12],[13],[14],[29],[30],[31]。对于支持边缘部署的AV来说，单目深度估计尤为重要，因为它使用低成本的轻量级相机（相对于LiDAR：1000–75,000美元，1–5公斤）提供了3D空间感知能力，同时支持遮挡处理、自由空间检测和路径规划的碰撞时间到接触（TTC）估计。与需要刚性校准和固定基线几何的立体视觉或对嵌入式平台造成高昂成本和功耗负担的LiDAR不同，单目深度估计依靠从单个图像帧中学习到的场景先验来生成度量学上的深度图，这一能力特别适合汽车边缘硬件的传感器成本和功耗限制[12],[31]。尽管多模态解决方案（集成LiDAR和雷达数据）可以提高鲁棒性，但由于图像数据处理的复杂性和体积，基于相机的系统在满足边缘设备的实时要求方面面临独特挑战[4],[32],[33],[34],[35]。

范围声明
这项调查系统性地回顾了基于相机的实时边缘感知，涵盖了三个任务：语义分割、对象检测和单目深度估计，并在汽车级硬件上进行了基准测试。考虑到V2X通信的分析作为结构性的组织线索，而不是补充性的讨论层面：带宽和延迟限制明确决定了哪些融合策略是可行的（第6节通过一个城市/高速公路的案例展示了在5G NR sub-6 GHz下超过3辆协作车辆时原始图像共享变得不可行，使得在100毫秒端到端延迟预算内仅检测级共享成为唯一可行的策略）。前瞻性的综合，包括对拜占庭容错多智能体融合和神经形态架构的提案，被明确标记为假设的未来发展方向，并未作为经过实证验证的内容进行呈现。多传感器融合（LiDAR、雷达）被包括进来作为背景材料，以定位仅使用相机的研究，但并未进行系统性地回顾。

如何使用本调查
通信限制从根本上改变了哪些架构是可行的。在第3节“边缘部署的实时感知方法”和第4节“优化边缘硬件的感知模型”中，每个性能表格都附有“通信假设”脚注，指明了结果有效的网络场景（城市/高速公路、5G NR或DSRC、独立或V2X协作）。设计V2X协作系统的读者应使用表3作为设计目标检查清单（所有数值阈值都是基于场景的范围，不是通用要求；请参阅表格标题中的ODD/通道假设），并参考第6.6节中的案例示例，以了解带宽/延迟限制如何将首选的融合策略从原始图像共享转变为检测级共享。针对独立边缘部署的读者可以关注表3、5和6中的汽车硬件相关行（这些行通过阴影分隔符与开发基线行明显分开）。

每当使用V2X支持的协作感知时，通信限制就会进入设计空间，即当车辆通过专用短距离通信（DSRC：5.9 GHz，6–27 Mbps，100–300米范围）或5G新无线电（sub-6 GHz：100–900 Mbps；毫米波：1–10 Gbps）共享原始传感器数据或中间推理结果时。网络延迟以5G NR的往返时间为特征，为4–10毫秒，还会受到数据包丢失率（城市：0.01%–1%，高速公路：0.001%–0.1%）、-handedover延迟（小区切换期间20–50毫秒）和由于频道质量变化引起的带宽波动的影响。（这些数字代表了3GPP Release-16 5G NR规范下城市密集和高速公路场景的示例目标范围；实际值取决于频道条件、车辆密度和运营商配置。）这些通信动态直接影响端到端的感知延迟预算，因此需要联合优化计算和通信流程以确保关键的安全性能[32],[36],[37],[38],[39],[40],[41]。
先前的调查将领域划分为孤立的贡献：感知任务调查[11],[33]忽略了硬件限制；AV系统调查[4],[5]将计算视为一个黑箱；硬件加速调查[17],[26]忽略了V2X通信。没有现有的工作系统地将边缘部署限制与V2X场景下的通信感知分析结合起来，而这是部署决策所要求的联合特征。为了客观地建立这一差距，我们使用六个维度上的可重复标准进行了基于证据的比较：覆盖的感知任务范围（广度）、传感器模式（仅相机与多传感器）、边缘硬件限制（承认汽车级计算的限制）、V2X和通信分析（处理网络延迟和带宽）、基准测试的严格性（标准化的性能报告协议）以及安全验证框架（符合ISO 26262和ISO/PAS 21448（SOTIF）标准）。

调查选择标准：通过在第1.3节列出的五个数据库中使用布尔查询“autonomous driving perception survey edge”来识别比较对象，并保留那些（i）声称与边缘部署相关、（ii）至少涵盖三个核心任务中的一个、（iii）在2018年后发布的论文，以捕捉嵌入式深度学习时代。这个过程得出了表1中比较的调查结果，并通过引用重叠分析验证了它们代表了最接近的现有技术。

表1根据这些标准系统性地比较了相关调查，表明现有工作要么狭隘地关注单一任务而不考虑边缘问题，要么讨论硬件加速而不考虑通信感知分析，要么讨论云-边缘范式而不进行定量V2X建模。我们的调查独特地结合了全面的多任务覆盖（语义分割、对象检测、单目深度估计）以及对汽车级边缘硬件部署和V2X约束下通信感知性能的明确关注。这种集成使从业者不仅能够理解计算优化（模型压缩、量化、神经架构搜索），还能了解它们与网络延迟、带宽限制以及在协作感知场景中的可靠性要求的相互作用。我们的贡献通过系统分析137项研究——124篇同行评审的出版物和13篇arXiv预印本（引用计数固定在2025年12月的快照；预印本来源的声明在引用时标记为“[preprint]”——来弥补这一差距，这些研究涵盖了2014–2025年的时间范围，围绕四个研究问题（RQs）来组织调查。RQ1研究了基于相机的边缘感知的关键实时要求，包括感知、计算和通信流程的延迟预算分解，答案在第2.3、5.2和6.1节中进行了综合。RQ2调查了在资源受限的汽车硬件上语义分割、对象检测和单目深度估计的先进架构解决方案，这些问题在第3节[24],[42],[43]中得到了全面讨论。RQ3分析了包括压缩、量化、神经架构搜索和硬件协同设计在内的优化方法，并在第4节[26],[27],[44],[45],[46],[47]中量化了它们的准确性-延迟-功耗权衡。RQ4确定了涉及鲁棒性、泛化、安全验证和V2X协调的关键挑战，并在第6节“AVs实时边缘感知的挑战”和第7节“未来研究方向”中提出了未来的研究方向。
为了确保研究问题与调查内容之间的可追溯性，表2提供了每个RQ与相应部分的明确映射，以及关键定量发现。这种结构使读者能够直接导航到解决特定问题的部分，同时了解实证证据如何支持每个答案。“通信感知”评估的概念扩展了传统的仅计算基准测试范式，以考虑V2X协作感知系统中固有的网络限制[32],[37],[38],[39]。虽然传统的边缘感知分析仅关注设备上的计算指标，如推理延迟、吞吐量和功耗，但通信感知评估认识到车对一切通信引入了额外的延迟组件、可靠性限制和带宽限制，这些因素从根本上影响了端到端系统的性能。这种整体视角对于在连接环境中运行的自动驾驶车辆至关重要，在这些环境中，感知决策可能依赖于多辆车或基础设施节点之间的数据共享[40],[41],[48]。
图1展示了通信感知评估框架，将端到端感知流程分解为感知、设备上计算、无线传输、多智能体融合和决策制定阶段。每个阶段都会引入延迟并引入潜在的故障模式，必须对其进行量化以确保关键的安全操作。例如，尽管语义分割模型可能在汽车GPU上实现20毫秒的推理延迟，但添加基于V2X的多车辆融合会引入网络往返时间（在5G NR下为5–10毫秒），数据包传输时间取决于负载大小和可用带宽，以及用于同步来自协作车辆的数据的时间对齐的开销[36],[38],[39]。
为了标准化通信感知评估并 enable 在V2X感知研究之间进行可重复的比较，我们定义了一个必须报告的最低六个元素的检查清单，任何声称具有通信感知性能的系统都必须提供这些内容[37],[39]。首先，网络模型规范必须明确说明通信技术（DSRC、5G NR C-V2X或未来的6G）、频率带（sub-6 GHz、毫米波）和频道传播模型（城市/高速公路场景，包括视距和非视距条件）[36],[38]。其次，延迟分解必须报告完整的端到端时间分解：Te2e=Tsense+Tcomp+Ttx+Tfuse+Tpost，并提供百分比分布（第50、95、99百分位数），而不仅仅是平均值，因为尾部延迟决定了最坏情况下的安全保证。第3节“边缘部署的实时感知方法”和第4节“优化边缘硬件的感知模型”中的所有性能表格都在其“通信假设”脚注中引用了公式（1）。第三，可靠性指标必须量化数据包丢失率（PLR）、数据包送达率（PDR）、车辆移动性下的切换频率（30–120公里/小时）以及表示超过延迟阈值可能性的停机概率[38],[39]。第四，带宽限制分析必须指定在现实频道条件下的可实现数据速率、应用于传输的传感器数据或中间特征的压缩比率，以及这对感知准确性的影响，以mAP或mIoU降级来衡量[36],[38]。第五，协调开销必须用量度多智能体同步延迟（时间对齐要求通常为±10毫秒）、拜占庭容错机制（用于拒绝来自受损车辆的恶意或损坏数据）以及可伸缩性分析来量化，后者展示在不同数量的合作智能体下的性能（通常在车队场景中为2-10辆车）[1], [3], [49]。第六，故障模式特征必须展示在不利网络条件下的优雅降级能力，包括当V2X链接变得不可靠时的仅依赖自车感知的备用策略，以及在没有网络连接的情况下可量化的安全保证，如最小可检测对象大小和距离[6], [8], [9]。表3总结了这一评估清单，其中包含了针对安全性至关重要的自动驾驶应用的具体指标和目标阈值。表3中的所有数值阈值都是从3GPP Release-16规范和调查文献中得出的示例性目标范围；它们取决于具体场景（ODD、信道模型、消息类型和融合层次都会影响可实现的价值），不应被视为普遍的部署要求。本文的第6.4节多传感器融合复杂性和第7.2节高级优化技术应用这些标准来分析现有的V2X启用的协作感知框架，发现大多数当前研究报告缺乏通信意识指标，特别是缺乏尾延迟分析、拜占庭容错验证以及在网络故障下的量化安全保证。建立这一标准化评估协议对于将V2X感知从实验室演示过渡到符合汽车安全标准的部署就绪系统至关重要。

本研究采用符合PRISMA（系统评价和元分析的优先报告项目）的系统性文献回顾方法，以确保可重复性，最小化选择偏见，并能够基于证据合成快速发展的自动驾驶车辆感知文献。PRISMA框架在医学和工程系统的系统性回顾中得到了广泛采用，它提供了数据库搜索、研究筛选、质量评估和数据提取的结构化协议。我们遵循这些指南，使研究选择过程透明且可审计，从而将本工作与叙述性回顾区分开来。我们的搜索策略涵盖了五个主要的学术数据库：IEEE Xplore、ACM数字图书馆、ScienceDirect（Elsevier）、Springer和arXiv预印本存储库，涵盖了2014年1月至2025年12月的出版物。这十二年的时间窗口记录了计算机视觉领域的深度学习革命（由2012年的AlexNet发起并在2014年得到巩固）、实时语义分割架构的出现（2015年的FCN、2016年的ENet）、一次性对象检测器的普及（2016年的YOLO、2016年的SSD）、Transformer范式的转变（2020年的ViT、2021年的SegFormer）以及最近的边缘优化架构（2021年的DDRNet、2022年的PIDNet）[24], [25], [29], [30], [51], [52], [53]。搜索使用了布尔查询组合：（“边缘计算” OR “嵌入式系统” OR “汽车硬件” OR “资源受限”）AND （“自动驾驶” OR “自动驾驶车辆” OR “自动驾驶”）AND （“感知” OR “语义分割” OR “对象检测” OR “深度估计” OR “单目深度”）AND （“实时” OR “延迟” OR “优化” OR “模型压缩”）。这种查询公式确保了对边缘部署方面的全面覆盖，同时保持了对基于相机的感知任务的关注。

图2展示了我们的筛选过程的PRISMA流程图，详细说明了四个阶段：识别、筛选、资格评估和最终纳入。最初的数据库搜索产生了1400篇候选论文。根据广泛的相关性标准（重点关注自动驾驶车辆、基于相机的感知、计算效率考虑）对标题和摘要进行筛选，保留了342项研究，排除了1058篇仅关注云部署、非汽车应用（工业机器人、医学成像）或纯理论分析且没有实验验证的论文。对保留的342篇论文进行全文审查时，应用了更严格的标准，要求有定量性能指标（每秒帧数、延迟测量、平均交并比、平均精度），讨论边缘或嵌入式硬件的限制，或者明确的计算复杂性分析（浮点运算、参数数量）[54], [55], [56], [57], [58]。这一步排除了129篇缺乏定量基准测试的论文、仅有数据集贡献而没有算法创新的论文以及非英文出版物。对剩余的213篇论文进行质量评估，评估了可重复性（源代码或详细架构规范的可用性）、实验严谨性（使用指定平台和测量协议进行控制的硬件基准测试）以及安全相关性（在汽车级硬件上进行测试或讨论安全关键要求）。最后的筛选产生了137项高质量的研究，构成了我们综合分析的基础。

预印本的处理：只有当arXiv预印本在2025年12月的快照时被引用次数超过50次时才被包含进来（这是一个固定阈值，防止引用漂移，否则这一标准会随时间变得不可重复）。预印本与同行评审的来源形成了独立的证据层次：任何仅来自未经评审的预印本的定量声明在其引用点都会被标记为“[预印本]”，使读者能够区分同行评审和非同行评审的证据。在包括的137项研究中，124项是同行评审的出版物，13项是arXiv预印本（快照时间：2025年12月）；按照场所类型的完整分解在PRISMA流程图（图2）中提供。我们的纳入标准优先考虑了在具有严格审查流程的场所（CVPR、ICCV、ECCV、NeurIPS、ICML、IEEE模式分析与机器智能交易、国际计算机视觉杂志）发表的同行评审会议论文和期刊文章，同时也包括了上述的arXiv预印本。研究需要至少解决三个核心感知任务（语义分割、对象检测、单目深度估计）中的一个，并且需要提供定量性能指标以实现客观比较[11], [12], [13], [33]。重要的是，即使这些研究没有报告边缘硬件基准测试，我们也包括了对计算复杂性的分析，因为我们认为FLOPs和参数数量可以作为边缘可部署性的硬件无关代理[26], [27], [59], [60]。相反，排除标准排除了不讨论边缘部署可行性的仅云计算架构、缺乏实验验证的纯理论贡献、非英文出版物，以及仅提供基准数据但没有算法创新的仅数据集的论文[54], [55], [56], [57], [61], [62]。

质量评估采用了三维标准来评估可重复性、实验严谨性和安全相关性。可重复性是根据开源代码库（GitHub、GitLab）的可用性、允许重新实现的详细架构描述以及训练模型权重的发布来评分的。实验严谨性考虑了研究是否报告了指定平台的受控硬件基准测试（例如，NVIDIA Jetson AGX Xavier与通用“GPU”）、测量协议（热身迭代、计时API、带有标准差或百分位的统计报告）以及影响可重复性的数据集预处理细节[21], [23], [63]。安全相关性评估了研究是否在满足温度（-40°C至105°C）、电源（12V/24V车辆电气系统）和认证（AEC-Q100）约束的汽车级硬件上进行测试，或者是否明确讨论了安全关键要求，如最坏情况延迟保证或故障模式分析[6], [8], [49]。在最终的质量筛选阶段，那些在多个维度上得分较低的研究被排除。

数据提取遵循了一个结构化协议，捕获了每项包含研究的八个关键属性：感知任务类型（分割、检测、深度估计或多任务）、架构范式（基于CNN的、基于Transformer的、混合CNN-Transformer的或端到端学习的）、应用的优化技术（剪枝、量化、知识蒸馏、神经架构搜索或其组合）[26], [27], [44], [45], [46], [47]、目标硬件平台（汽车GPU、NPU、FPGA或具有特定模型编号的移动SoC）、用于训练和评估的数据集（Cityscapes、KITTI、nuScenes、BDD100K等）[54], [55], [56], [64], [65], [66]、定量性能指标（准确性：mIoU、mAP、绝对相对误差；效率：FPS、延迟、功耗）、鲁棒性分析（在不利天气、领域转换或对抗攻击下的性能下降），以及针对V2X场景的通信意识考虑（网络延迟建模、带宽限制、多智能体协调）。这种标准化的提取模板使得跨不同研究的系统比较成为可能，并有助于识别架构进化、优化效果和部署准备就绪的趋势。提取的数据填充了本调查中的比较表格（表3、5、6、8、表8、表9、表10、表11、表14、表15），并支持第8节结论中提出的定量综合分析。

遵循PRISMA的透明度要求，我们承认我们的系统性审查存在几个局限性。首先，语言偏见将我们的分析限制在英文出版物上，可能排除了来自中国自动驾驶研究（Apollo、百度ApolloScape数据集、众多清华/北京大学出版物）[66]和其他非英文来源的重要贡献。其次，出版物偏见可能偏爱报告成功边缘部署的积极结果，而低估了负面结果或部署失败的情况，从而夸大了边缘感知技术的成熟度。第三，该领域迅速发展的性质意味着2023-2024年发布的架构可能会使早期的比较过时，因此需要持续监控arXiv预印本和会议论文[67], [68], [69]。尽管有这些局限性，符合PRISMA的协议使得证据基础可以审计，并且随着领域的发展，结论也可以进行修改；这些属性使本调查区别于叙述性回顾，并直接支持其作为设计参考的使用。

**背景：AV感知栈和计算景观**
本节通过检查模块化管道架构、三个核心的基于相机的任务以及控制实时部署的硬件限制，为基于边缘的AV感知奠定了基础。理解这些要素是评估第3节“边缘部署的实时感知方法”和第4节“为边缘硬件优化感知模型”中分析的架构创新和优化技术的先决条件。

**第2节范围说明：边缘部署的实时感知方法**
本节批判性地分析了在汽车边缘硬件上实时执行的最先进的神经网络架构，涵盖了三个基本感知任务：语义分割、对象检测和单目深度估计。分析没有简单地列出基准分数，而是综合了为什么某些架构选择在边缘上成功或失败的原因，检查了内存带宽概况、量化兼容性、硬件调度器交互以及数据集边界。

**为边缘硬件优化感知模型**
在汽车边缘硬件上部署生产级别的感知模型时，功率预算（≤30瓦）、温度上限和内存带宽上限是物理限制，而不是工程偏好，这要求优化策略同时降低计算成本并保持安全关键性能[20], [26]。本节研究了五种互补技术：结构化剪枝、降低精度的量化、知识蒸馏、神经架构搜索。

**数据集和评估指标**
可重复的评估需要标准化的数据集，这些数据集能够展示驾驶场景的全面范围，并同时探究准确性、效率和鲁棒性。本节研究了与自动驾驶车辆感知研究相关的基准数据集，描述了它们的操作设计领域（ODD）覆盖范围，并定义了用于比较第3节“边缘部署的实时感知方法”和第4节“优化感知模型”中模型性能的评估指标。

**AVs实时边缘感知的挑战**
在报告的结果中需要注意的事项（以下所有挑战的交叉检查清单）：(1) 是否报告了P95/P99尾延迟？如果没有，根据第5.2节，实时声明是不完整的。(2) 安全关键切片（遮挡行人、夜间、雨天）是否与标题mIoU/mAP分开报告？(3) 是否指明了硬件级别（汽车级 vs. 开发基线）?(4) 是否承认了数据集边界？(5) 是否指定了ODD（城市/高速公路、白天/夜晚、天气）?

**未来研究方向**
下面确定的六个研究方向基于本调查第3-6节中记录的瓶颈。每个方向都区分了近期（2-3年）的优先事项，这些方向的调查文献已经提供了足够的证据来定义可行动的目标，以及长期（5-10年）的方向，这些方向依赖于技术突破，目前尚未在文献中展示，因此被明确标记为推测性。图14绘制了所有六个方向的时间轨迹。

**结论**
汽车边缘的实时基于相机的感知构成了深度学习、嵌入式系统工程和安全关键软件设计中最具挑战性的交叉点之一。本次调查综合了137项研究——124篇同行评审的期刊和会议文章以及13篇高影响力的预印本（引用快照：2025年12月）；这些研究来自IEEE Xplore、ACM数字图书馆、ScienceDirect、Springer和arXiv，采用符合PRISMA的方法。分析是结构化的。

**写作过程中生成式AI和AI辅助技术的声明**
在准备这项工作期间，作者使用了ChatGPT来提高手稿的语言能力和可读性。使用该工具/服务后，作者根据需要审阅和编辑了内容，并对文章的内容负全责。

**资金**
本研究没有收到来自公共部门、商业部门或非营利部门的任何特定资助。

**利益冲突声明**
作者声明他们没有已知的会影响本文所报告工作的竞争性财务利益或个人关系。