《Sensors》：CoSafe: A Cooperative V2V Perception Framework with LLM Reasoning for Hazard Detection on Real Dashcam Data
编辑推荐：
通过车对车（Vehicle-to-Vehicle, V2V）通信实现的协作感知能够解决单车系统无法克服的遮挡问题，然而现有框架依赖于模拟环境和昂贵的多传感器平台。本文提出CoSafe，一种基于集成全球定位系统（GPS）的行车记录仪获取的真实世界数据构建的协作感
通过车对车（Vehicle-to-Vehicle, V2V）通信实现的协作感知能够解决单车系统无法克服的遮挡问题，然而现有框架依赖于模拟环境和昂贵的多传感器平台。本文提出CoSafe，一种基于集成全球定位系统（GPS）的行车记录仪获取的真实世界数据构建的协作感知与推理框架。CoSafe扩展了先前验证的基于图像的定位算法，新增了YOLOv8目标检测、协作状态融合、使用大语言模型（Large Language Model, LLM）的思维链（Chain-of-Thought）推理以及确定性基于规则的安全验证层。核心贡献是一个空间-时间车辆匹配框架，该框架关联在不同时间戳从重叠地理区域捕获的帧，从而能够在异步且部分可观测的车辆流中进行协作危险推理。本文还引入了协作增益（Cooperation Gain）指标，以量化危险检测依赖于车辆间信息共享的情况比例。在一个真实世界的遮挡行人场景中，协作在后车自身检测器识别到行人之前提供了至少1.73秒的提前警告，根据人工标注测得的协作增益为0.533。对单车、仅规则和仅LLM配置的消融研究隔离了每个组件的贡献，并且负场景测试在正常交通中产生零误报。
道路交通事故每年导致全球约119万人死亡，其中大量涉及行人、骑行者等弱势道路使用者，而他们常被其他车辆、植被或基础设施遮挡。通过车辆间通信（Vehicle-to-Vehicle, V2V）实现的协作感知被认为是解决该问题的有效途径，但现有框架多依赖模拟环境或昂贵的多传感器平台。针对这一空白，研究人员提出了CoSafe，一种基于真实行车记录仪图像与GPS数据的五层协作感知与推理流水线，旨在利用异步、部分可观测的单目视频流进行危险检测。
CoSafe扩展了先前验证的基于图像的车辆定位算法，新增了目标检测、结构化状态抽象、大语言模型（Large Language Model, LLM）推理与确定性安全验证层。其核心贡献在于空间-时间车辆匹配框架，通过特征对应关系关联不同时间经过同一地点的车辆帧，从而支持跨异步流的协作推理。此外，研究人员引入了协作增益（Cooperation Gain）指标，量化危险检测对车辆间信息共享的依赖程度。在真实遮挡行人场景中，协作提供了至少1.73秒的提前警告，且对照人工标注的协作增益为0.533；消融实验与负场景测试分别验证了各组件的贡献和零误报性能。
主要技术方法方面，研究人员使用两台DDPAI MOLA N3行车记录仪，在城市道路真实交通条件下以30帧/秒、2K分辨率采集视频，GPS更新率为1 Hz。图像匹配采用ORB关键点与BEBLID描述子，并通过SegFormer-B4语义分割预处理滤除植被和天空；目标检测使用YOLOv8n（COCO预训练权重，未微调）；LLM推理通过Groq托管的meta-llama/llama-4-scout-17b-16e-instruct和qwen/qwen3.8-27b实现，采用思维链（Chain-of-Thought）提示；安全层包含七条确定性规则，可对LLM输出进行只升不降的风险修正。所有处理均在无GPU的笔记本电脑上离线完成。
接下来介绍研究结果，保留原文小标题：
6.1 测试场景：研究人员在一段城市街道上记录了前车A与后车B的行车视频，两车相距约9-10米，速度约22-23 km/h。A车在驶出植被密集的窄路时清晰看到横穿道路的行人，B车因距离和遮挡无法可靠检测该行人，构成了典型的协作感知场景。
6.2 人工真值标注：由一位作者对B车视角中行人的可见性进行逐帧人工标注，分为“无”“不清晰”“清晰”三档。结果显示行人从不可见逐渐变为清晰，但达到人工清晰可见的时间远早于B车自动检测器首次识别的时间。
6.3 流水线结果：在60对时间对齐帧中，A车检测器在所有帧中均识别到行人（置信度0.46-0.86），而B车检测器仅在3帧中识别到，感知不对称标志在57/60对中为真。LLM将44对评估为高风险（HIGH），16对为中风险（MEDIUM）；安全层通过行人接近规则将16对中风险提升为高风险，最终60对全部输出HIGH/行人/准备停车。
6.3.1 检测器性能与人工真值对比：B车的YOLOv8n检测器相对于人工标注为清晰可见的行人，精确率为1.00但召回率仅0.107，即在人工判定清晰的28帧中漏检25帧。这一检测器-人工差距凸显了协作的必要性。
6.3.2 测得的协作增益：对照人工真值，协作增益为0.533，即60对中有32对行人低于B车的清晰可见阈值，只能通过协作渠道获得危险信息；其余28对B车已能清晰看到行人。
6.3.3 延迟：LLM推理延迟取决于模型，早期模型平均3.47秒/决策，后续模型平均20.75秒。由于LLM是可替换层，延迟可与推理质量通过模型选择进行权衡。
6.4 消融研究：比较了仅后车（b_only）、仅前车（a_only）、仅规则（rules_only）、仅LLM（llm_only）和完整流水线（full）五种配置。后车单独仅在3/60对中检测到危险，而完整流水线达到1.00的检测率；仅LLM有16对评估为MEDIUM，安全层将其提升为HIGH。消融表明协作本身是决定性因素，而非推理机制。
6.5 负场景测试：在21对无行人的正常交通记录中，所有配置均未产生假阳性。两对MEDIUM评估被分类为受限道路，但无碰撞威胁，属于预期谨慎行为而非虚报。
6.6 提前警告时间：前车检测到行人的时间比后车检测器早至少52帧（约1.73秒，约12米行驶距离）。其中约1.07秒行人确实低于后车视角中的人工可见性，属于固有感知遮挡；约0.66秒人工可辨但YOLOv8未检测到，反映检测器局限。由于LLM延迟大于该窗口，时间关键决策由确定性安全层承担。
6.7 敏感性分析：对行人接近距离阈值和匹配置信度阈值进行扫描。行人间距阈值在12-20米间性能稳定，检测率保持1.00且无误报；匹配置信度阈值对最终决策无影响；YOLO置信度阈值在0.25-0.50范围内提前警告时间不变，检测率仅从1.00略降至0.983。
6.8 端到端流水线追踪：以代表性帧对为例，展示了从原始帧到最终决策的数据流，LLM与安全验证层均输出HIGH/准备停车。此外，更早的多模态模型LLaVA-7B在相同帧中错误报告无行人，证实了将其排除在流水线之外的理由。
讨论部分总结了架构的优势：这是首个在真实单目行车记录仪数据上实现协作V2V危险推理且无需LiDAR或专用通信硬件的工作；五层模块化架构使各层可独立升级；安全层弥补了现有LLM驾驶系统缺少确定性覆盖的不足；时间上下文和人工真值评估增强了结果可信度。局限方面包括：BEBLID匹配在植被密集场景中置信度偏低，但未妨碍最终决策；LLM能力与提供商的可用性变化影响一致性；当前仅评估了单一场景类型，需更多危险类型和车辆对；地面真值标注由一位作者进行且非盲法。部署上，系统目前离线运行，实时部署需应对网络延迟、通信信道影响和数据隐私；安全层还需在更多失效模式下验证。
翻译研究结论部分：本文提出了CoSafe，一个用于V2V危险检测的五层协作感知与推理流水线，可在真实行车记录仪数据上运行。在60对时间对齐帧的遮挡行人场景中，无协作时后车仅在3/60对中检测到危险，而完整流水线检测率达1.00且负场景零误报。协作提供至少1.73秒的提前警告；对照人工标注，协作增益为0.533。后车本地检测器对人工清晰可见行人的召回率仅0.107，量化了协作所弥补的检测器-人工差距。确定性安全层提升了LLM低估的风险等级，确认了其作为推理层之上失效保护的作用。主要贡献包括模块化流水线设计、紧凑状态抽象模式、感知不对称信号和协作增益指标，其中LLM是可互换的推理组件。据作者所知，这是首个在真实单目行车记录仪数据上无需LiDAR或专用V2V收发器的协作V2V感知框架。未来工作将涵盖更多危险类型、多车辆对、最小LLM能力表征、匹配与检测稳健性以及实时V2V信道影响建模。
