分心驾驶情境感知：一种基于多模态大语言模型的智能体框架

《Frontiers in Artificial Intelligence》：Situational perception in distracted driving: an agentic multi-modal LLM framework

本综述提出了一种创新的大语言模型（LLM）驱动的干预框架，通过动态整合摄像头、GPS、实时交通与天气数据，生成上下文感知的语音警报。该系统采用智能体（Agent）架构，利用YOLO、OpenStreetMap、HERE Traffic等工具进行多模态环境感知，实现了85.7%的语义干预正确率和1.74秒的低延迟响应，为安全关键场景下的AI辅助驾驶系统提供了新思路。

　　

引言：分心驾驶作为重大公共安全问题，每年导致大量交通事故。传统驾驶辅助系统侧重于分心检测，但缺乏实时环境感知和上下文感知干预能力。本文提出一种大语言模型（LLM）驱动的干预框架，假设分心状态已被预先检测到，动态集成摄像头和GPS输入以生成语音驾驶员警报。该框架采用智能体设计，由专用工具处理目标检测、速度限制、实时交通状况和天气数据。通过结构化编排确保信息高效融合，在准确性和简洁性之间取得平衡，避免给驾驶员带来认知负担。

材料与方法

框架概述：该框架在检测到驾驶员分心触发信号后启动，从GPS模块和摄像头收集实时多模态数据。其核心是LLM驱动的决策管道，集成感知、速度限制感知、天气分析和交通拥堵数据。系统利用LLM编排框架，根据上下文驾驶场景动态调用感知智能体。接收到传感器数据后，LLM评估环境上下文并识别必要的数据输入，利用基于YOLO的目标检测和外部API（如HERE、OpenMeteo、OpenStreetMap Overpass）。系统动态构建提取的数据以生成上下文感知的驾驶员干预措施。

数据采集与预处理：系统使用两个数据集确保对车辆、行人、道路标志和环境危害的鲁棒检测：DeepSense6G（场景36-39）和LISA交通标志数据集。DeepSense6G是一个多模态数据集，包含来自室外真实世界车对车（V2V）通信环境的时间同步摄像头、GPS、LiDAR和雷达数据。LISA交通数据集用于训练专门识别美国道路常见道路符号的微调YOLOv11模型。检测到分心驾驶信号后，系统自动从GPS和摄像头传感器收集数据。GPS模块记录实时位置坐标，车载摄像头捕获高分辨率道路图像并调整大小为（640 × 640）。GPS数据经过预处理以提取纬度、经度和速度。

grounding与提示工程：系统采用结构化智能体调用和上下文跟踪，通过精心设计的提示确保事实准确性和上下文相关性。LLM被特别配置为仅使用指定智能体的数据，从而最小化推测或幻觉响应。预处理的输入在指令提示模板中格式化，该模板明确定义了LLM的角色，即仅在检测到分心驾驶事件时调用。此提示明确强制要求使用可用的感知智能体从环境中提取数据，并仅基于经过验证的输出来合成响应。该指令模板还强制执行智能体被调用的最大次数（一次），以消除冗余或递归调用。此外，它要求LLM通过项目符号提供其推理的结构化解释，确保决策的透明度和可追溯性。

感知智能体：框架集成了多个专门从事环境感知的智能体，以保持情境准确性。这些智能体协同工作以处理多模态数据，最大限度地减少冗余计算。系统根据检测到的驾驶条件动态调用所需的智能体。感知智能体涵盖两个主要方面：道路感知和天气感知。

道路感知意识：这种多模态系统融合了基于YOLO的目标检测和地理空间数据，以识别关键道路元素，包括车辆、行人、监管标志和危险。速度限制感知通过双模式检测实现：使用YOLO识别物理标志，并在标志不可见时查询OpenStreetMap。系统将速度数据与车辆GPS得出的速度进行交叉参考，根据道路和天气条件调整干预严重程度。

天气感知：使用Open-Meteo API，系统检索实时天气数据以评估驾驶风险，例如能见度降低、道路湿滑或强风。

LLM感知编排框架：LLM驱动的智能体编排根据检测到的分心动态选择和执行相关的感知智能体。LLM评估缺少哪些数据，并指示智能体评估器调用相关的智能体。评估器根据智能体与当前上下文的相关性确定优先级，确保准确的数据检索。在收集到必要数据后，LLM合成结构化的干预措施，确保响应保持 grounded 和事实准确。这个动态过程使系统能够适应变化的道路条件，提供精确且与情境相关的干预措施。一旦系统编译好干预措施，就会通过文本转语音机制传递响应，以语音方式提醒驾驶员，确保即时清晰的沟通。

LLM感知编排框架：该系统的核心创新是利用LLM作为核心推理引擎，合成来自目标检测、交通标志识别、天气条件和实时交通数据的多模态输入。LlamaIndex作为一个集成层，设置了与专用智能体交互的结构化空间。然而，主要的评估、评估和决策是由LLM本身驱动的。LLM动态识别当前环境上下文中缺失的信息，并指示智能体评估器调用适当的智能体，利用作为元数据提供给LLM和评估器的任务描述。

LLM驱动的决策框架：系统遵循结构化的指令模板，确保系统化的决策过程。LLM首先评估可用的环境数据，并识别做出上下文相关决策所需的任何缺失信息。然后，智能体评估器获取所需的输入并调用相应的智能体来检索缺失的数据。该过程在LLM接收到预处理的GPS和图像数据时开始。LLM首先通过检查缺失或模糊的信息来评估上下文的完整性。例如，如果LLM检测到从视觉输入（例如，YOLO未检测到速度限制标志）无法获得速度限制，则会标记速度数据的缺失。一旦识别出差距，LLM确定需要哪些特定数据，并指示智能体评估器调用适当的智能体。然后，评估器评估可用的智能体，并选择最有可能填补数据空白的智能体。为了确保 grounding 并减少冗余或不必要的智能体调用，我们的框架强制执行一个基于指令的模板，该模板条件化LLM选择性地调用智能体。智能体调用不是任意触发的；相反，它们嵌入在一个结构化的推理工作流中，鼓励LLM在调用外部源之前合成可用的感知线索。虽然即使存在部分数据，智能体查询仍然可能发生，但这是有意的：智能体被用作补充源，以丰富系统的情境感知，而不仅仅是最后的备用方案。例如，即使检测到标志，也可能会查询OpenStreetMap以交叉检查速度限制，从而增强对视觉遮挡或检测失败的鲁棒性。这种可选但知情的调用策略有助于平衡可靠性和完整性。智能体评估器遵循基于优先级的决策树，其中智能体根据其在给定上下文中提供可靠数据的能力进行排名。如果初始智能体未返回足够的信息或数据仍然不完整，评估器可能会尝试次要智能体或交叉参考输出。这种验证确保了生成响应中的鲁棒性和上下文准确性。一旦收集完毕，LLM会合成这些上下文，整合目标检测、交通标志、天气条件和速度规定，以确定最佳的干预策略。这种动态的智能体选择过程确保系统高效地检索所有相关和必要的上下文。与传统的决策模型不同，LLM在受限的推理框架内运行，其中每个决策都基于实时环境输入。这种方法确保每个响应都是数据驱动的，减少了对假设或推测推理的依赖。结构化的多步骤过程通过要求LLM仅依赖于检索到的智能体输出来防止幻觉，确保所有干预措施都有事实支持。

智能体实现：每个智能体都根据相关功能进行设计和实现，其调用逻辑直接在框架内处理。LLM评估上下文并确定所需的数据。如果数据缺失或不完整，LLM会指示智能体评估器调用适当的智能体来检索相关数据。框架包括四个主要智能体，各自具有不同的任务：

1. 1.
   YOLO感知智能体处理车载摄像头图像，检测道路元素，包括障碍物、行人、车辆、速度限制、停车标志和其他监管标志。该模型使用增强训练数据进行微调，增强包括随机旋转、水平翻转、亮度/对比度调整和添加高斯噪声，确保在不同感知条件下的鲁棒性。检测后，该智能体通过分析动态对象类别（如车辆和骑行者）来估计对象接近度和密度，通过测量像素距离和边界框重叠。如果检测到的动态对象数量超过阈值且空间接近度低于预定义的距离裕度，系统会标记环境拥堵，使评估器能够推断交通存在和繁忙道路状况。
2. 2.
   速度限制感知智能体查询OpenStreetMap以检索基于GPS的法定速度限制，在物理标志未被检测到时补充YOLO的交通标志识别。该智能体确认车辆当前是否超速或安全地在限制范围内。
3. 3.
   交通感知智能体利用HERE Traffic API评估实时拥堵水平，识别由于交通状况导致的潜在减速。
4. 4.
   天气感知智能体从Open-Meteo检索气象数据，将天气条件纳入决策过程，以确保在不同环境条件下的安全驾驶建议。
   系统中的每个智能体独立运行但又相互协调，有助于形成动态和上下文感知的响应机制。感知和推理的主要模式由车载基于YOLO的视觉感知智能体驱动，该智能体处理核心任务，如障碍物检测、交通标志识别和环境布局理解。外部API被调用以补充YOLO感知智能体，并作为补充数据源，而不是关键依赖项。例如，如果由于遮挡或噪声而无法通过视觉检测到速度限制标志，LLM会提示智能体评估器查询OpenStreetMap以补充缺失的上下文信息。类似地，通过YOLO密集边界框重叠检测到的交通拥堵可以通过查询HERE来确定根本原因（例如，施工、事故）。这种分层设计确保了鲁棒性：即使API端点暂时无法访问，系统仍然可以基于YOLO检测和过去上下文生成有意义的干预措施。因此，该框架平衡了自主性和增强性，以确保在资源受限或断开连接的环境中的实时操作和优雅降级。

上下文推理与 grounded 决策：LLM操作的一个关键方面是确保所有生成的干预措施都基于实时捕获的数据，而不是推测性假设。LLM通过动态地将智能体输出纳入其决策过程来实现这一点。结构化指令模板明确指示LLM首先调用必要的智能体，提取相关数据，然后才合成干预措施。通过使用智能体输出作为上下文锚点，LLM确保每个响应都准确反映驾驶环境。例如，如果天气API检测到雾，并且YOLO模型识别到人行横道附近有行人，LLM会在其生成的干预措施中明确引用这两个风险因素。这种结构化方法避免了模糊的建议，并加强了基于事实的决策。严格遵守LlamaIndex中的函数签名还确保智能体调用保持有效且格式正确。LLM被限制仅在其智能体内操作，消除了无关或幻觉响应的风险。在智能体输出不可用的情况下，系统通过调整其推理过程或优先考虑其他环境因素来优雅地处理缺失数据。

动态推理与警报生成：一旦提取了必要的数据，LLM会合成一个结构化的干预措施，包括三个组成部分：环境摘要、风险因素分析和一组优先排序的驾驶员指令。环境摘要提供检测到的条件的简明概述。风险因素分析突出特定危险，例如超速、恶劣天气或检测到的障碍物。最后，干预措施提供清晰的纠正行动。LLM根据检测到的风险水平动态调整警报的严重性和紧迫性。轻微风险，例如小雨或中度拥堵，会导致咨询性消息。而高风险情况，例如超速和低能见度，则会触发高优先级安全警告。最终的干预措施是通过文本转语音系统发声的听觉警报。此外，系统实时更新干预措施以反映变化的道路条件。如果先前检测到的风险因素不再存在，则会修改干预措施以防止不必要的驾驶员压力。这种适应性将该框架与基于规则的静态警告系统区分开来，增强了其在促进驾驶员安全方面的有效性。

结果

系统评估涉及评估其在分心驾驶场景中的效率，重点是生成简洁、准确、实时的响应。考虑的绩效指标包括：警报正确性（AC）、响应延迟、冗长度、误报率和漏检率。

警报正确性：AC衡量系统将多模态数据合成为有意义的驾驶员干预措施的准确性。AC评估检索数据的 factual 准确性以及系统生成上下文相关警报的能力。如果警报基于智能体输出准确反映驾驶环境状态，则该警报是正确的，确保生成的警报没有幻觉和错误信息。正确性得分是语义相似性和 factual 准确性的加权组合。设E_ai和E_ti分别表示系统生成的干预措施和真实环境状态的嵌入向量，F₁表示 factual 准确性得分。整体正确性得分定义为：正确性 = ω cos(E_ai, E_ti) + (1-ω) F₁，其中权重参数0 ≤ ω ≤ 1平衡 factual 准确性和上下文相关性。该评估在不同驾驶场景下比较系统生成的干预措施与真实条件。高正确性得分表明智能体衍生数据的有效集成，而较低得分则表明对干预措施的信心较低。

响应生成延迟：在实时分心驾驶干预中，测量从分心检测到警报发出的时间至关重要。响应延迟度量量化系统处理环境数据和传递驾驶员警报的速度。与传统的延迟优化不同，该评估检查不同模态配置如何影响整体响应时间，而不是微调单个智能体执行。总响应延迟T_response计算为所有阶段处理时间的总和：T_response = T_LLM + T_agents + T_API-calls + T_delivery，其中T_LLM是LLM处理分心信号并启动智能体调用所需的时间，T_agents表示被调用智能体的执行时间，T_API-calls表示从API调用接收响应所需的时间，T_delivery是生成干预措施并将其传递给驾驶员的时间。每个智能体的外部API调用和响应确认消耗约10-15毫秒。实证研究表明，在意外制动场景下，2.5秒的感知反应时间覆盖了超过90%的驾驶员。因此，设置T_max = 2秒可确保及时干预，保持系统在降低驾驶风险方面的有效性。超过此阈值可能会延迟响应并降低安全效益。

响应效率与冗长度控制：有效的干预系统需要清晰简洁的警报，尤其是在安全关键环境中。控制响应冗长度确保干预措施易于理解和操作。过于冗长的响应可能会使驾驶员不知所措，延迟关键信息并增加认知负荷。为了平衡信息量和简洁性，单词计数指标指示响应效率。结构化的智能体执行限制了冗长度，将响应置于上下文中并避免推测性推理。每个干预措施的平均单词数W_response在不同智能体配置下计算为：W_response = W_LLM + W_agents，其中W_LLM表示LLM合成智能体输出后生成的单词数，W_agents表示来自智能体的结构化信息。虽然没有严格的驾驶员警报单词限制，但简洁的沟通对于安全至关重要。设定W_max = 95个单词作为一个实用指南，确保干预措施保持清晰简洁。超过此阈值会妨碍驾驶员的注意力，因为过度冗长对于实时辅助来说不切实际。标准文本转语音系统大约需要22秒来朗读95个单词。为了增强警报有效性，每个响应前都添加了单词“ALERT!”，这需要额外约253毫秒的朗读时间，确保立即引起驾驶员注意。

误报与漏检分析：为了全面评估系统的可靠性，我们评估了所有配置下的误报（错误警报）率和漏检（未能识别危险）率。这些指标有助于确定实时系统的实际可行性，因为过多的误报和漏检会危及驾驶安全。误报率是指生成的警报中与任何经过验证的驾驶危险不对应的比例。漏检率被确定为所有真实危险实例中未被识别的危险的比例。在我们的框架中，幻觉被定义为听起来合理但未 grounded 的LLM输出，这些输出要么捏造了任何活动智能体不支持的环境危险（误报），要么忽略了由智能体正确检索的关键信息（漏检）。为了评估这一点，我们将每个系统生成的响应追溯回其贡献的智能体输出。如果解释的任何部分无法映射到传感器流或API响应，则将其标记为幻觉。我们的结构化提示模板明确指示LLM严格根据智能体数据合成输出，而不是开放式的语言先验。这种 grounding 策略抑制了生成模型的推断倾向，确保响应保持在经过验证的环境上下文中。

评估设置：我们使用轻量级版本的LLaMa3.2-1B LLM来评估框架的性能，该模型部署在具有8GB显存和16GB RAM的A40-8Q GPU上。LLM（LLaMa3.2-1B）需要大约1.8GB的内存。平均而言，每次推理处理的多模态数据包括约110个token（80个单词），包括传感器输入和智能体输出。我们考虑了三种基线配置来评估结构化编排和智能体集成的影响。首先，我们使用预训练的LLaMA3.2-1B模型（V-LLaMA），该模型可以不受限制地访问所有智能体，但没有结构化提示或任务定义（V-LLaMA 无智能体描述），作为非 grounded 推理和未定义智能体调用的基线。其次，我们包含一个变体（V-LLaMA 有智能体描述），该变体包含智能体描述但省略了结构化提示模板，以隔离指令和任务 grounding 的效果。第三，我们评估LLaMA3.2-11B-Vision（V-MM-LLaMA），这是一种最先进的多模态LLM，能够处理视觉输入，以评估通用视觉启用模型在分心后干预场景中是否能与我们特定领域的、基于智能体的框架性能相匹配。这些基线使我们能够分析智能体访问、描述性 grounding 和结构化指令提示对响应准确性、任务相关性和整体干预质量的独立和综合影响。最后，我们分析了在提示 grounding 和智能体描述可用的情况下，在整个框架中包含各种智能体组合的效果。对提出的LLM编排干预系统进行了全面评估，使用多样化的多模态数据集来评估其生成驾驶员干预措施的正确性以及实时操作的效率。我们的评估涉及在七种不同的模态配置下测试系统，以检查其利用感知智能体的能力。我们策划了100个具有不同条件的多样化驾驶场景，产生了700个评估样本。为每种配置精心制作了人工生成的真实干预措施，以确保 rigorous 测试。此外，我们为每种配置开发了35个验证问答对，总共245个实例，以探究系统生成适当干预措施的能力。关于实施可行性，拟议的系统设计用于在车辆内部进行车载部署，而不是依赖远程处理。为了确保轻量级和高效的实时操作，我们采用了LLaMa和YOLO的轻量级版本（总共< 3 GB RAM）。多模态LLM被用作多模态基线，然而，它在部署中效率低下，因为该模型资源密集，需要至少16GB内存和功能强大的GPU。这些能力可能并非所有车辆都可用。

数值结果

系统在七种组合下进行了评估，变化了YOLO感知（Y）、速度（S）、交通（T）和天气（W）感知智能体。

消融研究与正确性：为了评估我们框架中每个模块的贡献，我们在不同的智能体配置下进行了消融研究，总结在表1中。结果表明，多智能体设置 consistently 优于单智能体配置，证实了多样化环境输入的价值。在单个智能体中，集成微调YOLO（Y）以识别交通标志和速度限制、物体并推断交通状况，达到了81.2%的最高正确性得分。仅集成天气智能体（W）导致最差的性能，因为分心驾驶环境不能仅从一般天气信息中完全推断出来。在双组合智能体中，速度感知模块（Y+S）提供了最高的正确性，达到82.2%，其次是交通感知（Y+T）为82.0%，天气感知（Y+W）为81.8%。当包括三个智能体时，将速度、交通感知与视觉感知（Y+S+T）结合，达到了最高的正确性得分（84.4%），因为包含了最强的环境信息以生成合理且可操作的警报。完整配置（Y+S+T+W）达到了85.7%的最高正确性，证明了融合实时感知、监管数据和外部条件以支持鲁棒干预决策的有效性。我们进一步将我们的方法与具有不同程度智能体访问和提示结构的基线LLM进行比较。具有智能体但无智能体描述的V-LLaMA达到了68.3%的正确性，突出了在没有上下文线索的情况下进行有效推理的困难。提供智能体描述将性能提高到73.0%，而引入结构化指令模板和角色定义作为我们智能体框架的核心，进一步提高了正确性，确保了简洁且与任务一致的响应。支持视觉的基线V-MM-LLaMA达到了75.8%。尽管利用了多模态视觉，但此设置缺乏实时 grounding 和结构化交互，降低了清晰度，增加了延迟，并经常出现偏离主题的推理。此外，该模型的多模态性是针对一般视觉摘要任务量身定制的，而不是精确的目标检测和分类任务。

推理延迟：确保快速响应时间对于保持驾驶员注意力至关重要。我们的框架在所有配置下 consistently 展示了亚2秒的响应时间。随着引入额外的模态，推理延迟的边际增加是一个预期的权衡，因为检索和处理多个传感器模态需要额外的智能体调用。然而，即使计算量最大的情况（Y+S+T+W）也保持在实时阈值（1.74秒）内。仅使用感知的YOLO配置是最快的（1.42秒）。V-LLaMA基线表现出过高的推理延迟， consistently 超过3.0秒，在所有配置中达到超过4.5秒，使其不适合实时分心驾驶干预。V-多模态LLaMA，尽管具有视觉能力，但招致更大的延迟，平均响应时间超过8.3秒。这些延迟源于缺乏结构化智能体定义、对大型token上下文的无约束推理的依赖以及内部视觉编码的开销。与我们的智能体框架不同，后者将目标任务委托给开销最小的轻量级模块，而大型多模态LLM整体处理整个场景，导致 substantial 的计算负担和更长的响应生成时间。此外，此类模型需要强大的GPU和大量内存，限制了其在资源受限或基于边缘的驾驶员辅助系统中部署的可行性。

响应效率与冗长度控制：最佳的干预措施必须信息丰富且简洁，避免可能使驾驶员不知所措的过多言辞，同时仍传达必要的纠正行动。集成智能体的模型保持了受控的响应长度，在所有配置下平均为64-80个单词，表明基于智能体的、具有结构化提示模板和推理的框架有效地构建了响应合成，而无需不必要的阐述。相比之下，基线V-LLaMA和V-MM-LLaMa模型产生了明显更长的响应，单词数超过100。这种冗长归因于没有结构化智能体指导的无约束生成，导致对条件的过度解释或推测性推理。过度的冗长不仅增加了认知负荷，还导致更长的推理时间，加剧了及时传递干预措施的延迟。

误报与漏检分析：分析显示，多智能体集成设置（Y+S+T+W）实现了最低的误报率4.2%和漏检率3.1%，产生了7.3%的与幻觉相邻的综合错误率。该分析表明在生成及时和相关警报方面具有均衡的性能。相比之下，单智能体配置表现出更高的比率；例如，仅YOLO设置导致8.7%的误报和6.4%的漏检。非结构化基线，如无智能体描述的V-LLaMA和V-MM-LLaMA，产生了明显更高的错误率，范围从24.6%到29.2%。值得注意的是， grounded 配置（Y+S+T+W）实现了最高的正确性（86.1%）并最小化了容易产生幻觉的输出。这一结果 reinforce 了我们智能体编排和提示设计的有效性，特别是与V-MM-LLaMA和V-LLaMA变体相比，后者缺乏 grounding 和结构化指令导致过于冗长、推测性或错位的输出。这些结果证实了智能体 grounding 在提高 factual 准确性、最小化误报和保持分心后驾驶员干预中安全关键可靠性方面的作用。

案例研究

为了展示框架在不同真实世界条件下的有效性，我们展示了其在三种不同驾驶环境下的性能：清晰、繁忙和模糊条件。每个场景都提出了独特的挑战，测试系统合成多模态环境数据并生成上下文适当干预措施的能力。

清晰条件：在能见度不受阻碍且环境干扰最小的清晰驾驶条件下，系统主要侧重于保持遵守交通法规和增强情境感知。在图2a所示的场景中，系统成功检测到一辆垂直于道路定位的车辆，正在驶出停车场。响应有效地平衡了速度合规性、接近度感知和实时交通监控。系统验证了车辆在法定速度限制内行驶，并 reassure 驾驶员保持当前速度。在识别到右侧有车辆后，系统发出了谨慎建议，指示驾驶员保持警惕并在必要时减速。此外，系统 preemptively 警告在检测到的车辆方向发生突然车道变更时介入紧急制动机制。结构化响应确保仅传达相关见解，在最小化认知超载的同时 reinforce 安全驾驶行为。

繁忙条件：高流量环境引入了动态风险，要求系统平衡情境感知、监管合规性和主动干预。图2b所示的场景说明了系统生成适用于复杂道路条件的自适应响应的能力。系统首先确定驾驶员在张贴的速度限制以下行驶。在检测到即将到来的交通信号灯后，系统建议驾驶员保持警惕，并为信号灯变化做好减速准备。除了速度感知，系统还检测到周围环境中的多辆车辆，建议驾驶员注意附近的汽车。系统认识到突然车道变更的可能性，并 preemptively 警告驾驶员 anticipate 附近车辆的运动。此外，系统识别并整合了实时拥堵分析，识别出中等交通密度和分散的车辆。响应提供了具体建议，指示驾驶员保持在车道内，以避免盲点中的车辆。

模糊条件：夜间驾驶和低能见度环境由于光线有限和道路元素被遮挡，对视觉感知系统构成挑战。如图2c所示，驾驶员在夜间导航通过地下通道。在低能见度场景中，结构化的监管执行变得至关重要。尽管存在这些条件，系统成功处理数据以生成有意义的干预措施。系统准确识别了超过限制8.4公里/小时的速度违规行为，并发布了减速建议。此外，系统提供了关于在右侧检测到的禁止通行标志附近车辆的接近度警报。尽管检测过程导致禁止通行标志和交通信号灯之间存在冲突，但系统通过优先考虑附近车辆位置而不是模糊的标志解释，保持了高上下文准确性。系统还检测到该区域内交通密度的增加。认识到突然停止的可能性，干预措施建议驾驶员减速并为突然制动事件做好准备。

讨论

挑战：虽然提出的LLM-智能体编排框架在多个指标上表现出强大的性能，但有几个技术挑战必须解决，以便在真实世界车辆系统中实现鲁棒部署。

边缘部署与资源限制：尽管使用了压缩模型（YOLOv11和LLaMA3.2-1B），但多模态智能体的实时编排施加了不小的计算负载。在低功耗车规级边缘处理器（例如NVIDIA Jetson、Qualcomm Snapdragon Ride）上并发运行目标检测、LLM推理和外部API查询的推理管道需要高效的调度。在高传感器输入频率或多智能体调用链下，平衡响应延迟和功耗仍然是一个关键瓶颈。

对外部API和网络延迟的依赖：提出的框架利用外部API来补充感知差距并提高干预准确性。虽然这些智能体显著丰富了上下文感知，但其有效性取决于稳定且低延迟的互联网连接。在真实世界驾驶场景中，特别是在农村、地下或高干扰区域，由于网络不稳定、带宽有限或数据计划限制，API访问可能会延迟或完全中断。为了缓解此类问题，该框架通过YOLO智能体优先考虑本地感知，该智能体作为主要和默认的传感机制。仅当LLM识别出模糊性或缺失的环境上下文时，才会调用API。例如，如果视觉上未检测到速度限制标志或交通密度模式不清晰，系统仅调用相应的智能体。这种补充操作确保了优雅降级：即使没有外部数据，系统仍继续基于本地传感器线索自主运行。然而，对API调用的依赖引入了诸如可变