从可优化到可交互:混合数字孪生赋能的车路协同系统测试
《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》:From optimizable to interactable: Mixed digital twin-empowered testing of vehicle-infrastructure cooperation systems
【字体:
大
中
小
】
时间:2026年09月06日
来源:TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES 8.4
编辑推荐:
• 我们提出超越"可优化"的"可交互"VICS-DT等级,以及用于交互式VICS测试的IMPACT框架。• 通过引入混合数字孪生(mixedDT),IMPACT实现了"物理-虚拟动作交互",能够进行超越纯仿真的安全边界场景测试。• 我们在I-VIT平台上实现了IMPACT,并
• 我们提出超越"可优化"的"可交互"VICS-DT等级,以及用于交互式VICS测试的IMPACT框架。• 通过引入混合数字孪生(mixedDT),IMPACT实现了"物理-虚拟动作交互",能够进行超越纯仿真的安全边界场景测试。• 我们在I-VIT平台上实现了IMPACT,并通过案例研究验证了框架和平台的有效性。1. 引言随着下一代5G通信技术的突破,车辆与万物(V2X)技术驱动的车路云超可靠低时延通信(URLLC)已成为可能(Gao et al., 2025b)。这进一步促进了车-基础设施协同系统(VICS)(Liu et al., 2021, Yu et al., 2022, Zhang et al., 2025)乃至车-路-云一体化系统(Chu et al., 2021, Li et al., 2020)的开发与实际部署。典型应用包括:协同感知以扩展感知范围(Huang et al., 2025)、协同规划以减少出行时间(Han et al., 2026),以及协同控制以降低能耗(Gao et al., 2025a)。VICS在提升道路交通系统的安全性、效率和可持续性方面已展现出巨大潜力。因此,VICS在实际部署之前需要进行广泛的验证和测试(Feng et al., 2023, Feng et al., 2021)。鉴于实际现场测试资源消耗过大(Xu et al., 2021),现有的VICS研究主要依赖基于仿真的测试,例如:增强驾驶安全的基础设施预警系统(Zhang et al., 2025)、根据车辆位置自主开关的智能路灯(Zhao et al., 2022),以及根据交通流量动态调整信号配时的智能交叉口(Han et al., 2026, Li et al., 2024)。然而,纯仿真往往无法准确重现物理世界中固有的未建模且不可预测的噪声和干扰,例如低层次车辆动力学、传感器测量偏差和通信抖动。为克服这些局限性,必须将物理因素纳入虚拟仿真之中。在此背景下,数字孪生(DT)框架(Glaessgen and Stargel, 2012)——通过促进物理实体与虚拟实体之间的无缝连接与交互——成为一种极具前景的工具。如图1(a)所示,DT通常由两个主要组成部分构成:物理空间中的物理实体以及虚拟空间中物理实体的虚拟对应物(孪生实体),二者通过双向闭环交互相互关联。通过这种双向同步与交互,DT有望促进VICS测试(Gu et al., 2025)。近期,一些研究开始探索基于DT的VICS测试在典型应用中的实现,包括智能停车(Zhang et al., 2022)、道路基础设施部署优化(Demiyanushko, 2021)、智能隧道照明(Zhao et al., 2022)以及自适应交通信号控制(Dasgupta et al., 2024)。图1. 经典DT与混合DT示意图。(a) 在经典DT中,虚拟实体通常是物理实体的数字对应物。(b) 在混合DT中,虚拟实体独立存在,物理实体和虚拟实体被整合到统一的混合空间中,它们可以共存并相互交互。1.1. 基于DT的VICS测试成熟度分类体系提供了一种结构化的方式来理解现有研究并预见未来趋势。与自动驾驶领域广泛采用的SAE等级(Committee, 2021)不同,目前VICS-DT尚无广泛接受的分类体系。因此,如表1所示,我们采用SUN和QIN(2023)提出的分类体系,该体系最初是为道路交通系统的DT开发的,能够有效捕捉现有研究中普遍的理解和新兴趋势。由于VICS是道路交通系统的子集,该分类体系可以适配于VICS。由于基于DT的VICS测试从根本上依赖于VICS-DT系统本身,VICS-DT的成熟度等级可以清晰地阐明DT在VICS测试中的应用方式、所扮演的角色以及未来可能的发展方向。以下按照该分类体系分析现有研究。表1. VICS-DT成熟度等级及其与CDA协同等级的对应关系(SAE International, 2025)。等级 能力 要求 CDA协同对齐(SAE International, 2025)L1 可视化(Su et al., 2022, Xu et al., 2023) 通过虚拟映射物理(全息感知) 需要新兴感知数据,要求全息数据治理。 A类:状态共享("我在这里,我看到了什么")L2 可诊断(Chen et al., 2019, Muppalla et al., 2017) 通过虚拟诊断物理(因果推断) 需要时空连续的检测数据,要求对道路交通系统进行因果诊断。 A类:状态共享("我在这里,我看到了什么")L3 可预测(Yu et al., 2021, Zhu et al., 2022) 通过虚拟预测物理(决策支持) 需要多种控制策略,但存在高效果不确定性,要求决策支持。 B类:意图共享("我计划这样做")L4 可优化(Kamal et al., 2024, Zhao et al., 2022) 通过虚拟优化物理(自主控制) 需要双向数据交互,要求自主闭环交通控制。 C类:协同一致("让我们一起做这件事")L5 可交互* 通过虚拟驱动物理(动作级交互) 物理实体与虚拟实体之间的双向动作级交互,要求在控制中直接人工干预。 D类:指令执行("我将按指令行动")注:L1-L4等级改编自SUN和QIN(2023)。L1-L3等级产生的输出必须被操作化地整合到自动化或人工介导的虚拟到物理反馈过程中,以满足DT框架的交互性要求(Defence Science and Technology Laboratory, 2025; ISO/IEC, 2023; Sciences, 2024)。L5(*)等级为本研究新提出。CDA等级指SAE J3216标准(SAE International, 2025)。如图表1所示,原始分类体系仅包含L1-L4等级(SUN和QIN, 2023),本文针对VICS测试的实际需求提出了扩展的L5等级:• L1(可视化)侧重于使用可观测数据将物理实体映射到虚拟空间,需要准确和充分的感知数据。典型主题包括道路盲区中的车辆轨迹重建(Su et al., 2022)和联合多车检测与跟踪(Xu et al., 2023)。L1构成了VICS-DT构建的基础。• L2(可诊断)基于数据分析识别交通系统中的问题及其原因,需要模型构建和因果推断。典型主题包括诊断由信号配时不佳导致的交叉口效率问题(Chen et al., 2019),以及构建交通事件诊断知识图谱(Muppalla et al., 2017)。L2代表了VICS-DT的初始应用阶段。• L3(可预测)从现有数据预测未来交通状态以支持控制决策,需要准确的预测模型。典型主题包括交通流量预测(Zhu et al., 2022)和高速公路高风险事件预测(Yu et al., 2021)。L3将VICS-DT过渡到实时在线运行。• L4(可优化)通过物理实体与虚拟实体之间的实时双向数据交互来优化物理控制方案,需要闭环数据交互和实时优化策略。典型主题包括动态隧道照明调整(Zhao et al., 2022)和多交叉口自适应信号控制(Kamal et al., 2024)。L4是当前VICS-DT研究的焦点,基于物理实体上传的数据在虚拟空间生成优化建议。然而,在经典DT框架下,虚拟实体通常仅作为物理实体的数字对应物,而非作为独立系统参与者运行;如图1(a)所示。因此,在前述研究中,虚拟实体在基于DT的VICS测试中的潜力尚未被充分探索和发挥。特别是,VICS测试中的一大挑战是边界场景评估,因为此类场景最可能导致系统故障,但在常规测试中难以捕获。本研究结合VICS测试背景,借鉴代表性研究(Bolte et al., 2019, R?sch et al., 2022, Zhao et al., 2025)和相关标准(International Organization for Standardization, 2019, International Organization for Standardization, 2022),操作性地将边界场景定义为:与VICS测试任务相关的、不频繁的、意外的或异常的交通参与者组合、行为、环境条件和系统状态的组合,可能挑战系统能力、暴露功能不足或导致不安全行为。基于此定义,并与ISO 34504:2024中基于标签的场景分类方法保持一致(International Organization for Standardization, 2024),VICS测试中的边界场景可以通过两种互补的标准进行分类:(1) 根据其成因因素,包括环境因素(如恶劣天气)、实体相关因素(如异常交通信号灯)、行为因素(如紧急制动)和系统相关因素(如通信延迟);(2) 根据被挑战的VICS功能,包括感知、决策、规划、控制和合作(如智能道闸)。这些类别并非互斥,因为一个边界场景可能涉及多种成因因素并挑战多个系统功能。边界场景可以使用多个互补维度进行评估。遵循既定标准(International Organization for Standardization, 2022, International Organization for Standardization, 2025)和代表性研究(de Gelder et al., 2024, Westhofen et al., 2023),VICS测试的相关维度包括:(1) 关键性,即安全挑战或不良后果的程度;(2) 稀有性,即相对于参考分布的发生频率;(3) 可重现性,即一致地重建和执行测试场景的能力;(4) 覆盖度,即一组场景覆盖相关场景空间的范围;以及(5) 暴露局限能力,即暴露功能不足、不安全行为或违反预定义测试标准的能力。这些维度是互补的,并非所有维度都需要适用于每个单独的边界场景。人工智能驱动的方法已成为解决边界场景生成挑战的突出途径(Feng et al., 2023, Feng et al., 2021)。这些方法已被广泛用于生成符合物理规律的测试场景(Gaba et al., 2026),例如:基于交通规则的自动场景构建(Deng et al., 2023)、使用外部知识库生成安全关键场景(Zhang et al., 2024),以及直接从用户指令生成场景(Shi et al., 2025)。尽管取得了这些进展,基于AI的方法仍然受到固有限制的约束,例如幻觉问题,并且仍然难以准确模拟人类参与者的不可预测行为。此外,由于边界场景通常涉及安全关键或潜在危险的场景,传统的VICS边界场景测试主要依赖仿真(Feng et al., 2023),而仿真无法准确重现真实世界的噪声和干扰,导致边界场景下的评估不完整且可靠性不足。为克服这些局限性,本文旨在开发一种超越L4 VICS-DT的VICS测试方法,利用最先进的混合数字孪生(mixedDT)框架(Dong et al., 2023);如图2所示。图2. I-VIT示意图,IMPACT的实际实现。在混合测试床中,物理测试床中的物理车辆和基础设施(金色轮廓)、虚拟测试床中的虚拟车辆和基础设施(青色轮廓)、驾驶模拟器虚拟环境中的虚拟车辆(红色轮廓)以及HMI测试床中的人类操作员同步运行,并跨环境实时无缝交互。因此,I-VIT是一个交互式VICS-DT测试环境,人类操作员可以直接与I-VIT中的物理和虚拟实体进行交互。演示视频可在我们的项目网站获取:https://dongjh20.github.io/IMPACT。1.2. 基于可交互DT的VICS测试如图1(b)所示,混合DT是经典DT框架的扩展,包含物理空间、虚拟空间和混合空间。特别是,虚拟空间中的虚拟实体不受限于必须是物理实体的数字对应物,它们可以独立存在,并在混合空间中直接与物理实体交互。这种交互不仅限于数据交互(交换),还扩展到动作级交互,意味着虚拟实体的行为可以直接影响物理实体的状态,反之亦然。需要注意的是,物理空间是真实世界测试环境,而虚拟空间具有高度可配置性和可重现性,这特别适用于安全关键的边界场景。混合空间桥接物理空间和虚拟空间使其协同运行,从而促进更多潜在应用,增强DT在VICS测试中应用的灵活性和可扩展性。与混合DT密切相关的概念是混合现实(MR),其定义为一类结合物理对象和虚拟对象来创建物理和虚拟空间混合体的模拟器(Rokhsaritalemi et al., 2020)。MR包含多种概念,包括增强现实和增强虚拟性,旨在构建现实-虚拟连续谱,从而为用户提供更加沉浸式和交互性的环境(Flavián et al., 2019)。
为应对VICS的实测需求,mixedDT将MR(混合现实)理念引入经典DT,将传统的物理-虚拟对应关系扩展到一个物理实体与虚拟实体可以共存并交互的混合空间。基于mixedDT,并考虑现有VICS测试中极端场景生成方法的局限性,本文进一步提出VICS-DT应在L4(可优化)之上引入更高一级,即L5(可交互);详见表1。具体而言,在L4中,物理实体与虚拟实体之间的交互主要在数据层面进行,而L5级的VICS-DT允许虚拟实体独立存在,并与物理实体进行双向的动作级交互。因此,人类操作员可以对物理实体和虚拟实体施加控制意图以改变其状态,从而直接与其交互。我们将此类DT系统称为交互式数字孪生(InteractiveDT)。在此设计下,不确定、不可预测且难以建模的人类行为可以直接纳入VICS测试,从而引入与人类相关的真实不确定性,并支持人在回路(human-in-the-loop)的极端场景生成。这为AI驱动的方法提供了有效补充,使VICS在实际部署前能够进行更全面的测试。此外,通过将危险实体虚拟部署而将其他实体保持物理形式,还增强了实验的灵活性,从而在安全引入物理环境和实体的前提下实现VICS极端场景测试。VICS-DT的等级与其他分类体系也内在关联,包括SAE J3216标准中定义的协同驾驶自动化(CDA)类别(Federal Highway Administration, 2022, SAE International, 2025)。CDA在VICS中提供协同自动化功能,而VICS为其实施提供系统级环境。VICS-DT L1(可视化)和L2(可诊断)依赖于CDA A类下共享的车辆状态和感知信息。L3(可预测)旨在预测CDA B类下共享的意图以支持协同决策。L4(可优化)旨在协调和优化不同交通参与者的行为以提升系统级性能,与CDA C类定义的协商式协同一致。CDA D类要求特定交通参与者遵循经授权的CDA设备代理发出的指令,这在概念上与我们提出的L5(可交互)对齐。在此层级,人类操作员可以通过CDA设备发出监督指令,直接控制物理和虚拟交通实体。重要的是,L1-L3生成的可视化输出、诊断结果和预测必须反馈给现实世界的操作员、决策模块或控制流程,并随后导致影响相应物理实体的行动。只有在满足此条件的情况下,这些层级才能符合DT框架的交互性要求(Defence Science and Technology Laboratory, 2025; ISO/IEC, 2023; Sciences, 2024)。缺乏此类虚拟到物理反馈的实现被视为单向数字表征而非DT,因此不在本研究的范围内。1.3. 贡献基于基于DT的VICS测试的实际需求和创新的mixedDT框架,本文提出了IMPACT,即高级协同车-路测试的交互式混合数字孪生范式(Interactive Mixed-digital-twin Paradigm for Advanced Cooperative vehicle-infrastructure Testing),一种交互式VICS测试框架。如图3所示,IMPACT包含物理、虚拟和混合测试环境,以及一个交互环境。混合测试环境将其他三个环境集成为一个统一环境,使实体能够在各环境间同步运行并在实时中无缝交互。值得注意的是,人类操作员可以直接与物理实体和虚拟实体交互,从而随机影响其行为和状态。我们进一步开发了I-VIT(交互式车-路测试平台)来实现IMPACT框架,如图2所示。在提出的VICS-DT成熟度分类体系中,IMPACT是一个L5级测试框架,它建立在若干传统测试范式之上,同时通过系统级集成更广泛的实体和环境范围以及扩展的交互能力来拓展其范围。硬件在环(HIL)测试(Isermann et al., 1999)通常将物理硬件与实时仿真对象和环境耦合,通常用于评估嵌入仿真闭环中的物理组件或子系统。软件在环(SIL)测试(Tiwari et al., 1994)在宿主计算平台上运行软件,并将其与仿真的系统和环境模型耦合。车辆在环(VIL)测试(Gietelink et al., 2006)通常将物理测试车辆与实时仿真驾驶环境耦合以评估集成车辆功能。相比之下,IMPACT将多个独立运行的物理和虚拟实体(包括车辆和路侧基础设施)以及人类操作员集成到一个跨越物理和虚拟设置的共享混合测试环境中,从而实现面向交通级VICS测试的实时跨平台交互。因此,IMPACT的特点在于异构实体的系统级集成、跨平台交互以及人在回路能力。本文的主要贡献总结如下:•超越"可优化",我们首次提出了VICS-DT中的"可交互"层级,并进一步提出了基于DT的VICS测试的IMPACT框架。通过将高度不确定且不可预测的人类行为直接纳入混合测试环境中生成极端场景,IMPACT克服了传统AI驱动生成方法的固有局限性。•通过将最新的mixedDT框架引入VICS,IMPACT使虚拟实体能够独立且交互地存在,而非仅作为典型的数字对应物,从而实现了物理实体与虚拟实体之间的动作级交互,即"物理-虚拟动作交互"。这有助于在涉及物理环境和实体的极端场景下进行安全的VICS测试,而非仅在纯仿真中进行。•通过开发I-VIT实验平台来实现IMPACT框架。案例研究,包括通过人类交互生成的极端场景和物理-虚拟集成测试,证明了该平台及所提框架的有效性。下载:下载高清图片(559KB)下载:下载全尺寸图片图3. IMPACT框架的系统架构,由物理、虚拟、混合测试环境和交互环境组成。本文其余部分组织如下。第2节介绍IMPACT框架,第3节描述其实际实现——I-VIT实验平台。第4节展示在I-VIT上进行的案例研究,第5节总结本文。2. IMPACT框架在本节中,我们介绍所提IMPACT框架的整体架构和方法论。我们首先概述该框架,然后详细介绍其各组成部分。2.1. 框架概述如图3所示,IMPACT由四部分组成:1. 物理测试环境,主要由物理车辆和路侧基础设施组成,包括摄像头和雷达等传感器,以及路灯、交通信号灯和道闸等路侧设施。物理环境固有地包含噪声和干扰,是VICS的最终测试和运行环境。2. 虚拟测试环境,对应物理测试环境,包括虚拟车辆和虚拟路侧基础设施,涵盖摄像头等传感器以及路灯等路侧设施。与物理环境不同,虚拟环境为VICS测试提供了高度的灵活性和可配置性。3. 交互环境,广泛包括MR头戴显示器(MR HMDs)和驾驶模拟器等专用接口,以及显示器、麦克风、绘图板、键盘和鼠标等通用接口。交互环境捕获人类操作意图并将其转换为可传输的控制信号,作为人类意图输入接口,实现VICS的交互式测试。4. 混合测试环境,包括通信、数据聚合、数据分发以及人机接口(HMI)及外部接口模块。它运行在云端,是IMPACT的核心,也是实现交互式VICS测试的关键。它将物理测试环境、虚拟测试环境和交互环境桥接为一个统一环境,使它们能够同步运行并在实时中跨环境无缝交互。接下来,我们详细介绍各部分。2.2. 物理测试环境物理测试环境是VICS最终部署和运行的环境,也是部署前测试的环境。在物理测试环境中,与交互性最关键的方面是物理实体的精确状态获取和控制接口的合理设计。我们通过分析VICS的两大主要组成部分——车辆和路侧基础设施——来详细阐述这一点,它们可能需要不同的技术策略。对于物理车辆,关注的键状态主要为其运动学特性,如位置、航向、速度和加速度。车辆状态的准确获取相对简单,可以从车载传感器(如GNSS)实时获得。延迟补偿和状态估计方法在相关研究中也已成熟建立。因此,车辆状态的数字孪生一直是此前VICS-DT的核心组成部分。车辆控制接口具有层次结构,可大致分为四个层级:(1)轨迹或路径层级,提供目标航点;(2)运动学层级,指定目标速度和目标转向角;(3)动力学层级,规定目标加速度以及目标转向角(或目标偏航率);(4)执行器层级,涉及油门开度(踏板行程)、制动压力和转向力矩。关于对外暴露的控制接口,前两个层级通常已足够。动力学层级和执行器层级应严格保持在车辆原生控制系统内部,以确保运行安全并维护外部控制输入的溯源性。成熟的自动驾驶架构也通常专注于前两个层级的设计,因为后两个层级已经高度成熟且可靠。对于路侧基础设施,我们考虑两类:传感器和设施。传感器仅获取数据并输入系统,作为非交互实体,不再进一步讨论。对于路侧设施,路灯、交通信号灯和道闸的状态是离散的,仅取有限数值。这些设施通常配备成熟的本地控制器并连接到区域控制板。因此,其准确状态可以直接从相应控制板获取并通过路侧单元(RSU)传输。在控制接口方面,与区域控制板交互即可,无需直接与单个路侧设施的本地控制器交互。例如,一种标准方法是将特定的位级控制命令发送到控制板以控制特定路灯的开关状态。这只需要访问控制板的位级命令映射表。因此,路侧设施的控制要简单直接得多。与车辆交互相比,这在物理测试环境中是一种本质上更安全的交互模式。2.3. 虚拟测试环境虚拟测试环境本质上是一个成熟的仿真环境,其中虚拟车辆和虚拟路侧设施的状态获取和控制都很简单,可以通过直接调用相应的API来实现。物理测试环境中讨论的控制接口同样适用于虚拟测试环境。与基于经典DT范式构建的传统VICS-DT系统不同,基于mixedDT的IMPACT框架允许虚拟实体独立存在,而不限于作为物理实体的数字对应物。这一特性为物理实体与虚拟实体之间的直接交互提供了底层架构基础。虚拟实体不再局限于被动接收来自物理实体的信息并提供优化反馈;相反,它们作为独立实体存在,可以直接与物理实体交互。当然,它们也可以简单地作为物理实体的孪生实体,即其数字对应物使用。因此,尽管虚拟测试环境在组件方面与物理测试环境相似,但这些组件的属性可能存在显著差异。因此,虚拟测试环境比物理测试环境提供了显著更大的灵活性和可扩展性:车辆数量、其行为及其底层动力学特性可以任意设计;传感器数量及其性能参数可按需配置;路侧设施的控制策略(如路灯)可以任意调整和测试而不会产生实际能耗。此类能力在物理测试环境中无法实现,或者需要大量资源并导致显著浪费。此外,这些高可配置虚拟实体的交互性促进了多种有前景的VICS测试应用。例如,在测试智能路灯(动态照亮前方区域并熄灭后方区域)时,将物理车辆与虚拟路灯耦合可以显著减少频繁开关造成的能耗。对于智能道闸(预认证不停车通行),初步调试可以将物理车辆与虚拟道闸配对——或反之——以防止由于参数设置不当导致的物理碰撞损坏。
自然而言,虚拟测试环境也存在固有的局限性:物理环境中的噪声和扰动在仿真中难以复现,因为它们难以建模和预测。
2.4 交互环境
交互环境的主要作用是捕捉和传递人类操作意图。在该环境中,人类操作员通过人机交互(HMI)设备与混合测试环境中的物理实体和虚拟实体直接交互,从而在VICS测试中引入高度非线性和不确定的人类行为,并自然生成边缘案例。
一般的交互流程如下,参见图3左下角的示意图。人类操作员可以通过HMI设备观察VICS的实时运行状态。这是通过HMI设备接收来自云端的实时状态更新并在本地渲染场景来实现的,从而实现实时场景可视化。由于实体模型存储在HMI设备上,仅传输状态数据,因此通信带宽需求相对较低。与此同时,人类操作员可以通过HMI设备传达控制意图,例如通过在MR HMD的注视点进行手势操作。HMI设备捕捉操作员的意图,并根据预定义的交互逻辑将其转化为具体的控制指令;例如,手势可能被转换为施加在特定车辆上的正弦速度扰动。HMI设备随后将指令打包成预定义的消息格式并传输至云端。云端随后对指令进行验证(例如,是否会导致负速度),将其映射到目标物理或虚拟实体对应的控制输入,并将生成的指令分发至目标实体执行。场景可视化和操作意图处理的详细实现机制如图4(a)和(c)所示,其对应的实现示例分别如图4(b)和(d)所示。这些内容将在3.3节中通过具体示例进一步阐述。
图4. 通过HMI设备进行场景可视化和操作意图处理的机制及其对应的实现示例。
超越主要关注数据驱动优化的基于数字孪生(DT)的经典VICS测试(L4级VICS-DT通过屏幕观察VICS-DT),IMPACT为VICS测试提供了新的视角。人类操作员可以通过HMI设备直接与VICS-DT系统进行交互,无论是通过专用接口还是通用接口。专用HMI设备包括MR HMD、驾驶模拟器和力反馈或触觉反馈设备,而通用设备则包括麦克风、键盘、鼠标、游戏手柄、触控板和绘图板。这些多样化的HMI设备使得能够从多种模态捕捉人类操作意图,并生成广泛的交互式测试用例。
值得注意的是,多模态大语言模型(MLLMs)的近期突破进一步降低了人机交互的门槛。MLLMs本身可以作为强大的HMI接口,将非结构化的人类输入(例如语音和手势)翻译为结构化命令表示。这种能力使得能够为VICS测试灵活生成边缘案例,代表了未来发展的一个有前景的方向。
2.5 混合测试环境
混合测试环境部署和运行在云端。具体来说,在多层云架构的语境下,它驻留在边缘云服务器层,以尽可能最小化通信延迟。如图3左侧所示,人类操作员通过这一基于云的中继与来自物理和虚拟测试环境的多样实体进行交互。因此,混合测试环境充当IMPACT框架的信息枢纽和控制中心,即整个VICS-DT测试系统。它主要由四个模块组成:(1) 通信模块,(2) 数据聚合模块,(3) 数据分发模块,(4) HMI与外部接口模块。图4(b)展示了通过MR HMD可视化的混合测试环境。渲染在镜片上的虚拟场景与通过镜片观察到的物理场景叠加,直观地展示了混合测试环境。
云端运行方案如下。通信模块持续接收来自物理和虚拟测试环境中物理和虚拟车辆及路边设施的状态数据,并将其转发至数据聚合模块。在该模块中,首先执行延迟补偿和时空对齐,特别是针对同一实体的多源测量(例如,物理车辆的状态可能由车载传感器报告,也可能由路边感知推断得出)。特别地,鉴于原始状态数据的异构性(例如,结构化自车数据与路边点云/图像),我们在不失一般性的前提下假设原始路边数据在RSU本地进行处理。因此,仅结构化数据被传输至云端。随后,来自多样物理和虚拟实体的数据在统一的坐标系和空间域——即混合测试环境——中对齐和聚合,产生标准化的、结构化的数据包,可供其他模块直接使用。这些数据包被转发至HMI与外部接口模块,在那里它们被转换以满足目标设备的要求后再进行传输。
与此同时,HMI与外部接口模块处理来自HMI设备的传入数据。具体而言,通过参考存储的交互逻辑映射表,它将原始HMI输入(例如,MR HMD消息指示目标车辆减速)翻译为显式控制指令。这些指令随后被路由至数据分发模块。在此,它们首先在混合测试环境上下文中进行标准化,并进行有效性评估(例如,防止超出范围的速度的或急剧的转向跳跃)。最后,利用存储的实体-指令映射表,指令被适配到目标实体原生环境的尺度和类型,并由通信模块分发执行。需要注意的是,当人类操作员未触发上传和分发控制意图的流程时,混合测试环境向物理和虚拟测试环境反馈的内容不仅限于底层控制指令,还可能包含高层级指导;参见图5(a)的说明。具体而言,反馈可能包括感知信息(如周围交通状态)、决策信息(如参考机动动作)和控制信息(即控制命令)。
图5. IMPACT框架内部数据交互及其实现(I-VIT平台)的示意图。
如上所述,来自物理和虚拟测试环境的多样和异构实体(车辆和基础设施)以及来自交互环境的HMI设备,都被整合到统一的混合测试环境中,在那里它们同步运行并实时地跨环境无缝交互,成功克服了经典数字孪生中的"组织孤岛"挑战(Grieves和Vickers, 2017)。因此,物理实体和虚拟实体之间——特别是车辆之间——建立了直接的动作交互。例如,物理车辆的制动动作可以直接触发后方虚拟车辆的制动。这代表了"物理-虚拟动作交互"的成功实现,超越了传统的数据级交换,即"物理-虚拟数据交互"。
此外,混合测试环境的模块化设计还实现了IMPACT框架内的指令-执行解耦。这种解耦引入了显著的灵活性和可扩展性,作为交互式VICS测试的一个基石。相应地,人类操作员和多样的VICS实体可以通过基于云的中继进行交互;参见图5(a)的说明。一方面,单个实体的原生控制接口不被暴露,它们仅与云端交互,从而确保安全。另一方面,通过利用预配置的交互逻辑映射表,云端为HMI设备提供简化的接口。这使得HMI设备能够专注于捕捉和传输人类意图,方便地绕过复杂且异构的VICS控制接口。
因此,在IMPACT框架内,高度不确定和不可预测的人类行为可以直接映射到特定VICS实体的动作上,提供超越AI驱动生成的有价值边缘案例。以下是一些示例:通过MR HMD,操作员可以在注视点处突然出现障碍物、对特定车辆施加速度扰动或触发其故障、向路边传感器注入特定噪声(或使其失效)、以及操作路障;通过驾驶模拟器,可以直接引入随机的人类驾驶行为;通过游戏手柄,可以对特定车辆施加不规则的速度波动;通过绘图板,可以注入自定义的手绘速度曲线。总之,这些多模态交互有效地支持了人在回路的VICS测试边缘案例生成,补充了AI驱动的生成方法。
此外,由于交互式VICS实体可以是物理的也可以是虚拟的,"物理-虚拟动作交互"的通用性结合指令-执行解耦,进一步提供了大量的实验灵活性和可扩展性,有助于实现无法通过简单平台堆叠完成的VICS测试。例如,在智能路灯测试中,车辆可以是物理的,并由人类通过驾驶模拟器控制,从而直接纳入随机人类驾驶行为,同时保持物理车辆的状态更新速率和测量精度。与此同时,路灯可以是虚拟的,避免了重复开关带来的能量消耗,并能够在物理路灯实际部署到VICS之前进行早期调试。
3. 框架实现
本节介绍IMPACT框架的实际实现。如图3和图5(a)所示,IMPACT框架具有简洁直观的架构,由物理、虚拟和混合测试环境以及交互环境组成。具体而言,图5(a)本质上展示了基于IMPACT框架的实验平台的理论架构。在该架构的指导下,我们实现的I-VIT自然地包含四个对应组件——物理、虚拟、混合和HMI测试台。图6详细展示了I-VIT架构及其组件之间的交互机制。I-VIT的一些关键参数汇总于表2。下面依次阐述各组件的实现细节。
图6. I-VIT架构及其四个组件——物理、虚拟、HMI和混合测试台——之间交互的示意图。
表2. I-VIT配置
| 组件 | 配置 |
|------|------|
| 物理沙盘 | 9 m × 5 m,与实际驾驶环境比例为1:14 |
| 物理测试台中的路边传感器 | 16个相同摄像头环绕物理沙盘 |
| 物理测试台中的路边设施 | 73个路灯、11个交通信号灯和3个路障 |
| 缩比物理车辆 | 215 mm × 190 mm × 125 mm,由Raspberry Pi 4B供电 |
| RSU主机 | CPU: Intel Core i9-14900KF,内存: 32 GB,GPU: NVIDIA RTX 5080 |
| 虚拟测试台主机 | CPU: Intel Core i7-10700K,内存: 16 GB |
| G29模拟器主机 | CPU: Intel Core i7-10700,内存: 16 GB |
| InnoSimulation模拟器主机 | CPU: Intel Core i7-8700,内存: 16 GB |
| 混合测试台边缘云服务器 | CPU: Intel Xeon Gold 5220R,内存: 64 GB,GPU: NVIDIA RTX 3090 |
3.1 物理测试台
物理测试台代表IMPACT中的物理测试环境,由物理交通环境、物理车辆和物理路边基础设施组成。如图7(a)所示,物理交通环境是一个经济实惠、便利且可重复使用的缩比沙盘(1:14缩比),捕捉了道路网络的关键结构。部署在物理测试台中的缩比物理车辆(215 mm × 190 mm × 125 mm)如图7(d)所示。为了获取精确的车辆状态,每个车辆上附有标记物,使FZMotion运动捕捉系统能够追踪其位置和航向角。该系统输出延迟为5 ms,位置精度为0.1 mm,角度精度为0.1°。鉴于车辆长度为215 mm且最大速度为1 m/s,本研究所考虑的交通级实验中该延迟的影响可以忽略不计。每个车辆的实时速度使用车载霍尔传感器测量。物理车辆的2%调节时间为15 ms。对于控制接口,我们采用成熟的指令对——目标速度和目标前轮转向角——该指令通过机器人操作系统(ROS)消息从云端发送。
图7. 物理和虚拟交通环境、车辆及设施。(a) 物理交通环境,尺寸为9 m × 5 m。(b) 基于Unity游戏引擎开发的虚拟交通环境。(c) 物理路边设施的串口号-设施映射表。蓝色表示路灯和交通信号灯,橙色表示路障。(d) 物理和虚拟车辆及路边设施。
物理路边基础设施由RSU集中管理。它涵盖路边传感器(具体为16个摄像头)和物理设施(包括路灯、交通信号灯和路障);如图7(d)所示。这些设施由专用的路边设施控制板统一管理。
在设施状态获取方面,路侧单元(RSU)通过串行接口定期向控制板发送查询命令。控制板为每个通道维护一个状态位,收到查询后返回一个包含所有通道状态的数据帧。如图7(c)所示,RSU存储了一张串行通道-设施映射表;通过解析返回的帧,它获取所有设施的状态并转发给云端。以云端控制方案为例,假设云端指示RSU打开左侧道闸。RSU首先查询映射表,确认左侧道闸对应第39通道。随后查询该通道的当前状态,若道闸处于关闭状态,则进一步查阅通道位控制命令映射表,获取开闸命令(0x26)和关闸命令(0x8A)。然后RSU将0x26发送至控制板,控制板据此驱动左侧道闸动作。3.2 虚拟测试平台虚拟测试平台对应于IMPACT框架中的虚拟测试环境,包含虚拟交通环境、虚拟车辆和虚拟路侧基础设施。该平台基于Unity游戏引擎开发,因此具备高保真物理特性和广泛的开发灵活性,运行帧率为50 FPS。如图7(b)所示,虚拟交通环境与物理环境共享相同的路网拓扑,便于在两个测试平台之间快速进行状态聚合和实体间的无缝交互;然而,其几何尺度与真实道路对齐,而非比例缩小后的设置。虚拟车辆(图7(d))采用经典运动学自行车模型(Rajamani, 2011)建模,可在虚拟交通环境中独立运行,从而实现与物理车辆的交互操作。此外,虚拟车辆也可作为相应物理车辆的数字孪生体。在这种情况下,执行运动学状态映射,包括位置、航向角和速度。由于虚拟交通环境是物理环境的按比例复制品,该映射可通过线性缩放变换高效且准确地实现。此外,由于I-VIT侧重于交通级交互而非微观车辆动力学,这种纯运动学映射带来的缩放效应在本研究范围内不会导致物理不一致的结果。路侧基础设施与物理测试平台中的设施对应,包括虚拟传感器和虚拟路侧设施(示例见图7(d))。利用Unity的父子层级机制,我们实现了路灯管理器、交通信号灯管理器和道闸管理器,以集中管理和控制虚拟路侧设施。此外,对于Unity资源库中不可用或不满足我们要求的实体,我们可以自定义模型。例如,道闸可使用两个立方体表示外观,通过绕枢轴旋转臂立方体实现开闸和关闸运动,提供了很高的灵活性。3.3 HMI测试平台HMI测试平台代表IMPACT框架中的交互环境,主要由HMI设备和人工操作员组成。在I-VIT中,HMI设备主要包括一台MR头显和四个驾驶模拟器。具体而言,MR头显采用的是微软HoloLens,驾驶模拟器由一台高保真InnoSimulation模拟器和三台罗技G29模拟器组成;详见图6左下角。基于图4(a)和(c)中提出的机制,其各自的可视化与交互实现如下所述。3.3.1 MR头显对于我们测试平台中使用的HoloLens,我们采用Unity进行场景开发,以便高效地可视化同样由Unity开发的虚拟平台。具体而言,在场景可视化方面,如图4(a)所示,我们首先构建一个模型库(如车辆、路灯和道闸)。对于每个模型,识别关键特征以确定其关键参数;例如,亮度是路灯的关键参数。静态参数(如车辆质量)随后进行配置。对于动态实体,进一步设计交互接口。例如,路灯仅需开关接口,而非具体亮度值。随后,在场景设计中,选择特定的模型元素,定义其空间和逻辑关系以构建和渲染静态场景。这些步骤在离线阶段完成。在线运行期间,接收到云端传输的状态数据后,系统识别需要更新的实体及其新状态,调用对应接口并重新渲染场景。HoloLens的实际可视化效果如图4(b)所示。对于操作意图处理,以图4(d)所示的交互示例为例。按照图4(c)中展示的处理机制,一旦操作员执行预设手势,HoloLens立即捕捉并识别该手势。通过参考预定义的交互逻辑,该手势被映射为一条指令,即将测试车辆速度增加一个单位。该指令随后上传至云端,按照第2.5节所述由云端处理并下发至车辆,导致速度变化,如图4(d)中的速度曲线所示。3.3.2 驾驶模拟器驾驶模拟器是成熟的HMI设备,配备方向盘、油门踏板和刹车踏板。借助IMPACT框架,我们将其集成到VICS-DT测试系统中,直接操控其中的物理或虚拟车辆。模拟器的场景可视化具有独特性,代表第一人称驾驶视角。我们通过物理车辆的车载摄像头提供物理驾驶视角(图8(a)),通过附于虚拟车辆的虚拟摄像头提供虚拟驾驶视角(图8(b))。此外,如图8(c)所示,可高度配置的虚拟驾驶视角可增强信息板显示前车速度,便于进行V2X相关测试。值得注意的是,借助IMPACT固有的混合DT机制,当选择虚拟车辆作为物理车辆的数字孪生体时,可通过该孪生体的虚拟驾驶视角控制物理车辆。图8. 驾驶视角与信息板。在(a)和(b)中分别展示了物理和虚拟视角的快照;具体视角见图上的屏幕。在(c)中,虚拟驾驶视角中前车的实时速度显示在前车上方的信息板上。作为高度专用的HMI设备,驾驶模拟器提供极其直接的接口。驾驶员行为被直接捕获并上传至云端,按照第2.5节所述进行处理,然后下发至目标车辆执行,从而触发场景可视化更新,完成交互闭环。3.4 混合测试平台混合测试平台代表IMPACT框架中的混合测试环境,直接部署和运行在边缘云服务器上。在IMPACT框架的指导下,它包含通信、数据融合、数据处理和数据分发模块,其运行机制完全遵循第2.5节中提出的范式。通过将来自物理、虚拟和HMI测试平台的多元异构实体集成到这个统一环境中,I-VIT使它们能够同步运行并实时跨平台无缝交互。具体而言,在混合测试平台中,人工操作员可以直接与I-VIT中的物理和虚拟实体进行交互和影响,而非仅限于被动观察。总体而言,HMI设备(如HoloLens、驾驶模拟器)为操作员可视化云端传输的实时状态,操作员上传的操作意图随后被云端转换为相应物理和虚拟实体的状态更新。此类交互VICS测试的底层机制和实际意义在第2.5节中已有详细阐述,实施细节在第3.3节中呈现。此类交互直接将不可预测的人类行为引入I-VIT上的VICS测试中,能够生成边缘场景,有效补充基于AI的场景,从而促进对测试算法进行更全面的评价。I-VIT中的交互VICS测试依赖于混合测试平台的正常运行,而后者又依赖于可靠的实时通信。图6全面展示了I-VIT中实体间的通信内容和协议。核心通信枢纽由一台千兆以太网交换机和一台支持无线连接的路由器组成。图5(b)总结了I-VIT中的关键通信链路,其中高可靠性和低延迟的有线通信作为主要传输模式。这些链路的单向通信延迟见表3。由于物理交通环境经过比例缩放,云端与物理车辆之间的无线通信链路仍表现出非常低的延迟。RSU-云端链路由于需要处理路侧摄像头的大量视频流以及更复杂的网络拓扑,有线延迟略高,但仍处于非常低的水平。表3. I-VIT中的通信延迟测量值(对应图5(b),单位:ms)值得注意的是,IMPACT框架和I-VIT平台的正常运行依赖于可靠、低延迟的通信。过大的通信延迟或持续的丢包可能导致平台不稳定。为说明这一问题,我们对典型的协作自适应巡航控制(CACC)编队测试进行了延迟敏感性分析,完整流程已发布于项目网站。结果表明,当云端与车辆之间的无线通信延迟超过1.46秒时,编队失去闭环稳定性。因此,在I-VIT平台上进行VICS测试之前,应进行延迟敏感性分析和延迟测量,以验证通信环境能否支持稳定运行。此外,混合测试平台还作为I-VIT的统一外部接口。通过与云端按预定义格式和协议通信,外部设备可以接收I-VIT实体的实时状态数据并返回控制命令。例如,HMI测试平台中的高保真InnoSimulation驾驶模拟器基于SCANeR Studio拥有独立的虚拟交通环境。通过与云端的直接交互,它被集成到整体系统运行中,支持第4节中将要展示的实验。因此,混合测试平台的这种架构设计使I-VIT内的交互VICS测试具有高度灵活性和可扩展性。I-VIT也存在局限性。它主要设计用于涉及多车辆交互的VICS交通级测试和验证,不支持依赖高保真车载传感器输入的单车辆自动驾驶功能的传感器级或全栈测试。4. 案例研究本节基于I-VIT平台,采用VICS中经典的车辆编队系统作为代表性案例。通过综合实验展示了I-VIT进行交互VICS测试的能力。我们首先详细介绍实验设置,然后对结果进行全面分析。接着,我们展示了使用AI驱动驾驶员模型的对比实验,最后演示了I-VIT中的额外VICS测试,包括虚拟障碍物注入、智能路灯和智能道闸场景。4.1 实验设置实验设置如图9所示。在I-VIT中,通过路侧摄像头获取物理车辆的精确状态。编队由八辆车组成,包括物理车辆和虚拟车辆。特别是,最后一辆虚拟车辆(第8辆车)来自高保真InnoSimulation模拟器的原生虚拟环境,并通过云端集成到实验中。人工操作员交互涉及两个主要方面:一名操作员通过MR头显(HoloLens)以随机方式触发干预,对首车施加紧急制动扰动。四名操作员通过模拟器接口直接操控物理和虚拟车辆,包含一台高保真InnoSimulation模拟器和三台罗技G29模拟器;详见图9下半部分。其余车辆采用经典CACC算法(Milanés et al., 2013)进行纵向控制,采用典型前瞻轨迹跟踪控制器(Amer et al., 2017)进行横向控制。因此,编队中既包含由CACC算法控制的网联自动驾驶车辆(CAVs),也包含人类驾驶车辆(HDVs)。编队的详细组成如图9中部所示。具体而言,编队沿物理和虚拟测试平台的上半部分行驶,对应于图10(a)中黄线围成的车道。在无外部扰动情况下,首车保持默认速度10.08 km/h。
由人类交互触发的制动扰动包含三个阶段:以 0.28 m/s2 的减速度减速至 1.01 km/h,保持低速 20 秒,然后在 12 秒后恢复至 10.08 km/h。图 10(a) 捕捉了实验过程的一个快照,将整个车队投射到虚拟空间中进行可视化,便于观察其实时运行状态。实验视频可在我们的项目网站上获取:https://dongjh20.github.io/IMPACT.
下载:下载高分辨率图像 (383KB)
下载:下载全尺寸图像
图 10. 实验快照。(a) 通过 Unity 将整个车队投射到虚拟空间的可视化。车队配置如图 9 所示。(b) 人类操作员通过 InnoSimulation 模拟器控制最后一辆车(8 号车)。实验视频可在我们的项目网站上获取:https://dongjh20.github.io/IMPACT.
4.2. 实验结果
实验结果如图 11 所示,其中速度曲线如图 11(a) 所示,车距如图 11(b) 所示。结果表明,由多个来源的八辆异构车辆组成的车队在混合测试平台中正常运行。具体来说,如图 11(a) 所示,人类操作员随机触发的制动扰动被准确地施加到头车上,从而引起整个车队的速度波动。分布在场队中的 CAV 有效地抑制了前车引起的速度扰动,防止了振荡沿车队传播,这与理论分析一致 (Wang et al., 2022)。同时,人类驾驶员的真实驾驶行为也被成功捕获。如图 11 所示,与 CAV 相比,HDV 表现出显著更大的速度波动,以及明显的响应延迟和过冲。
下载:下载高分辨率图像 (625KB)
下载:下载全尺寸图像
图 11. 实验中所有车辆的速度和车距曲线。人类操作员通过 MR HMD 向头车随机施加两次制动扰动,引起整个车队的速度波动。
此外,制动扰动构成了一个安全关键的边界情况,这在现实交通条件下很难实现。如图 11(b) 所示,由突然紧急制动触发的连锁反应使车距降至 5 米以下,导致实验中发生碰撞。然而,由于物理车辆和虚拟车辆在车队中交错分布,没有发生实际的物理碰撞或硬件损坏。这突显了 IMPACT 的“物理 - 虚拟动作交互”能力如何促进涉及物理环境和实体的边界情况下安全 VICS 测试。总之,这些结果验证了 I-VIT 平台在交互式 VICS 测试中的有效性,并进一步支持了底层 IMPACT 框架的整体有效性。
4.3. 对比实验
我们进一步进行了对比实验,以说明 IMPACT 背后的动机。车队组成保持与图 9 所示相同,除了所有车辆都是虚拟的,从而形成纯基于仿真的设置。此外,HDV 由人工智能驱动的跟驰模型控制,而不是真实的人类驾驶员。具体而言,我们采用了作为 FollowNet 基准发布的一部分预训练的基于长短期记忆 (LSTM) 的跟驰模型 (Chen et al., 2023)。该模型在广泛使用的 NGSIM 数据集上训练,适用于本实验考虑的低速跟驰场景。实验结果如图 12 所示,相应的实验视频可在我们的项目网站上获取。如图 12(a) 所示,虚拟车辆的速度曲线比图 11(a) 中显示的物理车辆的速度曲线要平滑得多。物理车辆的速度曲线由于执行误差、测量噪声和其他物理干扰而表现出小尖峰。IMPACT 精确地纳入了物理因素,以保留这些固有的现实世界噪声和干扰,而这些因素在仿真中很难准确重现。此外,由 LSTM 控制的 HDV 表现出相对平滑的跟驰行为,而由人类驱动的 HDV 表现出明显的速度曲线振荡变化,如图 11(a) 所示。这种差异表明,当前的 AI 模型仍然无法完全重现人类驾驶行为的固有不确定性。这一局限性直接促使我们在 IMPACT 中引入人在回路中的边界情况生成,以补充 AI 驱动的生成方法。我们还进行了全 HDV 和全 CAV 车队的实验,相应的结果可在我们的项目网站上获取。
下载:下载高分辨率图像 (361KB)
下载:下载全尺寸图像
图 12. 对比实验中所有车辆的速度和车距曲线。车队由 CACC 控制的 CAV 和 LSTM 控制的 HDV 组成,与图 9 所示的组成相同。
4.4. I-VIT 中的额外 VICS 测试
我们进行了额外的实验,以评估 IMPACT 框架和 I-VIT 平台支持其他代表性 VICS 场景测试的能力,包括虚拟障碍物注入、智能路灯和智能道闸。这些实验的视频可在我们的项目网站上获取。如图 13(a) 所示,人类操作员通过 MR HMD 使用预定义手势突然将虚拟障碍物注入到车辆路径中。在连续的突然虚拟障碍物注入下,如图 13(b) 所示,车辆未能及时避开障碍物并与虚拟障碍物发生碰撞。此类场景能够有效评估紧急情况下的障碍物避让算法。该实验进一步展示了 IMPACT 支持交互式、人在回路中的安全关键测试场景生成的能力。
下载:下载高分辨率图像 (617KB)
下载:下载全尺寸图像
图 13. 突然虚拟障碍物注入实验。(a) 人类操作员通过 MR HMD 手势在车辆前方注入突然的虚拟障碍物。(b) 在连续的突然虚拟障碍物注入下,车辆未能及时避开障碍物并与虚拟障碍物发生碰撞。
图 14(a) 和 (b) 展示了在 IMPACT 框架中使用物理车辆和虚拟路侧基础设施实现的车路协同场景。物理车辆的虚拟孪生由红色边界框突出显示。我们还使用常规设置进行了实验;详情见我们的项目网站。图 14(a) 展示了智能路灯实验,其中人类驾驶员使用驾驶模拟器操作物理车辆。这种设置自然地纳入了真实的人类驾驶行为,同时保留了物理车辆的实际状态更新率和测量精度。同时,使用虚拟路灯避免了早期测试阶段反复切换物理路灯开关所带来的能耗。图 14(b) 展示了智能道闸实验,其中物理车辆与虚拟道闸进行交互。这种设置避免了早期测试阶段车辆与道闸臂碰撞可能造成的物理损坏。
下载:下载高分辨率图像 (353KB)
下载:下载全尺寸图像
图 14. 智能路侧基础设施实验。物理车辆的虚拟孪生由红色方框突出显示。(a) 智能路灯:使用带有虚拟路灯的物理车辆避免了早期调试阶段频繁切换物理路灯带来的能耗。(b) 智能道闸:使用带有虚拟道闸的物理车辆避免了早期调试阶段车辆与道闸臂碰撞可能造成的物理损坏。这些实验展示了在 IMPACT 框架内进行车路协同实验的可行性。IMPACT 的“物理 - 虚拟动作交互”能力使得物理实体能够被安全地纳入 VICS 测试中。
5. 结论
在本文中,我们提出了 IMPACT,一个基于 mixedDT 概念构建的交互式 VICS 测试框架。受实际测试需求的启发,我们在 VICS-DT 分类体系中引入了 L5“可交互”级别,超越了现有的 L4“可优化”级别。IMPACT 是一个 L5 级框架,由物理、虚拟和带有交互环境的混合测试环境组成,使人类操作员能够直接与 VICS-DT 系统中的物理和虚拟实体进行交互。这使得不可预测且难以建模的人类行为能够直接纳入 VICS 测试,从而支持人在回路中的边界情况生成,并作为 AI 驱动生成方法的宝贵补充。此外,由 mixedDT 启用的 IMPACT“物理 - 虚拟动作交互”能力促进了涉及物理环境和实体的边界情况下安全 VICS 测试。最后,我们通过 I-VIT 平台实现了 IMPACT 框架,所进行的实验验证了该平台以及框架的有效性。
在未来,基于 IMPACT 框架和 I-VIT 平台,将探索几个研究方向。首先,我们打算研究 MLLM 如何赋能 VICS 测试,特别是在边界情况生成方面,并在 I-VIT 平台上进行相应的实验。我们将进一步探索更广泛的边界情况类别,系统比较这些类别中不同的生成方法,并从多个维度评估其输出。其次,我们计划进一步扩展 IMPACT 框架,例如完善多个并发交互请求的响应和处理机制。最后,在 IMPACT 框架的指导下,我们将利用 I-VIT 在更广泛的 VICS 应用上进行更广泛的实验,包括合作感知、智能交通信号控制以及其他 VICS 功能。
CRediT 作者贡献声明
董江宏:写作 – 审阅与编辑,写作 – 原始草稿,可视化,验证,软件,资源,方法论,调查,正式分析,数据管理,概念化。杨春颖:写作 – 原始草稿,可视化,验证,软件,方法论,调查,正式分析,数据管理,概念化。蔡梦驰:可视化,验证,软件,资源,资金获取,正式分析,数据管理,概念化。陈超逸:写作 – 原始草稿,可视化,验证,软件,资源,方法论,资金获取,正式分析,数据管理,概念化。徐清:写作 – 原始草稿,监督,项目管理,方法论,调查,资金获取,数据管理,概念化。王建强:监督,项目管理,方法论,资金获取,数据管理,概念化。李柯强:写作 – 原始草稿,验证,监督,资源,项目管理,方法论,调查,资金获取,正式分析,概念化。
董江宏|杨春颖|蔡梦驰|陈超逸|徐清|王建强|李柯强