自主系统验证中基于搜索的场景选择方法标准化基准评测框架研究

《Journal of Marine Science and Engineering》：Toward Standardized Benchmarking of Search-Based Scenario Selection Methods in Autonomous System Validation

　　

自主系统必须在罕见且安全关键的条件下展现出可靠的安全性和鲁棒性。由于可能的运行情境范围广阔，无法穷举测试，基于场景的测试（SBT）已成为一种结构化方法，用于将系统暴露于具有代表性和挑战性的情境中。基于搜索的场景选择方法（SBSSM）通过算法探索场景空间来识别关键且具信息量的案例。然而，现有实现往往与特定领域和仿真环境紧密耦合，阻碍了跨应用领域的可复现性、可比性和泛化能力。本文引入一个基准评测框架，通过提供领域无关的环境以系统性评估SBSSM，从而应对上述局限。该框架建立在海事仿真研究及文献的实证观察之上，生成模仿其中结构模式而抽象掉应用特定语义的合成测试实例。其提供标准化性能指标与关键方法类的参考实现，使得在受控、可重复条件下新方法能与已有方法进行直接比较。示例性演示表明该基准如何揭示不同方法在多种结构设定下的典型优势与弱点。作为一个可复现且可扩展的基线，该框架促进了标准化性能评估以及方法论进展从海事导航向汽车安全等领域的迁移。

研究背景方面，随着人工智能在海事自主水面船舶（MASS）等安全关键系统中的应用增加，场景参数空间呈组合爆炸式增长，传统穷举测试不可行。基于场景的测试（SBT）成为替代方案，但基于搜索的场景选择方法（SBSSM）因依赖特定仿真器、临界性定义不一、代码不开放，导致跨域不可比、不可复现。国际海事组织（IMO）目标型MASS规则自2026年7月生效，进一步要求基于仿真的风险证据。为此，研究人员提出一个领域无关的基准框架，以BR1至BR7七项需求（可复现性、跨域可比性、结构真实性、可控确定性、结构多样性、可扩展性、任务特定指标）为纲，从海事COLREG避让仿真中提取非线性、非凸、各向异性、稀疏性、不连续性五种结构特征，用高斯、超立方体、斜坡、正弦与噪声等解析基元随机组合生成合成临界性空间，并以离散傅里叶变换（DFT）结合k-Medoids聚类筛选多样实例。

关键技术方法上，研究人员依托TKMS ATLAS ELEKTRONIK交叉会遇仿真与德国宇航中心（DLR）eMIR海上交通仿真（MTS）中MTCAS直面对遇仿真两类实证来源，提取TTC、碰撞风险指数（CRI，基于DCPA与TCPA）、船域重叠三类指标刻画临界性曲面；随后以Beta分布塑形振幅、各向异性缩放与可选无关维度构造高维合成空间；用DFT频谱相关与统计描述子距离做k-Medoids选簇保证结构多样；评测侧按全局覆盖、极值搜索、代理重建、边界检测四类目标分别定义差异度、空间熵、收敛率、极值间隙、MSE、R²、F1覆盖、精度、有效性、覆盖率等指标，并在6D/4D/2D空间以固定预算、多随机种子复现Random、LHS、Sobol、IPSO、GPR-UCB、IDW、ANN、NNDV、GDNNAS九种参考方法。

研究结果部分，第一节引言指明参数空间爆炸与SBSSM异质化障碍，列出BR1–BR7。第二节背景将临界性空间形式化为场景参数到标量安全响应的映射，回顾TTC、STL鲁棒性、PEGASUS曲面等文献，将SBSSM分四类：全局探索覆盖（Random/LHS/Sobol）、目标极值搜索（IPSO/GPR-UCB）、代理重建（IDW/ANN）、边界区域检测（NNDV/GDNNAS），并指出已有SafeBench、OpenSBT、COCO等基准均不满足多目标跨域评测。第三节实证景观分析由TKMS交叉场景与DLR对遇场景给出非线性、非凸、各向异性、稀疏、不连续五条结构性质（对应图2、图3）。第四节基准设计列明基元函数（公式3–8）、Beta采样与各向异性假设、DFT+k-Medoids多样性保证、图4三例合成曲面，并以五标量描述子（非线性残差1?R²、多峰数、梯度协方差特征值比、临界区比例、不连续网格比）在图5（2D）、图6（4D）中验证合成空间覆盖经验参考两端。评价指标分4.6.1通用（均值临界度、最大临界度、差异度、空间熵、时间成本）与4.6.2–4.6.5四类专用。基准结构以真实函数作地面真值、记录查询日志、开源可扩。第五节应用演示中，5.1协议固定千次级查询与十重复现；5.2全局覆盖下Sobol差异度最低；5.3极值搜索下GPR-UCB在2D与4D均获最高均值临界度且2D收敛步数少于IPSO，4D下仅GPR-UCB在2/10次达阈；5.4代理重建中2D下ANN与IDW互有胜负，3D下IDW全面占优，ANN在Space1的F1接近零说明临界区漏检；5.5边界检测中NNDV覆盖优于GDNNAS，GDNNAS精度高但初始量敏感；5.6外部效度以DLR 4D空间嵌入插值后跑九法，Kendall τ显示差异度排序τ=0.85±0.07，代理与边界类指标在10/10或9/10合成空间复述真实空间排序，平均临界度排序不稳定。第六节讨论逐条对照BR1–BR7满足情况，指出抽象间隙（物理传感噪声、闭环控制器动态未全建模）、单域单经验空间验证、高维Nyquist–Shannon采样指数爆裂、基元库偏置四项局限；未来工作指向动态多阶段、异方差噪声、大语言模型（LLM）场景生成、多目标指标与硬件在环外验。第七节结论总结该框架以结构抽象桥接海事与汽车等领域，支撑IMO MASS Code仿真证据需求，方法排序预测效度目前仅海事空间证实。

讨论部分研究人员指出，框架虽满足BR1–BR7，但仍存抽象间隙：解析噪声仅近似物理传感器与闭环时延；5.6节外部效度仅基于单一DLR对遇空间八级因子网格线性插值，类内仅两法比对统计力有限；经验参照集小且八级分辨率低；高维下确定性强结构受Nyquist–Shannon限制只能靠随机基元；基元库不能穷尽未来拓扑。结论部分翻译如下：本工作引入可复现且领域无关的SBSSM评测基准，填补自主系统验证跨域可比缺口，回应MASS验证中基于仿真的临界多船会遇场景可比较选择需求。通过脱离应用语义、聚焦结构特征，合成临界性空间在保持解析可处理与可扩的同时模仿真实运行复杂性。标准化指标与日志使异构算法在受控可重复条件下被系统评估。定量分析表明合成实例覆盖经验参照结构区间，且基准上方法排序与经验仿真空间大体一致。贡献满足BR1–BR7。该基准非孤立学术件，而是具体用例与方法论双向桥梁：海事或汽车经验可反哺新实例设计，基准精炼算法可携证据期望回迁原域。实践中可作高保真仿真前的方法初筛阶段，尤其支撑IMO MASS Code与船级社指南下COLREG避让场景选择可复现比较。跨域转移性虽由汽车文献结构动机，但预测效度暂仅海事证实。通过可控条件下系统跨法比较，基准为多样自主系统验证中SBSSM证据化选择与适配奠基，并构成该领域标准化基准一步。