S2R-Bench：面向自动驾驶仿真到真实评估的首个多模态传感器异常基准数据集

《Scientific Data》：S2R-Bench: A Sim-to-Real Evaluation Benchmark for Autonomous Driving

本研究针对自动驾驶感知算法在极端天气和传感器异常下可靠性评估不足的问题，开发了首个仿真到真实场景的传感器异常基准数据集S2R-Bench。该数据集包含真实采集与模拟生成的10,117帧多模态数据（摄像头/LiDAR/4D雷达），覆盖6类恶劣场景，通过对比实验验证了仿真数据与真实数据的差异，为提升自动驾驶系统在复杂环境下的鲁棒性提供了重要数据支撑。

　　

在自动驾驶技术飞速发展的今天，安全性和可靠性始终是行业关注的焦点。然而，现有的感知算法在面对真实世界中的极端天气条件和传感器异常时，往往表现出明显的性能下降。雪花遮挡摄像头镜头、浓雾影响激光雷达点云质量、强光导致图像过曝——这些看似简单的自然现象，却可能成为自动驾驶系统的"阿喀琉斯之踵"。更令人担忧的是，当前用于评估算法性能的基准数据集大多是在理想条件下采集的"干净"数据，无法真实反映算法在恶劣环境下的实际表现。

传统的仿真方法试图通过算法扰动来模拟这些异常情况，但模拟数据与真实数据之间存在的差距，使得基于仿真数据训练的模型在真实场景中往往表现不佳。这种"仿真到真实"的差距，特别是下雪天传感器被冰冻水滴或积雪遮挡、车辆被积雪覆盖等复杂现象，现有仿真方法难以准确还原。正是为了填补这一关键空白，由清华大学、北京理工大学等多所高校与企业联合开展的研究团队在《Scientific Data》上发表了题为"S2R-Bench: A Sim-to-Real Evaluation Benchmark for Autonomous Driving"的研究，推出了首个专注于传感器异常鲁棒性评估的仿真到真实基准数据集。

为了开展这项研究，研究人员构建了包含高分辨率摄像头、80线激光雷达和两种4D雷达的多传感器平台，在北京地区进行了为期一个多月的数据采集，覆盖城市道路、郊区、高速公路、隧道等多种场景，总里程约700公里。数据采集特别关注了不同天气条件（小雪、中雪、雾天）和光照条件（白天、夜晚、黄昏），确保了数据的多样性。最终形成的S2R-Bench数据集包含三个部分：清洁数据（S2R-C）、真实传感器异常数据（S2R-R）和模拟传感器异常数据（S2R-S），共计151个序列、10,117帧经过精确时间同步的多模态数据。

研究团队采用了多种技术方法来确保数据质量和使用价值。传感器时间同步通过精密时间协议（PTP）实现，将各传感器间的时间偏移控制在20毫秒以内。标定方面，分别进行了相机-激光雷达联合标定和相机-4D雷达联合标定，其中激光雷达坐标系被设为多传感器相对坐标系的原点。数据标注提供了六类对象的3D边界框和物体标签（汽车、行人、骑行者、公交车、卡车和其他），每个对象的标注信息包括相对坐标、绝对尺寸和鸟瞰图视角下的方向角。

研究结果通过多个基准模型的对比测试，揭示了仿真数据与真实数据之间的性能差异。在点云-based的PointPillars模型测试中，激光雷达在雾天场景下的3D检测精度为37.63%，而模拟数据的最佳结果为31.91%（3D_Corruptions_AD方法）。在图像-based的SMOKE模型测试中，真实小雪场景下的检测精度为25.22%，而模拟数据的最佳结果为38.78%（Robo3D方法）。这些差距在某些场景下尤为明显，例如在空间失准情况下，模拟数据的检测性能显著优于真实数据，表明现有仿真方法难以准确还原真实的传感器异常情况。

多模态融合模型Focals Conv的实验结果进一步验证了数据集的实用性。当使用清洁数据（S2R-C）训练并在真实异常数据（S2R-R）上测试时，激光雷达在中雪条件下的3D检测精度达到59.64%，而两种4D雷达（Arbe和Oculii）的精度分别为44.05%和16.94%。这一结果不仅展示了不同传感器在恶劣条件下的性能差异，也凸显了4D雷达作为激光雷达补充的潜力。

数据集的组织结构精心设计，便于研究社区使用。S2R-C、S2R-R和S2R-S三个部分分别按照8:1:1、52.3%:25.3%:22.4%、52.1%:29.2%:23.7%的比例划分为训练集、验证集和测试集。S2R-S部分更包含四个子集，分别使用3D_Corruptions_AD、MultiCorrupt、Robo3D和RoboDepth方法生成，为不同仿真方法的比较研究提供了便利。

研究的另一重要贡献是提出了传感器异常的模拟方法。针对雪天条件，研究人员使用LiDAR_snow_sim方法模拟激光雷达和4D雷达的点云数据，通过设置0.20、0.73、1.5625、3.125和7.29五个等级的降雪率来控制雪量密度。对于雾天条件，采用Robo3D方法，通过α参数（0.005、0.01、0.02、0.03和0.06）控制雾的浓度。亮度异常则通过添加零均值高斯抖动来模拟强阳光影响，空间失准则通过在外参旋转和平移上添加高斯噪声来实现。

通过对数据集的统计分析，研究人员发现数据集中大多数标注物体集中在距离自车80米范围内，且物体类别以汽车（约53%）、行人（约20%）和骑行者（约19%）为主。这一分布特征反映了实际道路环境的真实情况，保证了数据集的实用价值。时间分布方面，白天、夜晚和黄昏采集的数据分别占真实数据集的51.3%、41.3%和7.4%，确保了不同光照条件的覆盖。

研究的校准工作为多模态数据融合提供了坚实基础。通过张正友标定法实现相机内参和外参的精确校准，利用Auto66时间同步盒确保多传感器数据的时间一致性。投影方法部分详细介绍了如何通过变换矩阵将激光雷达点云投影到相机坐标系，为后续的多模态融合算法开发提供了技术支撑。

S2R-Bench数据集的发布标志着自动驾驶感知算法评估进入了一个新阶段。该数据集不仅提供了大规模、高质量的真实传感器异常数据，还包含了多种仿真方法生成的对应数据，为"仿真到真实"传递的研究提供了独一无二的平台。通过系统性的对比实验，研究揭示了当前仿真方法与真实数据之间的差距，特别是在亮度异常和空间失准等场景下，仿真数据与真实数据之间存在显著差异。

这项研究的实际意义在于，它为自动驾驶系统在复杂环境下的可靠性评估提供了标准化基准，推动了鲁棒感知算法的发展。随着自动驾驶技术向更广泛的应用场景扩展，应对极端天气和传感器异常的能力将变得越来越重要。S2R-Bench数据集的发布，将助力研究人员开发出更具适应性和鲁棒性的感知系统，最终推动自动驾驶技术的安全落地和广泛应用。

数据集已通过Figshare平台公开共享，相关代码已在GitHub开源，为研究社区提供了完整的数据资源和技术支持。这项工作不仅填补了自动驾驶领域在传感器异常评估方面的空白，也为未来的仿真到真实研究设立了新标准。