SynthSoM：面向机器联觉的智能多模态感知-通信融合仿真数据集

为解决6G-AIoT(人工智能物联网)中多模态感知与通信数据融合的难题，北京大学团队开发了SynthSoM数据集，集成AirSim、WaveFarer和Wireless InSite三大高精度仿真平台，构建了涵盖RF信道衰落、毫米波(mmWave)雷达与非RF传感(如LiDAR点云)的多模态数据，通过真实测量验证其可靠性，为机器联觉(SoM)研究提供标准化基准。

　　

在6G与人工智能物联网(AIoT)融合的浪潮中，智能体需通过多模态传感器与通信设备协同完成复杂任务。然而现有集成感知与通信(ISAC)技术仅聚焦射频(RF)领域，无法支撑视觉、激光雷达(LiDAR)等非RF模态的融合。更棘手的是，真实世界数据采集受成本、环境多变性和设备校准难度制约，而现有仿真数据集如KITTI缺乏通信数据，DeepSense 6G缺失雪天场景，ViWi忽略无人机(UAV)轨迹，导致算法验证存在严重局限性。

北京大学电子学院光子与通信国家重点实验室的XiangCheng、Ziwei Huang等研究人员在《Scientific Data》发表研究，提出名为SynthSoM的创新解决方案。该团队突破性地整合了三大仿真工具：微软AirSim(生成RGB图像/深度图/LiDAR点云)、REMCOM WaveFarer(模拟77-81 GHz毫米波雷达)和Wireless InSite(构建SISO/MIMO信道模型)，通过坐标对齐和动态轨迹同步技术，首次实现跨模态数据的时空精准匹配。研究涵盖5类空地协同场景(城市十字路/立交桥/山区道路等)、3种天气(晴/雨/雪)、2个频段(sub-6 GHz/mmWave)及3种天线类型，最终生成140K组信道矩阵、290K深度图和79K LiDAR点云，数据规模与多样性远超同类数据集。

关键技术方法包括：1) 通过CityEngine和RoadRunner构建高保真3D场景，利用SUMO生成动态智能体轨迹；2) 采用LISA算法增强LiDAR在雨雪天气的散射模拟；3) 基于3D-FFT和恒虚警率(CFAR)检测处理毫米波雷达回波；4) 使用YOLOv5+MLP模型验证数据迁移性(TSTR准确率达89.28%)。

数据记录
数据集按场景分5类文件夹存储，RF通信数据含路径损耗(.txt)和信道矩阵(.mat)，毫米波雷达波形存为.csv，LiDAR点云采用.txt格式，并通过PFM/PNG双格式保存深度图以兼容不同算法需求。

技术验证
统计检验显示：mmWave频段路径损耗(82.1-157.7 dBm)显著高于sub-6 GHz(67.0-138.8 dBm)，与实测规律一致；雨雪天气使毫米波雷达最大探测距离缩短43%，符合电磁波衰减理论。机器学习验证中，合成数据训练的模型在真实校园场景测试时，路径损耗预测误差仅比全实测数据训练模型高1.07%，证明数据可迁移性。

该研究开创性地解决了多模态感知-通信数据的"数据荒"问题，其价值体现在三方面：1) 首次实现通信信道与毫米波雷达/LiDAR的时空对齐，支持端到端SoM算法开发；2) 通过参数化设计支持自定义场景扩展，避免昂贵实地测量；3) 开源代码库提供基准算法比较平台。正如作者指出，SynthSoM为车联网中UAV-车辆协同避障、全天候自动驾驶等6G-AIoT核心应用铺平了道路，其模块化架构也为后续纳入太赫兹(THz)等新模态预留空间。