基于4D毫米波雷达与LiDAR融合的露天矿自动驾驶卡车非视距感知方法

《Sensors》：Non-Line-of-Sight Perception Method for Autonomous Haul Trucks in Open-Pit Mines Based on 4D mmWave Radar and LiDAR Fusion

　　

在露天矿环境中，大型设备经常造成严重遮挡，为LiDAR（激光雷达）创建了关键的感知盲区。同时，4D毫米波（mmWave）雷达具有穿透能力，但极易受到金属结构和不平坦地形产生的多径（multipath）干扰。为应对这些挑战，研究人员提出了一种盲区互补融合（Blind-Spot Complementary Fusion, BSCF）框架，通过显式几何约束集成3D LiDAR和4D毫米波雷达。该框架首先抑制多径伪影，并在异构传感器之间执行校准的时空对齐。然后，通过空间一致性验证将高置信度雷达观测引入LiDAR盲区，在极端遮挡下提供存在级别的隐藏目标风险线索。此外，提出了一种体积恢复率（Volume Recovery Rate, VRR）代理指标，用于定量描述遮挡区域中的包络级空间证据。在真实世界采矿数据集上进行的实验表明，所提方法有效抑制了严重的多径干扰，并将场景级跨模态接近度提高了约16.5%，同时重叠区域均方根误差（Root Mean Square Error, RMSE）保持在约0.18 m。在LiDAR观测不可用的完全遮挡下，该框架提供了目标存在风险线索，VRR高达15.6%，为隐藏目标是否存在提供了有用的初步指示。最终，所提方法增强了露天矿自动驾驶运输系统的感知鲁棒性和安全性。

**论文解读：基于显式几何约束的盲区互补融合——露天矿非视距感知方法**

**研究背景与问题**

在露天矿自动驾驶运输系统中，环境感知的完整性和高可靠性是保障作业安全的关键前提。然而，在排土区等典型作业场景中，常存在大量大型障碍物（如多台并排或交错停放的矿用卡车、起伏的土石堆、大面积边坡及挡土墙），这些物理屏障会严重遮挡传统车载传感器的直接视线（Line-of-Sight, LOS），导致LiDAR（激光雷达）扫描视场内出现大量盲区，尤其是在近距离遮挡下，单一LiDAR方案极易完全漏检隐藏目标。同时，4D毫米波雷达虽凭借其更长的电磁波长具备非视距（Non-Line-of-Sight, NLOS）检测潜力，但在矿山环境中，电磁波在巨型金属卡车底盘与非结构化地面之间发生严重多径（multipath）反射，使得雷达点云中混入大量地面下方的多径鬼影，严重干扰目标提取。现有研究多聚焦于城市道路，缺乏针对露天矿NLOS条件的多模态数据，且深度学习融合方法通常假定目标在各模态下至少部分可观测，在极端不对称可见性条件下稳定性不足。因此，研究人员提出一种基于显式几何约束的盲区互补融合（Blind-Spot Complementary Fusion, BSCF）框架，旨在利用4D毫米波雷达的穿透特性，在LiDAR物理盲区中选择性引入风险线索，提高极端遮挡下的感知鲁棒性。该论文发表在《Sensors》。

**关键技术与方法**

研究人员采用以下主要技术方法实现盲区雷达线索注入：（1）基于RANSAC改进的平面拟合预处理，通过估计物理地面平面并剔除位于其下方的多径鬼影点，抑制严重多径干扰；（2）基于修正正态分布变换（Modified Normal Distributions Transform, MNDT）的时空同步算法，实现异构传感器（LiDAR与4D毫米波雷达）的精确坐标对齐；（3）BSCF算法包含两级滤波：第一级空间一致性验证，通过局部密度阈值（半径0.5 m内至少3个邻域点）滤除孤立噪声；第二级盲区确定，通过计算雷达点与LiDAR最近邻欧氏距离（阈值0.3 m），将距离大于阈值的雷达点标记为盲区互补点并注入融合空间，同时为每个点附加模态源标签；（4）针对矿山非结构化地形，提出PatchWork-Mine地面分割算法，基于同心圆模型（Concentric Zone Model, CZM）和改进的区域地面平面拟合（Modified Region-wise Ground Plane Fitting, MR-GPF），引入法向直立性与局部平坦度约束，适应起伏路面并抑制残余多径噪声；（5）使用DBSCAN进行实例聚类，并计算3D凸包体积以构建结构化地图。数据采集平台为Haerwusu露天煤矿的线控改装卡车，搭载1550 nm Innovusion Falcon Prime混合固态LiDAR和AMDR405T2 4D毫米波雷达。

**研究结果**

**远距离（70 m）性能**：在70 m远距离观测中，LiDAR点云密度随距离衰减严重，对后方被遮挡卡车的体积恢复率（VRR）仅为5.0%，原始毫米波雷达VRR为18.2%，而融合点云的VRR达到59.3%，表明BSCF在远距离遮挡场景下能够恢复更多盲区空间证据。

**近距离（35 m）性能**：在35 m近场多车遮挡场景中，LiDAR对第二辆完全被遮挡的卡车产生物理漏检，原始雷达VRR为10.2%，而融合点云提供了存在级别风险线索，VRR达到15.6%。对更远的第三、第四辆卡车，融合点云VRR（17.8%和18.7%）均优于单一传感器，证明BSCF在近场多遮挡场景下可通过异构信息互补提升盲区风险线索覆盖率。

**几何一致性验证**：在可观测区域，融合点云相对于LiDAR参考点云的Chamfer距离（CD）为1.62 m，Hausdorff距离（HD）为21.55 m，均低于原始雷达（CD: 27.82 m, HD: 27.51 m），表明BSCF有效抑制了多径鬼影引起的最大局部空间偏差，同时保留了雷达穿透信息。

**试验场极端遮挡实验**：在试验场场景中，前车完全遮挡钢棚，LiDAR无法检测到钢棚，而融合点云恢复了对应5.2%参考包络体积的弱雷达线索，且前车VRR为108.6%，表明多径反射导致轻微体积膨胀，但作为保守安全裕度是可接受的。

**消融研究**：在三组场景（远距离、近距离、试验场）的消融实验中，完整BSCF将可见区域雷达泄漏点数量降至零，同时保留盲区雷达线索点。预处理消融表明，地面滤波和空间一致性滤波分别有效抑制了地面下方鬼影点和孤立雷达回波。

**总结与讨论**

讨论部分指出，BSCF框架通过两级策略有效缓解了多径干扰：RANSAC预处理去除大部分孤立离群点，PatchWork-Mine的地形感知几何约束抑制了局部失真。对于完全遮挡场景，传统融合方法因LiDAR观测缺失而失效，而BSCF通过显式空间一致性滤波直接利用雷达穿透数据推断隐藏目标存在，为下游规划模块提供保守风险提示。当前方法仍存在局限性：完全遮挡目标的VRR通常低于20%，难以实现精细3D边界框回归；高阶多径膨胀难以完全消除；DBSCAN聚类耗时占端到端流水线总时间的72.2%，后续嵌入式部署需优化。未来工作将从简单离群点去除转向显式多径建模，结合物理射线追踪与机器学习，将多径反射点映射回真实反射源，并采用GPU并行聚类或帧间目标跟踪提升效率。

**研究结论**（翻译原文结论部分）：本文针对露天矿排土区无人矿卡面临的极端遮挡与高阶多径干扰等关键环境感知挑战，提出了一种集成3D LiDAR与4D毫米波（mmWave）雷达的盲区互补融合（BSCF）框架。基于Haerwusu露天煤矿的真实排土区场景与试验场实验，得出以下主要结论：（1）物理约束与聚类级空间同步：所提基于RANSAC的去噪机制抑制了金属设备与地面耦合导致的高阶多径鬼影，将有效雷达点最小相对高度从?20 m提升至?4 m，改进了底层数据质量。此外，基于MNDT的空间同步算法将异构传感器的全点最近邻RMSE从6.25 m降低至5.22 m，实现了约16.5%的场景级跨模态接近度提升。在共同可观测重叠区域子集中，校准后RMSE保持在约0.18 m，为0.3 m盲区阈值及后续盲区线索注入提供了校准一致性基础。（2）复杂遮挡穿透与存在捕获：BSCF框架通过异构传感器信息互补，有效提取了毫米波雷达在光学遮挡区域的穿透数据。在70 m远距离观测下，融合算法将目标VRR从5.0%（单一LiDAR）提升至59.3%。在35 m近距离多遮挡及试验场极端遮挡场景中，融合算法在LiDAR完全物理漏检区内保留了对应于目标参考包络体积15.6%和5.2%的稀疏包络级雷达证据。这些低VRR值应被解释为存在级别隐藏目标风险线索，而非完整的隐藏目标重建。这表明系统可在物理遮挡下提供存在级别隐藏障碍物预警。（3）空间误差约束与几何一致性：在复杂遮挡条件下，融合点云与LiDAR参考点云在可观测区域的Chamfer距离（CD）仅为1.62 m，Hausdorff距离（HD）为21.55 m，两项指标均低于原始毫米波雷达的对应值（27.82 m和27.51 m）。这些指标反映了场景中完全遮挡物体无直接LiDAR观测时的可见区域一致性与多径抑制能力。消融研究进一步证实BSCF在抑制可见区域雷达泄漏的同时，保留了目标ROI内的雷达线索点。（4）非结构化地形鲁棒性与运行时特性：所引入的PatchWork-Mine算法在真实矿山起伏路面上展现出稳健的地面分割能力，为后续实例提取提供了有用的几何基线。在MATLAB运行时基准测试中，BSCF滤波模块耗时39.23 ms，PatchWork-Mine分割耗时57.74 ms，端到端流水线总耗时558.83 ms。DBSCAN聚类是当前最大的运行时瓶颈，后续嵌入式部署将优先优化邻域搜索、并行聚类，并在目标自动驾驶系统上验证。