《Sensors》:4D Millimeter-Wave Radar Point Cloud Sensing for Face Guard Detection and Cutting-Interference Warning in Fully Mechanized Coal Mining Faces
编辑推荐:
在综采工作面中,采煤机截割滚筒、摇臂与液压支架护帮板之间的空间干涉是一个实际存在的安全隐患,而粉尘、水雾、弱光照以及金属多径反射限制了基于视觉和激光雷达(LiDAR)的感知技术。本研究开发了一种用于护帮板分割和截割干涉预警的4D毫米波雷达点云感知方法。研究人员
在综采工作面中,采煤机截割滚筒、摇臂与液压支架护帮板之间的空间干涉是一个实际存在的安全隐患,而粉尘、水雾、弱光照以及金属多径反射限制了基于视觉和激光雷达(LiDAR)的感知技术。本研究开发了一种用于护帮板分割和截割干涉预警的4D毫米波雷达点云感知方法。研究人员从ROS bag数据中提取雷达点云,将其转换为帧级点云文件,进行人工标注,并使用联合直通-半径滤波策略进行处理。研究人员修改了PointNet++语义分割网络,加入了雷达特征增强和类别感知邻域采样,以从背景结构中识别稀疏的护帮板点。被分割出的护帮板点通过轴对齐的三维边界框(axis-aligned 3D bounding box)进行拟合,并利用从采煤机危险区域到该边界框的最小距离来划分安全、预警和危险三种状态。在一个包含2160帧标注数据的数据集上,最终的分割模型在第100个训练周期达到了99.126%的精确率、97.477%的召回率和96.608%的交并比(IoU)。静态位姿测试、粉尘环境测试和动态序列测试进一步验证了所提出的感知流程能够在代表性实验条件下提供连续的护帮板定位和基于距离的干涉监测。
论文解读文章
一、研究背景、问题与研究意义
在狭窄、多尘且机械密集的综采工作面环境中,采煤机、刮板输送机和液压支架协同作业。截割过程中,旋转的截割滚筒和摇臂会靠近液压支架的护帮板。若护帮板未及时收回或间隙不足,会导致截割干涉,损坏截齿、滚筒、护帮板和支撑结构,甚至中断生产或影响局部支护稳定性。因此,连续感知采煤机截割机构与护帮板之间的相对空间关系对于主动安全监控至关重要。
然而,在该环境下实现可靠感知极为困难。可见光相机依赖照明和无遮挡成像,井下粉尘、水雾、振动和低照度会严重降低图像质量。激光雷达(LiDAR)虽能提供精确的三维几何信息,但其近红外激光束易被悬浮粉尘和水滴衰减或散射,产生大量噪声并丢失目标表面。相比之下,毫米波雷达工作波长更长,对光照和细小颗粒物不敏感。新兴的4D毫米波雷达不仅能提供距离、径向速度和方位角,还能估计俯仰角,从而生成稀疏但有用的三维点云,适用于近场设备监控。
尽管已有研究在点云处理方面提供了有用组件,但直接应用于超近场的采矿场景仍面临挑战:金属结构丰富的环境会产生多径鬼影和孤立反射;单帧4D雷达点云稀疏,难以完整描述护帮板几何形状;目标点相对于来自煤壁、滚筒等背景结构的点为少数类;碰撞预警输出不仅需要目标识别,还需将目标点云转化为空间占用模型并与采煤机机构的危险区域进行比较。
因此,本研究旨在开发一套完整的4D毫米波雷达点云感知流程,以实现护帮板的精确分割和截割干涉预警,填补该领域的技术空白。
二、主要关键技术方法
研究人员为开展此项研究,采用了以下关键技术方法:
- 1.
数据采集与预处理:搭建了包含模拟截割滚筒、摇臂、液压支架护帮板、4D毫米波雷达和数据采集计算机的实验平台。通过解析ROS bag数据中的PointCloud2消息,导出帧级点云文件,并使用CloudCompare软件进行逐点人工标注。
- 2.
点云滤波策略:采用联合直通滤波和半径滤波策略,首先限制点云至任务相关的感兴趣区域,然后移除局部的孤立噪声点。
- 3.
改进的PointNet++语义分割网络:对PointNet++网络进行了修改,增加了雷达特征增强模块,将雷达散射截面(RCS)、回波强度和径向速度等雷达特有属性通过共享多层感知机(MLP)映射到高维特征,并与原始坐标拼接作为输入。同时,引入了类别依赖锚点邻域采样策略,以提高模型对稀疏的护帮板目标点的学习频率。
- 4.
干涉预警输出:对分割出的护帮板点云拟合一个轴对齐的三维边界框(AABB),并计算该边界框到由采煤机机械参数定义的采煤机危险区域的最小距离,依据两个预设阈值将状态划分为安全、预警和危险。
三、研究结果
1. 训练收敛性与分割精度
PointNet++模型在前十个周期内快速收敛。在第100个周期时,最终模型对护帮板类别的交并比(IoU)达到0.96608,精确率达到0.991587,召回率达到0.974057。
2. 点云预处理效果
对比不同预处理策略发现,直接使用原始点云的效果最差。联合直通-半径滤波策略取得了最佳结果,相较于原始输入,IoU提升了2.929个百分点,证明了物理动机明确的预处理的有效性。
3. 雷达特征增强效果
仅使用三维坐标时,IoU为92.235%。加入原始雷达属性后,IoU提升至95.266%。而雷达特征增强模块进一步将IoU提升至96.608%,表明对雷达返回属性的非线性映射能更好地挖掘其对少数类目标分割的贡献。
4. 组件消融研究
通过逐一移除或替换改进PointNet++模型的关键组件(雷达属性输入、MLP特征增强、类别依赖采样、焦点损失函数)进行消融实验。结果表明,这四个组件各自都发挥了互补作用:雷达属性丰富了输入表征,MLP特征增强了属性编码,类别依赖采样提高了少数类目标的暴露程度,焦点损失则稳定了类别不平衡下的学习过程。
5. 定性检测结果
代表性分割和边界框结果显示,模型能从稀疏的雷达观测中提取目标点,拟合的边界框覆盖了主要的目标点分布,验证了模型能将护帮板与周围机械结构分离。
6. 静态护帮板位姿测试
在7种不同护帮板角度(0°至70°)的静态测试中,所有情况均被分类为安全状态。平均精确率为98.99%,平均召回率为97.20%,表明基于点云的边界框和距离计算流程能够追踪不同护帮板位姿引起的空间变化。
7. 粉尘环境与动态测试
粉尘环境下的测试结果表明,尽管粉尘改变了雷达点的数量和分布,但该流程仍能稳定输出安全状态的距离,正常与粉尘条件下的平均干涉距离差异仅为0.048米。在包含403帧的动态序列测试中,改进的PointNet++模型在准确率、召回率和距离标准差等指标上均优于PointNet和原始的PointNet++基线模型,展现出更稳定的帧级距离输出。
四、讨论与结论
讨论总结
研究结果表明,4D毫米波雷达能在光学传感脆弱的环境下为护帮板检测提供可用的三维观测。联合滤波预处理和雷达特征增强均有效提升了分割性能。将语义分割与安全状态输出相连接,通过将分割点云转换为三维边界框并计算最小距离,提供了一个可直接解释的安全变量。研究的局限性包括:实验数据来自实验平台而非真实生产矿井;数据集规模有限;轴对齐边界框(AABB)可能对离群点和缺失边界点敏感;尚未评估端到端延迟和阈值校准等部署前必要环节。
研究结论翻译
本文提出了一套用于液压支架护帮板检测和采煤机截割干涉预警的4D毫米波雷达点云感知流程。该方法构建了带标注的雷达点云帧,应用联合直通-半径预处理,使用改进的PointNet++网络分割护帮板点,对检测到的目标拟合三维边界框,并计算其到采煤机危险区域的最小距离以进行安全状态分类。在一个包含2160帧标注数据的数据集上,最终模型达到了99.126%的精确率、97.477%的召回率和96.608%的IoU。消融研究表明,雷达属性输入、MLP特征增强、类别依赖采样和焦点损失函数均对最终分割性能有所贡献。针对七种护帮板角度的静态测试、正常/粉尘环境测试以及403帧的动态序列进一步验证了该流程的可行性。这些结果支持了4D毫米波雷达在视觉退化、金属富集的采矿环境中进行主动空间监控的应用,而未来的工作应扩展现场数据集、改善时间稳定性、校准预警阈值、评估实时部署及多径效应的影响。