多源视觉融合框架下全机械化煤矿护帮姿态感知与截割间隙预警方法

《Sensors》：Multi-Source Visual Fusion for Face-Guard Pose Estimation and Shearer Cutting-Interference Warning in Fully Mechanized Coal Mining Faces

　　

摘要

全机械化煤矿工作面需要在粉尘、雾气及低光照条件下可靠地感知液压支架护帮的姿态及其与截割滚筒之间的间隙。本文提出了一种多源视觉融合框架，集成了RGB相机、红外相机与32线激光雷达。该系统在完成模态特异性去噪、畸变校正、时间同步、空间配准及自适应特征融合后，估计护帮的二维框、三维关键点及六自由度姿态。RGB与红外特征由Swin Transformer骨干网络提取，激光雷达特征在鸟瞰图（BEV）空间编码，融合表征通过轴向跨模态融合模块进行精化。恢复的姿态被转换为三维包络，与截割滚筒的最小距离被映射为四级预警策略。在模拟全机械化采煤面2400帧同步多模态数据上的实验表明：三模态检测的平均精度（mAP@0.5）达到98.5%，综合刷新率约为10Hz，三维关键点定位平均绝对误差为1.40cm，在粉尘与雾气复合干扰条件下，间隙误差最大为2.2cm。上述结果表明，所提出的方法在智能矿山领域具有潜在的应用价值。