《Separations》：RGB-D Semantic-Guided 3D Geometric Estimation for Intelligent Coal Gangue Separation
编辑推荐：
摘要专业翻译
煤与矸石分选对于煤炭的清洁高效利用至关重要。然而，实际分选环境高度非结构化，不规则碎块呈现随机分布、姿态多变且相互遮挡。传统二维视觉方法无法提供智能分选所需的三维几何信息，而基于模型的六自由度（6D）位姿估计方法因煤矸石碎块形态不规则且缺乏预定义
摘要专业翻译
煤与矸石分选对于煤炭的清洁高效利用至关重要。然而，实际分选环境高度非结构化，不规则碎块呈现随机分布、姿态多变且相互遮挡。传统二维视觉方法无法提供智能分选所需的三维几何信息，而基于模型的六自由度（6D）位姿估计方法因煤矸石碎块形态不规则且缺乏预定义模型而难以适用。本研究提出了一种用于局部点云三维几何估计的RGB-D级联融合框架。该框架遵循“检测–分割–重建”流水线，其中目标检测提供语义先验，零样本分割生成像素级掩膜，掩膜进一步引导深度提取与局部点云重建。基于重建点云，研究人员估计了面向任务的三维几何参数，包括质心位置、有向包围盒（OBB）尺寸、可见体积及主方向，以支撑智能分选。在专用RGB-D煤矸石数据集上的实验表明，所提方法实现了14.22 mm的质心定位误差、9.34%的尺寸误差和11.3%的体积误差。与基于检测框的深度重建相比，所提出的语义引导策略显著提升了几何估计精度。该框架为智能煤矸石分选与机器人拣选提供了可靠的三维感知能力。
论文解读
一、研究背景与问题
煤矸石是煤炭开采过程中产生的主要固体废弃物，约占原煤产量的15%–20%。仅中国境内累积堆存量已超过70亿吨，对生态环境构成严重威胁，包括自燃和重金属浸出等风险。不同品质的煤矸石对应差异化的利用途径，如发电、建材和化工提取等，因此高效分离煤与矸石是实现按质利用的前提条件。传统分选方法中，人工拣选效率低下，重介质分选耗水量大且产生二次污染，射线分选设备成本高、维护复杂且面临监管合规负担。这些局限凸显了对非接触式、经济高效的智能分选技术的迫切需求。
在智能分选领域，现有方法面临三个根本性挑战。其一，煤矸石碎块形态极不规则且缺乏预定义CAD模型，使得基于模型的六自由度位姿估计范式无法适用。其二，实际分选场景中碎块随机分布，频繁出现遮挡、接触和粘连现象，对二维分割和深度重建均构成显著挑战。其三，语义识别与几何重建之间存在鸿沟——煤与矸石外观高度相似，与暗色背景对比度低，类间差异小而类内差异大；而在几何层面，直接从检测框提取深度会引入大量背景噪声，现有三维方法要么面向宏观体积测量，要么依赖预定义物体模型。
二、研究内容与结论
针对上述挑战，研究人员提出了一种基于RGB-D级联融合的三维几何估计方法，核心贡献包括四个方面：将分割掩膜作为“语义–几何桥梁”，将语义判别能力传递至深度重建阶段，有效抑制背景和干扰物深度噪声；设计“检测–分割–重建”三阶段级联架构，实现从语义先验经像素级分割到三维几何的渐进式精化；定义了不规则物体的三维几何描述，包括三维质心、有向包围盒尺寸、体积和主轴方向，在不依赖CAD模型的情况下表征分选所需的空间状态；构建了煤矸石RGB-D数据集，并在模拟工况下验证了所提方法的有效性。
实验结果表明，所提方法在质心定位误差14.22 mm、尺寸误差9.34%、体积误差11.3%的水平上显著优于基于检测框的深度重建方法，证明了语义引导策略对三维几何估计精度的提升作用。该方法无需预定义物体模型，直接从观测点云中提取几何特征，适用于形态复杂的非规则物体，为智能煤矸石分选和机器人操作提供了额外的空间与几何信息。
三、关键技术方法
研究人员采用的核心技术方法包括以下方面。首先，检测阶段采用YOLOv11单阶段检测器，在自建RGB煤矸石数据集上训练，输出目标类别、置信度和边界框坐标，经置信度阈值筛选和非极大值抑制（NMS）处理后作为后续分割的提示。其次，分割阶段采用Segment Anything Model 2（SAM2）零样本分割模型，以检测框作为空间提示生成像素级实例掩膜，并通过连通域分析分离粘连目标、形态学开运算平滑边界。第三，重建阶段以实例掩膜为空间约束提取目标深度信息，利用针孔相机模型将掩膜约束的深度图转换为局部三维点云，随后采用统计离群点去除（SOR）滤波和体素降采样精化点云。第四，几何参数估计阶段，质心通过点云坐标平均计算，有向包围盒尺寸通过对点云进行主成分分析（PCA）获得，体积估计采用基于随机采样一致性（RANSAC）基准面拟合和高度积分建模的方法，主方向由第一主成分确定并以长宽比指标评估可靠性。数据集共采集5000对RGB-D图像，按7:2:1划分为训练、验证和测试集，样本来自山西大同同忻煤矿，碎块尺寸范围约30 mm至300 mm，涵盖不同光照条件、空间分布和煤矸混合比例。
四、研究结果
实例分割结果。 在无需煤矸石数据像素级标注训练的条件下，所提方法实现了96.69%的mIoU和98.32%的Dice系数，分别比YOLO-Seg和Mask R-CNN高出7.72和18.27个百分点。可视化分析表明，Mask R-CNN存在漏检和目标覆盖不完整问题，YOLO-Seg边界预测不平滑且相邻接触目标被错误合并，而所提方法生成的实例掩膜紧密贴合实际目标轮廓，准确保留了煤矸石碎块的不规则边界特征。
三维几何参数估计结果。 质心定位方面，平均定位误差为14.22 mm，其中深度方向误差（14.00 mm）占主导，横向误差较小（X方向0.10 mm，Y方向2.40 mm）。尺寸估计方面，长度误差5.3%，宽度误差13.38%，宽度方向误差较大是因为该方向对应第二主轴，对近似各向同性碎块而言方向不稳定，且堆叠场景中宽度方向的可见范围更易受遮挡影响。体积估计方面，高度积分法估计的可见体积与排水法实测体积具有良好一致性，平均相对误差11.3%，平均绝对误差6.2 cm3，线性回归分析显示R2值达0.9988，表明可见体积可作为可靠的相对尺寸描述符。主方向估计方面，细长碎块的主轴估计稳定，而近似各向同性碎块的方向估计置信度较低，通过长宽比指标R进行可靠性判定。
消融实验。 二维检测方法仅提供语义信息而无法满足三维表征需求；基于检测框的深度重建产生较大估计误差（位置误差69.66 mm，尺寸误差77.15%，体积误差536%）；所提级联框架在所有评估方法中取得最低误差，证明在几何重建前引入像素级语义信息能显著提升不规则煤矸石碎块三维参数估计的准确性。
计算性能。 完整级联流水线每帧平均处理时间282.9 ms，对应3.5 FPS推理速度。零样本分割阶段计算开销最大，占总推理时间的49.6%，点云重建与几何估计阶段占33.5%，目标检测阶段仅占16.9%。去除分割模块后处理速度提升至约7 FPS，但几何估计精度显著下降，表明语义掩膜约束对可靠三维重建的重要性。
五、讨论与结论
讨论部分指出，所提框架与传统仅提供类别信息的图像识别方法不同，能够估计单个碎块的空间位置、有向尺寸、体积和主方向，为选择性分选而非批量处理提供目标级几何信息，可直接支撑机器人抓取和矸石定向剔除。语义分割对分选可靠性的提升体现在：当直接从检测框提取深度时，框内不可避免地包含输送带表面、邻近碎块和粉尘，导致位置误差膨胀至69.66 mm、体积误差达536%；将深度提取限制在实例掩膜内可在三维投影前排除这些背景点，将位置误差降至14.22 mm、体积误差降至11.3%。局限性方面，当前系统依赖单视角深度采集导致点云不完整，主方向估计对近似各向同性碎块存在不确定性，实际矿井环境中的粉尘、湿度、振动和光照变化可能影响深度采集和模型鲁棒性，3.5 FPS的处理速度限制了在高速分选线上的直接部署。未来研究方向包括多视角深度融合、自适应主方向估计、恶劣采矿环境部署优化以及与机器人分选系统的集成。
研究结论表明，所提出的RGB-D级联融合框架采用“检测–分割–重建”级联流水线，其核心贡献在于基于分割掩膜的“语义–几何桥梁”机制，将语义信息从图像空间渐进传递至几何空间（边界框级→像素级→空间域），使分割结果不仅作为目标识别信息，同时作为三维重建的有效空间约束。在自建RGB-D煤矸石数据集上验证，所提方法实现了质心定位误差14.22 mm、尺寸估计误差9.34%和体积估计误差11.3%，显著优于基于检测框的直接深度提取方法。与基于CAD模型的六自由度位姿估计不同，该方法无需预定义物体模型，直接从观测点云中提取几何特征，适用于形态复杂的非规则物体。尽管当前系统在几何完整性和计算效率方面仍存在局限，但研究证明了RGB-D几何感知用于智能煤矸石分选的可行性，为建立完整的“感知–决策–执行”流水线奠定了基础。
