《ADVANCED ENGINEERING INFORMATICS》：Diffusion-model-based image restoration for reliable perception of autonomous bulldozers in complex mining environments
编辑推荐：
•提出了一种基于扩散模型的通用图像恢复框架，旨在实现可靠的视觉感知。•构建了包含单一退化条件和复合退化条件的采矿图像恢复数据集。•通过考虑空间退化特征的特征注入方法，提升了对非均匀退化模式的表征能力。•采用门控条件融合技术，可在复杂的复合退化情况下实现高精度图像恢复。引言在露天矿
- •
提出了一种基于扩散模型的通用图像恢复框架，旨在实现可靠的视觉感知。
- •
构建了包含单一退化条件和复合退化条件的采矿图像恢复数据集。
- •
通过考虑空间退化特征的特征注入方法，提升了对非均匀退化模式的表征能力。
- •
采用门控条件融合技术，可在复杂的复合退化情况下实现高精度图像恢复。
引言
在露天矿场中，可靠的环境感知对于自动化施工设备的安全高效运行至关重要[1]。推土机被广泛用于物料运输、场地平整和边缘倾倒等作业。然而，采矿环境极为恶劣且复杂，常常受到诸如过度粉尘、浓雾、大雨、强光、作业时的机械振动以及镜头表面附着灰尘或泥土等因素的影响，如图1所示。这些因素会严重降低视觉感知系统所捕获图像的质量，削弱视觉特征的表征能力，进而影响后续感知任务的准确性和稳定性。因此，在复杂的采矿环境中进行图像恢复对于提升自主推土机感知系统的鲁棒性以及确保作业安全具有重要意义。
为解决视觉退化对自主工程机械感知系统的影响问题，已有大量研究开展。早期研究主要依赖传统的图像处理技术和物理建模方法。尽管这些方法在一定程度上提升了低能见度采矿场景下的可见度[2]、[3]、[4]、[5]，但它们往往存在颜色失真、细节丢失以及泛化能力有限的问题。随着人工智能的发展，出现了基于学习的去尘去雾方法[6]、[7]，但这些方法未能有效解决实际施工场景中出现的非均匀退化问题。为此，人们引入了多尺度建模和基于Transformer的方法[8]、[9]，以增强对非均匀退化特征的表征能力。此外，由于图像恢复本质上是一个病态逆问题，那些学习条件分布而非单一映射的生成式方法在复杂的图像恢复任务中展现出了良好前景。已有研究指出，基于CIELAB融合的GAN和基于Retinex的GAN能够实现可靠的图像恢复[10]、[11]。不过，现有方法大多仍聚焦于单一或相似类型的退化场景，在处理实际采矿区域中常见的多种类型且高度耦合的退化问题时能力仍然有限。
总体而言，尽管已经提出了许多图像恢复方法，但现有技术仍不足以在恶劣且复杂的采矿环境中实现可靠的视觉感知。基于工程实践经验，本研究总结了采矿图像恢复中的三大主要挑战：（1）采矿作业会面临雨、雾、粉尘、强光等多种恶劣天气条件，不同退化方式带来的图像失真模式差异较大，这使得统一的多任务建模变得十分困难；（2）机械振动和镜头污渍带来的干扰往往与恶劣天气相互叠加，导致退化效应进一步加剧，增加了实现高精度图像恢复的难度；（3）工程机械的感知范围和尺度很大，而场景中的退化特征在空间上具有非均匀性，这给精细化的建模和图像恢复带来了挑战。
为应对这些挑战，本研究提出了Mine-DiffIR，这是一种基于扩散模型的通用图像恢复方法。通过逐步去噪过程学习图像先验，并不断优化退化后的图像内容，扩散模型相比传统算法具有更强的抗噪声能力，也能更好地保留高频细节[12]。Mine-DiffIR采用了选择性沙漏映射策略[13]、[14]，使得一个统一的模型就能够恢复多种类型的退化图像。同时，该方法设计了考虑空间退化特征的特征注入机制（SDAF），用以强化模型对复杂空间退化模式的表征能力。此外，还引入了门控条件融合模块（GCF），以便更有效地利用退化先验信息，从而在复杂的复合退化条件下实现更高精度的图像恢复。这一针对复杂露天矿场的通用图像恢复框架，提升了自主推土机在恶劣采矿环境中的视觉感知可靠性。
本文的其余部分结构如下：第2节将综述相关研究，包括自动化施工设备的可靠感知、露天采矿环境中的图像恢复以及用于去除图像退化的扩散模型。第3节将介绍所提出的Mine-DiffIR框架，包括其整体架构、空间退化特征注入机制以及门控条件融合模块。第4节将汇报实验结果。第5节将进一步分析不同条件下的模型性能。最后，第6节将对本文进行总结，并指出未来的研究方向。
章节要点
自主施工设备的可靠感知
鉴于土方作业环境的复杂性和多变性强[15]，可靠的感知能力对于确保设备安全运行、制定决策与规划[16]以及实现各环节的协同作业[17]至关重要。早期的解决方案主要依靠GPS[18]、[19]等技术，通过追踪设备位置并发出碰撞警告来实现安全管理与态势感知。随着自动化施工设备的发展[20]，激光雷达、摄像头和毫米波雷达等传感器也被逐步应用到
方法论
如图2所示，本研究提出了一种用于采矿场景下实现可靠感知的图像恢复方法。首先，利用推土机搭载的摄像头从四个视角（前方、后方、左侧和右侧）采集视频数据，然后提取帧图像，得到清晰图像和退化图像（不成对），用于训练改进版的CycleGAN模型。训练好的模型随后被用来生成成对的图像，以此构建高质量的图像恢复数据集。基于该数据集，本研究进一步提出了
数据集构建
本研究使用的实验数据采集自中国内蒙古呼伦贝尔市某露天矿场的典型边缘倾倒作业现场。这些图像是通过徐工SD90型号推土机的车载摄像头获取的，该型号目前是中国制造的推土机中马力最高的。数据采集分多个阶段进行，覆盖了挖掘区、运输道路和边缘倾倒作业点等不同区域。所采集的视频还包括
不同复合退化因素的影响
在采矿环境中，自主推土机需要面对浓雾、粉尘、强光和降雨等极端条件。此外，机械振动以及镜头表面附着灰尘或泥土的情况，往往会导致复杂的复合视觉退化现象。为定量评估不同不良耦合因素对图像恢复的影响，本研究进行了对比实验，实验结果如图19所示。与单一退化场景相比，所有方法的性能都
局限性
尽管所提出的模型在采矿环境下的图像恢复任务中取得了不错的效果，但仍存在一些局限性。首先，考虑到实际作业中对持续高质量图像恢复的实时性要求，当前模型处理视频帧的效率仍有提升空间。未来的工作可以结合轻量化设计策略以及快速采样方法，比如DPM-Solver++ [75]，在保持恢复质量的同时进一步提高推理速度。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。
致谢
本研究得到了中国国家重点研发计划（项目编号：2024YFC3809403）的支持。
王宇翔|肖浩|陈乃瑞|吴章刚|周成
