《Journal of Imaging》:MS-PANet: Multi-Scale Spatial Pyramid Attention for Effective Drainage Pipeline Image Dehazing
Ce Li,
Xinyi Duan,
Zhongbo Jiang,
Yijing Ding,
Quanzhi Li,
Zhengyan Tang and
Feng Yang
编辑推荐:
针对排水管道内雾气导致图像质量下降、阻碍裂缝渗漏等缺陷识别的问题,研究者提出了融合多尺度空间金字塔注意力(MSPA)机制的 MS-PANet 去雾网络。该网络在自建 CDPD-55000 数据集上实现了 SOTA 性能,PSNR 提升显著,为复杂地下管网的高精度视觉检测提供了可靠方案。
在城市地下深处,蜿蜒纵横的排水管道如同城市的“静脉”,肩负着防洪排涝与环境卫生的重任。然而,对于这些隐蔽的“地下生命线”的日常巡检却充满挑战。当巡检机器人携带着摄像头深入管道内部时,常常会遇到令人头疼的“朦胧美”——管道内的水汽、粉尘等颗粒物质在空气中形成雾状干扰,加上管道特有的圆柱形结构带来的透视畸变,以及机器人自带点光源造成的非均匀照明,使得拍摄出的图像质量严重下降。画面模糊、细节丢失,那些关键的病害特征,比如内壁的微小裂缝、连接处的渗漏点,往往在雾气中变得难以辨别。
传统的图像去雾算法多在自然户外场景下调优,面对这种独特的地下工业环境便显得捉襟见肘;它们要么无法精准建模各向异性散射,要么在跨通道依赖关系的学习上不够充分。这无疑给后续基于 YOLO 等网络的自动化缺陷检测设下了绊脚石。为了让地下管网的“体检”更加精准可靠,Ce Li, Xinyi Duan, Zhongbo Jiang 等人开展了一项针对性的研究,提出了一种名为 MS-PANet(Multi-Scale Spatial Pyramid Attention for effective drainage pipeline image dehazing)的新型去雾网络,并构建了专门的管道图像数据集。该成果发表在《Journal of Imaging》上,旨在通过深度学习与注意力机制的深度结合,拨开管道内的“迷雾”,还原清晰的视觉细节。
为开展此项研究,作者主要采用了以下关键技术方法:首先,研发了一款搭载立体深度相机的管道巡检机器人,于北京五个不同区域采集了 5750 张清晰管道图像,并基于大气散射模型(ASM),通过设置 0.6 至 1.5 的散射系数和 1.0 的大气光值,合成了包含 55000 对图像的 CDPD-55000 专用去雾数据集;其次,以 MSBDN(Multi-Scale Boosted Dehazing Network with Dense Feature Fusion)为基线骨干网络,在其 ResNet 残差块中引入了自行设计的多尺度空间金字塔注意力(MSPA)模块;该模块集成了层级金字塔卷积(HPC)与空间金字塔重校准(SPR)子模块,并结合 Softmax 操作进行跨尺度特征竞争与通道权重重校准,最后采用峰值信噪比(PSNR)和结构相似性(SSIM)作为核心量化评估指标。
1. Introduction
文章指出,随着城市化进程加速,排水系统已成为智慧城市生态中至关重要的网络物理基础设施。尽管现代深度去雾架构常利用多尺度特征融合与注意力机制(Attention Mechanism)在自然场景基准上取得了显著峰值信噪比(PSNR)提升,但将其直接应用于管道检测时,会遇到圆柱形几何透视畸变、点光源非均匀照明以及多分散气溶胶的多模态散射等根本挑战。现有方法因各向异性散射核建模不足和跨通道依赖学习不充分而表现受限。为此,研究者引入 MS-PANet 框架,集成多尺度空间金字塔注意力(MSPA)机制,旨在增强特征表示并适应管道独特环境。
2. Related Work
2.1. Pipeline Inspections
早期排水管监测依赖人工、声学和气体检测等间接手段,数据不直观且定位不精准。闭路电视(CCTV)检测因配备高清相机和照明系统,能实时采集数据并配合地理信息系统(GIS)记录缺陷,已成为智能基础设施管理不可或缺的技术支柱。
2.2. Dehazing Algorithms
去雾算法分为基于物理模型(如大气散射模型 ASM、暗通道先验 DCP)与基于深度学习两类。前者具可解释性但在重雾或复杂光照下易失真;后者通过数据学习从有雾到清晰图像的映射,能隐式建模复杂退化过程,更适合管道内各向异性散射和非均匀光照环境。
2.3. Multi-Scale Feature Extraction
多尺度特征提取是提升视觉识别性能的核心,CNN 通过层级堆叠天然具备从粗到细的特征表征能力。InceptionNet 等架构通过不同尺度的并行卷积路径实现多分支信息融合,在医疗图像、地质勘探等领域价值显著。
2.4. Attention Mechanisms
注意力机制通过动态分配特征权重增强模型上下文感知。SENet 开创了通道注意力训练范式,后续 SPANet 引入空间金字塔池化,ECA 用一维卷积降低计算量,DehazeFormer 则改良 Vision Transformer 以适应去雾任务。
2.5. Discussion
现有算法在自然场景进步显著,但在管道场景中受限于圆柱结构、非均匀光照和多尺度颗粒干扰,存在特征提取粒度不足与跨通道依赖弱的问题。本文提出的 MSPA 机制结合 MSBDN 架构,利用结构正则化和空间信息实现优越特征表示。
3. Methodology
3.1. Overall Framework
MS-PANet 由编码器、增强解码器和特征恢复模块组成。编码器提取判别性特征并逐步降维;增强解码器利用跳跃连接聚合特征,并采用多尺度特征融合模块恢复细节与对比度;关键之处在于将 MSPA 机制引入编码器以替换传统卷积,从而自适应捕捉多尺度图像特征。
3.2. Multi-Scale Spatial Pyramid Attention
MSPA 模块由层级金字塔卷积(HPC)、空间金字塔重校准(SPR)和 Softmax 操作协同构成。HPC 负责多尺度空间信息提取;SPR 学习通道注意力权重以构建跨维度交互;Softmax 重校准权重以建立长程通道依赖。该四阶段过程(多尺度提取、通道关系建模、跨尺度依赖构建、特征融合输出)显著增强了特征的判别力与空间感知。
3.3. Hierarchical Pyramid Convolution Module
HPC 模块将输入特征图沿通道维度均分为 s 个子特征,每组对应一组卷积算子(3×3 卷积+批归一化)。这些卷积算子以类残差方式层级连接,第 i 组算子处理第 i 个子集特征并与前组输出相加,通过组合爆炸效应使输出包含各种不同感受野尺度的特征组合,极大丰富了多尺度表示。
3.4. Spatial Pyramid Recalibration Module
SPR 模块包含空间金字塔聚合(SPA)块和通道交互(CI)块。SPA 块通过全局平均池化(GAP,即 1×1 池化)获取全局通道描述符,通过局部平均池化(LAP,如 3×3 池化)获取富含结构信息的局部描述符,二者加权求和并上采样融合;CI 块则使用两个 1×1 卷积层(含降维参数 r)与 Sigmoid 函数对描述符编码,生成最终的通道注意力权重。
4. Experiments
4.1. Drainage Pipeline Dataset
使用配备立体深度相机的巡检机器人从北京五地采集数据。5750 张清晰图按 5500 训练/250 测试划分,基于大气散射模型(大气光 1.0,散射系数 0.6~1.5)每张清晰图合成 10 张有雾图,最终生成 55000 训练对和 2500 测试对,统一缩放至 448×448 像素,即 CDPD-55000 数据集。
4.2. Ablation Studies
4.2.1. Importance of HPC Module, SPR Module, and Softmax Operation
以 MSBDN-RDFF 为基线,分别测试 HPC 替换卷积、SPR(s=1 旁路金字塔)、HPC+SPR 无 Softmax、HPC+SPR 有 Softmax(完整 MSPA)。结果显示 HPC 增强多尺度表示,SPR 高效建模通道关联,二者兼容互补;而 Softmax 带来的跨尺度竞争(稀疏选择)使 PSNR 大幅提升约 5.35 dB,证明其对处理多尺度雾粒至关重要。
4.2.2. Impact of Scale (S) and Channel (C) Parameters
固定通道数 30 变更尺度 s(2~5),s=3 时 PSNR 达 38.27 dB(优于基线 4.67 dB),且计算开销与性能非单调,s=3 最优;固定 s=3 变更通道数 C,C=30 时 PSNR 较基线提升 4.61 dB,但 C 增至 45 仅微升 0.05 dB,说明 C=30, s=3 在性能与开销间取得最佳平衡。
4.3. Comparative Experiments
在 CDPD-55000 测试集上对比 gUNet、MIMO-UNet、MIMO-UNet++、MSBDN-RDFF 及 MixDehazeNet。MS-PANet 以 39.83 dB PSNR 和 0.978 SSIM 达到最优(领先 MSBDN-RDFF 达 5.67 dB),虽参数增至 52.8 M,但能精准定位关键区域、捕获多尺度特征,避免伪影与色偏,视觉复原更清晰自然,证明了其在高精度管道检测中的实用潜力。
5. Conclusions
本研究提出了一种基于多尺度空间金字塔注意力(MSPA)的增强方法,通过层级特征融合与结构感知机制,在保持计算效率的同时显著提升了模型对复杂视觉模式的适应性。将 MSPA 模块融入 ResNet 构建的 MS-PANet 框架,实现了自适应通道注意力重校准与全面多尺度特征层级捕捉。此外,研究者建立了 CDPD-55000 基准数据集,为去雾算法开发提供了宝贵资源。尽管当前合成数据尚未完全模拟点光源非均匀照明、浊度及各向异性散射等真实因素,但广泛实验证明 MS-PANet 在排水管道场景中优于其他方案。未来工作将设计混合注意力框架与动态感受野调整,并定量验证 MS-PANet 对 YOLO 缺陷检测器在真实场景中性能的提升,进一步凸显图像去雾对下游视觉任务的增益价值。