基于多尺度空间变化模糊核建模与可靠重模糊一致性的动态场景图像去模糊方法

《Signal Processing: Image Communication》：A dynamic scene image deblurring method based on multi-scale spatial variation blur kernel modeling and reliable reblurring consistency

　　

- 设计了多尺度退化表示用于动态去模糊。
- 利用可学习字典估计空间变化模糊核。
- 可信重模糊一致性约束模糊域中的恢复过程。
- MS-SVBKNet在GoPro和GS-Blur数据集上实现了稳定的PSNR、SSIM和LPIPS指标。
- 去模糊后的交通图像提升了基于YOLO的车辆检测性能。

**引言**

图像去模糊旨在从退化观测中恢复清晰的参考图像，是计算机视觉领域的重要问题。在实际成像过程中，相机抖动、平台运动、物体位移以及景深变化等因素会导致非均匀模糊。这不仅降低了图像的视觉质量，还削弱了边缘、纹理和结构信息，从而影响下游任务的可靠性，如目标检测、场景理解和视觉导航[[1], [2], [3], [4]]。因此，从单幅模糊图像中恢复清晰且结构完整的图像始终是图像恢复研究的核心问题。

早期的去模糊方法主要依赖显式退化模型和人工先验，通过估计模糊核并求解逆问题来实现图像恢复。当模糊核近似空间不变时，这些方法可以取得一定效果[[1], [2], [3], [4]]。然而，真实动态场景中的模糊通常由复杂相机运动、多目标运动和景深变化的综合作用产生。不同区域的运动方向和模糊强度差异显著，呈现出空间非均匀特征。这使得固定模糊核或简单先验难以准确描述退化过程，可能导致恢复结果出现振铃、残影和细节丢失等问题。

近年来，基于深度神经网络的方法在图像去模糊方面取得了显著进展[[5], [6], [7], [8], [9]]。多尺度卷积网络、层次化多块网络、端到端生成模型和对抗学习方法可以从大量模糊-清晰参考图像对中学习非线性映射，在视觉质量和纹理恢复方面优于传统方法[[10], [11], [12], [13], [14], [15], [16]]。然而，这些方法仍然主要依赖数据分布拟合，缺乏对成像退化过程的显式建模。当测试场景中的模糊模式与训练数据不同时，模型可能产生视觉清晰但物理上不一致的结果，从而影响其泛化能力和可解释性。当测试场景中的模糊模式与训练数据存在差异时，模型可能生成视觉上清晰但物理上不自洽的结果，进而影响其泛化能力和可解释性。

在生成式去模糊方法中，Kupyn等人提出了DeblurGAN，采用条件对抗学习和感知损失来提高恢复输出的感知真实性[17]。其后续版本DeblurGAN-v2进一步引入了特征金字塔生成器和双尺度判别器，在保持竞争性恢复质量的同时提高了推理效率[18]。近年来，MPRNet [19]、Restormer [20]、UFPNet [21]、基于扩散的方法[22,23]以及基于状态空间模型的方法[24,25]通过多阶段恢复、长距离依赖建模、非均匀模糊核先验、生成式概率建模以及高效非局部特征建模，进一步推进了图像去模糊领域的发展。尽管如此，这些方法大多主要关注从模糊输入到清晰图像的映射学习。虽然UFPNet显式引入了非均匀模糊核估计，但在联合建模空间变化退化和通过重模糊验证恢复输出的物理一致性方面关注有限。

除图像去模糊外，对抗学习和特征融合还被应用于高光谱异常检测和工业异常识别。Wang等人提出了一种频率到光谱的映射生成对抗网络（FTSGAN），学习从分数傅里叶域到原始光谱域的映射，以增强背景与异常像素之间的可分离性，并利用重建误差进行高光谱异常检测[26]。Wang等人引入了全局特征注入的盲点网络（PUNNet），通过扩大感受野和融合全局上下文信息来提升背景重建效果，凸显了联合建模局部和全局空间-光谱特征的价值[27]。Liao等人研究了联邦智能工厂中基于GAN的数据驱动的网络物理异常检测，将对抗学习的应用扩展到工业异常识别领域[28]。这些研究为跨域表示学习、局部-全局特征融合和对抗建模提供了方法论启示。然而，它们的目标与动态场景图像去模糊不同，其异常判别或背景重建机制不应与恢复输出的物理一致性约束等同看待。为解决空间非均匀模糊问题，本文提出的方法集成了多尺度退化表示、空间变化模糊核估计和置信度加权重模糊约束，重点在于强制恢复输出与模糊输入所隐含的退化过程之间的一致性。

此外，空间-光谱信息建模和基于物理的约束在遥感图像处理中也得到了广泛研究。Zhang等人通过可见光与高光谱遥感图像的跨域学习改进了目标检测，并基于空间-光谱异常分布执行无监督波段选择[29,30]。Chen等人将散射项约束引入高光谱解混，并采用预测和矢量量化方法减少高光谱图像中的数据冗余[31,32]。这些研究表明，有效利用空间结构、基于物理的先验和紧凑表示可以提高复杂图像处理方法的鲁棒性和可解释性。它们也为本文方法中采用的空间变化模糊核建模和物理一致性约束提供了相关方法论启示。

为提高退化建模能力，一些研究引入了物理约束，将恢复图像、模糊核与观测模糊图像之间的关系纳入训练目标，从而增强恢复结果的可信度[[33], [34], [35], [36]]。然而，现有方法通常假设模糊核已知或固定，这与真实动态场景中的空间变化模糊退化不匹配。如何在端到端框架中自适应估计空间变化模糊并建立可优化的物理闭环，仍然是一个关键挑战。

针对这一问题，本文提出了一种动态图像去模糊方法，集成了空间变化模糊核建模与可信重模糊一致性约束。在生成对抗学习框架下，构建了多尺度退化表示模块，分别从浅层、中层和深层特征中提取局部纹理退化、区域运动模糊和全局模糊信息，并通过跨尺度融合形成统一的退化表示。同时，引入了基于可学习核字典的空间变化模糊核估计策略。该策略将复杂退化表示为多个基本模糊核的加权组合，从而实现对不同空间位置退化模式的自适应建模。结合可信重模糊一致性机制，将恢复图像重新映射到模糊域，并根据局部重模糊误差动态调整约束强度，使模型在提升视觉恢复性能的同时保持与实际退化过程的一致性。与仅依赖端到端映射或固定退化假设的去模糊方法不同，本文将空间变化模糊核估计、多尺度退化表示和基于置信度的重模糊一致性约束整合到统一框架中，使网络不仅能够学习从模糊到真实清晰图像的映射关系，还能在训练过程中显式约束重建结果与输入退化过程之间的一致性。

本文的主要贡献如下：

（1）提出了一种物理引导的动态场景图像去模糊框架MS-SVBKNet，将生成式去模糊网络、多尺度退化表示、空间变化模糊核估计和可信重模糊一致性约束集成到统一的优化框架中。

（2）通过设计多尺度退化表示模块和可学习核字典，利用模糊核逻辑作为多个基本模糊核的自适应加权组合来建模复杂空间变化，从而增强了模型对局部纹理拖尾、区域运动模糊和全局相机抖动的表示能力。

（3）构建了可信重模糊一致性约束，基于去模糊误差自适应生成可信权重，在可靠区域增强物理一致性约束，并降低异常运动、遮挡或纹理丢失区域中误差传播的影响。

本文其余部分组织如下。第2节介绍了MS-SVBKNet的整体架构，包括改进的残差块和对抗恢复框架、多尺度退化表示模块、空间变化模糊核估计模块、置信度加权重模糊一致性模块以及联合损失函数。第3节描述了实验中使用的数据集、训练设置和评估指标。第4节展示了定量与定性对比、效率与计算复杂度分析、空间变化模糊核的可视化、下游交通目标检测任务的验证以及消融实验研究。最后，第5节总结了全文，讨论了局限性并提出未来研究方向。

**方法片段**

**MS-SVBKNet方法**

动态场景中的图像模糊通常由相机运动、目标运动和景深变化的综合作用引起，其退化过程表现出显著的空间非均匀性。基于固定模糊核或单核估计的传统方法难以准确描述真实场景中复杂的退化模式，往往导致恢复结果中残留鬼影、边缘伪影和细节丢失。

为解决该问题……

**实验准备**

MS-SVBKNet使用PyTorch实现，所有实验均采用固定随机种子3407。在GoPro和GS-Blur数据集上分别训练了独立模型，两个数据集未进行联合训练。训练过程中，配对的模糊输入和清晰参考图像被随机裁剪为256×256的图块。水平和垂直翻转各以0.5的概率应用，旋转角度从0°、90°、180°和270°中随机选取。所有……

**定量结果**

本文提出的模型已在GoPro数据集和GS-Blur数据集上进行了严格评估。

实验结果如表2所示。采用GoPro数据集官方的场景级划分。训练集包含来自22个场景的2103对模糊-清晰图像，而测试集包含来自11个不重叠场景的1111对图像。训练、验证和测试索引在实验前固定，测试图像未用于模型训练或……

**结论**

为解决动态场景图像去模糊中的空间非均匀退化和物理一致性不足问题，本文提出了MS-SVBKNet——一种物理引导的对抗去模糊网络。通过将空间变化模糊核建模与置信度加权重模糊约束相结合，所提出的方法建立了从退化估计到恢复验证的物理闭环。在GoPro和GS-Blur数据集上，MS-SVBKNet实现了PSNR/SSIM值为……

**CRediT作者贡献声明**

王艳：撰写——原稿撰写、可视化、方法论。熊伟华：撰写——审阅与编辑、监督指导。闫东明：调查。臧冠：数据管理、概念化。郭艳艳：资源、调查。吴春晓：软件、形式化分析。

**利益冲突声明**

作者声明，不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。

王艳|熊伟华|闫东明|臧冠|郭艳艳|吴春晓