具有不确定性意识的自我监督运动去模糊技术：通过概率学习减轻物理先验噪声的影响

《Journal of Volcanology and Geothermal Research》：Uncertainty-aware self-supervised motion deblurring: mitigating physical priors noise via probabilistic learning

提出不确定性感知的自监督框架，通过概率模型预测图像及其不确定性地图，动态调整物理先验的损失权重，解决噪声先验导致的伪影和跨域性能下降问题。实验在RealBlur_J等数据集上验证，PSNR提升0.68 dB，跨域PSNR下降仅0.98 dB。

　　

马晓雪|罗雪梅|李汉东

贵州大学电气工程学院，中国贵阳550025

摘要

自监督运动去模糊方法使用物理重模糊模型和辅助先验（例如，惯性测量单元IMU、单目深度）来模拟模糊效果，而无需真实图像。然而，由于传感器噪声、时间同步错误或领域偏移，这些先验往往并不完美。直接融合这些噪声先验会误导网络，导致严重的伪影和较差的泛化能力（例如，在跨域IMU辅助方法中，峰值信噪比PSNR下降了1.66分贝，伪影比例增加了15%）。为了解决这一关键问题，本文提出了一个考虑不确定性的自监督框架，将去模糊过程建模为概率推理，而不是强制物理一致性。一个概率解码器同时预测恢复的清晰图像和像素级的不确定性图，动态地重新调整自监督损失，减轻物理不一致区域的负面影响。在自收集的数据集和RealBlur_J数据集上的实验表明，该框架能够自适应地过滤不可靠的先验，在RealBlur_J数据集上实现了0.68分贝的零样本PSNR提升，并将跨域PSNR下降幅度降至仅0.98分贝。

引言

运动模糊是动态场景成像中普遍存在的退化现象，严重影响了高级视觉任务的性能和视觉通信系统的可靠性。对于高级视觉任务，它使自动驾驶中的物体检测准确率降低了30%以上（带来潜在的安全风险），并妨碍了SLAM等任务[1]、[2]；对于视觉通信，模糊帧增加了数据冗余（需要更多的带宽来补偿），并降低了实时监控中传输图像的信噪比（SNR），导致传输延迟和视觉信息的误解读[3]。例如，在车对基础设施（V2I）通信中，它使实时图像传输的成功率降低了25%以上，阻碍了智能交通系统的部署[4]。从模糊观测中恢复出清晰的潜在图像是一个经典的病态问题。尽管监督式深度学习方法[4]、[5]、[6]、[7]通过学习大规模配对数据集（例如GoPro [5]）取得了最先进的性能（SOTA），但在现实世界场景中获取像素对齐的模糊-清晰对的成本过高且技术上具有挑战性[8]。因此，直接在模糊数据上训练的自监督去模糊方法成为了一个重要的研究方向。

当前的自监督方法主要遵循“分析-合成”或重模糊策略。早期工作利用生成对抗网络（GANs）将恢复图像的分布与未配对的清晰图像对齐[9]、[10]，但经常出现内容幻觉问题。为了强制结构一致性，最近的方法结合了物理运动模型，估计光流[11]、[12]来重新降低预测的清晰图像，并与输入保持一致。然而，从模糊图像中估计密集的光流在计算上代价高昂且由于纹理丢失而本质上不可靠[13]。为了解决这个问题，利用惯性测量单元（IMU）的多模态方法作为一种轻量级替代方案出现[14]、[15]、[16]、[17]，并在实时去模糊的视觉通信场景中得到了广泛探索[18]、[19]。IMU数据（陀螺仪和加速度计）提供了相机运动的直接测量，理论上为重模糊过程提供了稳健的物理约束。最近的JVCI研究进一步证实，IMU数据可以通过限制去模糊解的空间来提高监控视频传输的效率[18]。尽管取得了这些进展，现有的基于物理的框架仍存在一个根本性限制：大多数IMU辅助方法[15]、[16]、[17]将辅助物理先验（IMU姿态和深度）视为完美的真实图像，使用确定性损失函数（例如L1或L2）来强制输入和恢复图像之间的严格像素级一致性。实际上，这个假设是不成立的，因为低成本的IMU传感器存在偏置漂移和时间同步错误[19]、[20]，而在模糊输入上进行单目深度估计容易产生严重的伪影[21]。在这种确定性损失下，网络被迫“过拟合”这些传感器误差，导致伪影和性能下降，特别是在传感器噪声特性发生变化的跨域场景中[4]、[19]、[22]。

为了弥合这一差距，我们认为必须明确建模物理约束的可靠性。受到贝叶斯深度学习[22]、[23]、[24]的启发，我们提出了一个考虑不确定性的自监督框架，从根本上改变了物理先验的使用方式。我们不是盲目信任IMU引导的重模糊，而是将恢复过程建模为概率推理任务。我们的网络预测一个异方差不确定性图[24]以及清晰图像，这在训练期间充当了自适应的注意力机制。这使得模型能够在物理模型失效的区域（例如，深度不连续或无纹理区域）动态地减少损失，从而从噪声先验中学习出稳健的特征。

针对上述研究空白和技术挑战，本研究设定了三个渐进的研究目标：

基本理论目标：揭示噪声物理先验在确定性损失约束下导致模型过拟合和伪影生成的内在机制，并建立自监督运动去模糊的概率推理理论框架，以将重建误差与物理先验噪声分离。

技术实现目标：设计一个考虑不确定性的双流网络架构，具有跨模态融合和概率解码器，基于像素级不确定性估计实现自监督损失的动态自适应加权，从而过滤不可靠物理先验的负面影响。

实际应用目标：验证所提出框架在真实视觉通信应用场景中的有效性，包括零样本跨域泛化、在边缘设备上的实时推理、在极端环境下的稳定性能以及图像传输的带宽效率优化。

上述三个渐进的研究目标直接对应于本工作的核心创新：从传统的确定性物理一致性对齐转向基于概率推理的方法，这是解决现有自监督去模糊方法中伪影和泛化问题的核心解决方案。

我们的主要贡献总结如下：

• 1.
  我们识别了现有基于物理的自监督学习中的“确定性陷阱”，其中噪声先验误导了优化过程。我们提出了一种使用拉普拉斯NLL损失的概率解决方案，以将重建误差与物理噪声分离，并提供了完整的理论推导和比较分析。
• 2.
  我们对多模态融合进行了全面分析。实验表明，虽然IMU先验增强了同域学习，但会阻碍跨域泛化。我们的不确定性机制解决了这种权衡，实现了稳健的零样本迁移。据我们所知，我们是最早在自监督去模糊框架中使用像素级不确定性来动态重新加权噪声物理先验贡献的团队之一。
• 3.
  所提出的方法在真实的RealBlur_J数据集上实现了比确定性自监督基线高出0.68分贝的改进，无需使用任何真实图像，显示出增强的鲁棒性和可解释性。此外，它在极端环境和边缘设备部署中表现出色。
• 4.
  所提出的方法适用于视觉通信场景：它在边缘设备上实现了实时去模糊（23.8 FPS），计算复杂度低（模型参数压缩了约36%，从12.57 M减少到8 M），并将去模糊图像的H.265编码带宽减少了约15%（通过标准图像压缩测试验证），提高了动态环境（例如，车载摄像头、无人机空中通信）中视觉数据传输的鲁棒性。

部分摘录

深度图像去模糊

早期的深度学习方法将去模糊视为纯粹的数据驱动的图像到图像的转换任务。Nah等人[4]率先使用多尺度CNN来模拟去模糊的粗到细的过程。后续工作通过尺度递归网络[6]、生成对抗网络（GANs）[25]以及最近的基于Transformer的架构（如Restormer [7]和NAFNet [26]）进一步提高了性能，这些架构捕捉了长距离依赖性。虽然这些监督方法

方法论

本节系统地阐述了所提出的考虑不确定性的自监督运动去模糊框架，从理论基础到技术实现，最后到优化策略，按照渐进的逻辑链进行组织。结构如下：第3.1节建立了去模糊任务的概率推理公式，为达成我们的基本理论目标奠定了理论基础；第3.2节详细介绍了双流

实验

在本节中，我们进行了全面的实验评估，以验证所提出的考虑不确定性的自监督框架。实验旨在回答三个关键研究问题：

•

我们的网络架构是否具有与监督式SOTA方法相当的恢复能力？

•

我们的方法能否有效地从未配对的真实世界数据中学习并利用IMU先验？

•

鲁棒性与泛化：不确定性如何影响

局限性与未来工作

在本节中，我们明确指出了所提出的考虑不确定性的自监督去模糊框架的目标局限性，并为每个局限性提出了针对性的未来研究方向。首先，我们澄清了本工作中的两个核心不确定性定义：随机不确定性指的是输入数据的固有噪声（包括传感器噪声、同步错误和物理先验分布的偏移，这是本工作的核心关注点），而认知不确定性指的是模型层面的

结论

在这项工作中，我们完全实现了引言中提出的三个渐进的核心研究目标，解决了基于物理的自监督运动去模糊中由噪声物理先验引起的伪影生成和泛化能力差的关键问题。首先，我们揭示了现有确定性自监督去模糊框架中的“确定性陷阱”的内在机制，并建立了完整的概率推理理论公式

CRediT作者贡献声明

马晓雪：可视化、软件、方法论。罗雪梅：验证、方法论、调查。李汉东：撰写——原始草稿、监督、项目管理、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。