基于多尺度残差卷积字典学习的运动去模糊方法

【字体: 时间:2025年05月20日 来源:Digital Signal Processing 2.9

编辑推荐:

  为解决现有卷积稀疏编码(CSC)模型在图像恢复中单尺度表示和聚焦重构图像的局限,研究人员提出多尺度残差 CSC 网络,结合 U 型 Transformer 提取多尺度特征,经实验验证其在运动去模糊中优于先进方法,推动图像恢复技术发展。

  
在数字图像处理领域,运动模糊是摄影中常见的难题,由相机与拍摄场景的相对运动引起,会破坏图像的边缘、纹理和结构,不仅影响视觉体验,还对依赖清晰图像的计算机视觉应用产生负面影响。尽管过去几十年在运动模糊图像恢复(MBIR)领域已取得显著进展,但传统方法如基于稀疏表示的卷积稀疏编码(CSC)模型仍存在明显不足。现有 CSC 模型大多通过单一尺度的通用字典表示图像,无法像卷积神经网络(CNN)那样提取多尺度特征,且其聚焦于图像重构,而非像 CNN/Transformer 网络那样关注残差特征的重建,这导致其在图像恢复任务中的效果往往不如先进的深度学习模型。因此,如何提升 CSC 模型的多尺度特征处理能力和残差特征重建效率,成为运动去模糊领域亟待解决的关键问题。

为应对这些挑战,国内研究人员(基于基金信息推测)开展了多尺度残差卷积字典学习的相关研究,其成果发表在《Digital Signal Processing》。该研究提出一种新颖的多尺度残差卷积字典学习(MRCDL)技术,旨在通过结合 CSC 与 Transformer 网络,更高效地解决运动去模糊问题。

研究主要采用以下关键技术方法:首先,利用 U 型 Transformer 网络进行多尺度特征提取,该网络能够将图像转换为比固定值小波变换更稀疏的表示;其次,设计多尺度残差卷积稀疏编码(RCSC)模块,通过学习多尺度、多维卷积字典和稀疏表示,在特征域中进行残差特征重建;最后,借助学习的迭代收缩 / 阈值算法(LISTA)展开求解联合 RCSC 优化问题的过程,实现跨尺度的失真信息联合建模与校正。

研究结果


多尺度残差 CSC 网络的设计


研究指出,现有 CSC 模型因单尺度表示和缺乏残差特征重建机制而效果受限。为此,提出的 RCSC 模型采用多组多尺度、多维字典重建残差特征。其中,U 型 Transformer 网络的结构类似 U-Net,通过不同尺度的卷积滤波器分析图像,捕捉多视角特征,使模型能更有效地处理空间异质图像数据。同时,残差特征在特征空间的稀疏性高于空间域,通过可学习的卷积滤波器构建残差特征空间,可实现更稀疏的表示,进而提升去模糊效果。

模型性能验证


在多种运动模糊图像数据集上的实验表明,MRCDL 模型在定量指标(如峰值信噪比等)和主观质量(如边缘、纹理清晰度)方面均表现出色,优于现有的 CSC 基方法(如用于去噪的 [36] 和去块的 [47])以及部分领先的 CNN/Transformer 模型。此外,模型在保持合理网络参数数量和计算复杂度的同时,展现出良好的泛化能力,无论是合成还是真实运动模糊图像(包括相机抖动和物体运动引起的模糊),均能有效去除模糊伪影,恢复出细节丰富的清晰图像。

研究结论与意义


该研究首次将 CSC 与 Transformer-based DNN 相结合,提出的 MRCDL 技术为运动去模糊提供了新的解决方案。通过多尺度特征提取和残差特征重建,模型克服了传统 CSC 模型的局限性,显著提升了图像恢复性能。其创新点在于引入多尺度字典和残差学习机制,增强了模型对图像多维度特征的捕捉能力,同时通过 LISTA 算法保证了模型的可解释性和学习能力。该研究不仅为运动模糊图像恢复领域提供了更高效的方法,也为稀疏表示与深度学习的结合提供了新思路,有望推动计算机视觉、医学影像等依赖清晰图像的领域发展。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号