基于频带图像分解和相关图像辅助的复值神经网络用于运动去模糊

《Neurocomputing》:Complex-valued neural network based on frequency band image decomposition and correlation image assistance for motion deblurring

【字体: 大 中 小 】 时间:2026年05月09日 来源:Neurocomputing 6.5

编辑推荐:

  王 Hexi | 栗原 透 高知工科大学信息学院,日本高知市上町782-8502 **摘要** 运动去模糊旨在从模糊的图像中恢复清晰的视觉信息。尽管在实际应用中,尤其是在涉及动态场景和快速运动的场景中,这种模糊条件具有重要的实用性,但现有方法在处理具有大空间范围或高

  王 Hexi | 栗原 透
高知工科大学信息学院,日本高知市上町782-8502

**摘要**
运动去模糊旨在从模糊的图像中恢复清晰的视觉信息。尽管在实际应用中,尤其是在涉及动态场景和快速运动的场景中,这种模糊条件具有重要的实用性,但现有方法在处理具有大空间范围或高严重程度的模糊时仍面临挑战。为了解决这个问题,我们使用非对称复合可操控金字塔频率滤波器将模糊图像分解为多个频率带的图像。这些带状图像捕捉了多个频率范围和方向上的图像结构(边缘和纹理),其振幅和相位编码了空间强度和局部位置信息。此外,引入了由三相相关图像传感器生成的相关图像,以识别模糊区域并补偿带状图像的退化。因此,我们构建了一个双流复数值神经网络,并设计了一种动态复数卷积方法来提取带状图像的代表性特征。我们开发了一种高效的综合策略,包括特征交互和融合,以紧密结合带状图像和相关图像。实验结果表明,我们的方法在GoPro和Adobe240数据集上取得了有竞争力的性能。配对t检验进一步证实,我们的方法在具有全局性和极端模糊的具有挑战性的场景中显著优于现有的最先进方法。

**1. 引言**
运动模糊是由于相机与场景在曝光期间相对运动而引起的常见图像退化形式。运动去模糊的目标是从模糊的输入中恢复潜力的清晰图像,从而提高视觉质量。传统的去模糊方法[2]、[20]、[24]通常依赖于图像先验和模糊核估计来恢复潜力的清晰图像。目前,主流的卷积神经网络主要通过高级策略(如多分辨率和多块输入[37]、[59]、多阶段特征处理[58]、注意力模块[6]、[25]、[33]、[47]、[53]以及残差学习[61]来增强其端到端架构设计,以提取用于图像去模糊的信息特征。然而,相机或物体在曝光期间的不同运动模式和速度会导致具有不同空间范围(局部或全局)和严重程度的模糊。特别是全局模糊和极端模糊会导致严重的局部或全局图像退化,在自动驾驶和高速成像等实际应用中具有重要的影响。我们发现,现有的去模糊方法[6]、[25]难以处理这类具有挑战性的情况,表明在复杂模糊场景下的鲁棒性有限。

为了缓解上述问题,我们利用复合可操控金字塔(CSP)[5]、[63]来辅助进行运动去模糊。如图1所示,CSP使用复杂的频率滤波器来分解模糊图像。作为分解的核心组件,由非对称频率滤波器生成的频率带图像是复数值表示,捕获了多个频率范围和方向上的图像结构(边缘和纹理)。在这项工作中,模型被训练为直接将从模糊图像中提取的带状图像映射到相应的清晰图像,从而通过多个频率带上的显式和联合恢复来实现运动去模糊。此外,运动模糊具有很强的方向性,特别是在物体的运动方向上最为明显[44]。我们基于带状图像的去模糊方法可以有效捕捉主要的模糊方向,从而有助于有针对性地增强严重退化的区域(第3.1节)。

**下载:** 下载高分辨率图像(494KB)
**下载:** 下载全尺寸图像

**图1. 运动去模糊的总体框架。** 使用具有多个频率范围(高残差、scale1、scale2和低残差)和方向的复合可操控金字塔(CSP)[40]将模糊图像分解为多个频率带图像。引入相关图像[1]以补偿模糊过程中丢失的运动信息。我们构建了一个复数值网络(CV-FreCorNet)来处理两个输入的实部和虚部(第4.6.4节)。最后,CSP基于增强的带状图像重建潜力的清晰图像。这里,从对称的高残差和低残差滤波器获得的带状图像是实数值的。它们的相应增强版本使用绝对值操作进行后处理以完成重建。

为了进一步减轻运动模糊造成的带状图像退化,我们结合了由三相相关图像传感器(3PCIS)[1]、[27]生成的复数值相关图像。相关图像表示曝光期间入射光强度变化与外部参考信号之间的时间相关性,其振幅和相位分别编码了强度变化和运动方向。这种时域相关机制捕捉了传统相机由于实际强度的时间平均而丢失的运动信息,因此在图像去模糊方面显示出强大的潜力。例如,针对CIS[26]定制的加权积分方法使用三个参考频率的相关图像来进行代数运动去模糊,适用于光度立体应用。最近,双流深度模型[51]同时使用模糊图像和相关图像作为输入,其中相关图像补充了模糊图像中丢失的运动线索,在小运动场景中实现了高效的去模糊性能。在这项工作中,我们利用相关图像来识别模糊区域并增强退化的带状图像。我们构建了一个双流复数值U-Net(CV-FreCorNet)来并行处理模糊的带状图像和相关图像。受动态卷积[7]的启发,我们设计了一种动态复数卷积(DyCC)来生成基于输入带状图像的条件自适应复数卷积核,以提取带状图像的深度特征。此外,为了紧密结合这两种类型的输入,我们提出了双流交互模块(DSIM)和融合模块(DSFM),其中DSIM在两个输入之间进行信息交换以进行特征对齐,DSFM利用相关图像来识别模糊区域并增强退化的带状图像。为了全面评估所提出方法的鲁棒性,我们首先在两个公共数据集(GoPro和Adobe240)上评估了其整体去模糊性能。然而,仅这种总体评估无法完全描述模型在不同模糊类型下的表现,这是在以前的工作中经常被忽视的局限性。为了更好地描述这种行为,我们开发了一种基于光流的模糊分类方法,并在特定的模糊类型下进行细粒度评估。配对t检验[28]用于证明我们的方法在具有挑战性的模糊类型下具有统计学上的显著改进。

**2. 相关工作**
**2.1. 运动去模糊**
深度模型可以从大型数据集中自动学习图像特征,并从模糊图像中推导出去模糊映射[11]、[12]、[17]、[19]、[32]、[36]、[39]、[60]。在最近的去模糊方法中,Syed等人[58]利用编码器-解码器结构来学习图像的多尺度上下文信息,并应用了跨阶段特征融合机制来提取从早期阶段传播到后期阶段的去模糊特征。Chen等人[6]将实例归一化集成到基本的卷积块中,并将其与残差操作结合以执行图像恢复任务。为了有效地恢复由模糊引起的大范围图像退化,Yan等人[54]设计了一种新的注意力模块来提取全局特征,同时关注局部图像细节。Li等人[31]利用自注意力机制在图像的全局、区域和局部级别对去模糊映射进行建模。

为了进一步提高去模糊性能,现有方法通常引入由事件相机生成的事件数据作为辅助数据。Yang等人[55]使用模糊图像和事件数据作为双流输入,利用事件数据来检测图像中的模糊区域。Sun等人[43]设计了对称的累积事件表示,并开发了交叉自注意力来融合模糊图像和事件数据,实现了良好的去模糊性能。与上述直接处理原始模糊图像的方法不同,我们采用模糊的带状图像作为模型输入,特别是使用3PCIS生成的辅助数据来增强容易丢失的高频成分,类似于基于事件相机的方法。

**2.2. 复数值神经网络在复数域中的特征提取**
随着深度学习的进步,实数值神经网络在处理复杂数据(如图像、音频和信号)时越来越表现出局限性。相比之下,复数值神经网络(CVNN)[3]、[29]避免了将复杂数据分割为实部和虚部,从而保留了相位完整性。各种注意力机制[15]、[62]已在复数域中应用,以捕捉上下文关系。复数通道注意力[8]已用于从复杂雷达数据中提取深度特征。复数自注意力机制[34]选择性地增强了无线电信号的关键特征,用于自动调制识别。此外,复数变压器[56]已被开发用于对复杂数据序列进行建模,实现高效的自动音乐转录。在这项工作中,带状图像编码了复数域中图像结构的空间强度和位置关系。为了保留其相位完整性,我们选择CVNN同时处理带状图像的实部和虚部,这与复数相关图像非常匹配。我们还进行了消融实验来验证这种复数值表示的优势(见第4.6.4节)。

**2.3. 相关图像在计算机视觉中的潜力和应用**
事件相机以高时间分辨率异步检测光强度的变化,并在计算机视觉中得到广泛应用。作为另一种强度检测方式,三相相关图像传感器(3PCIS)基于曝光期间入射光强度变化与外部参考信号之间的时间相关性,提供了几个互补的优势。首先,事件相机输出的离散事件流通常需要转换为事件帧以适应主流基于帧的架构,而相关图像自然保留了空间结构,可以直接由标准深度模型处理。其次,事件相机仅在强度变化超过预定义阈值时触发,可能导致微妙变化的丢失。相比之下,3PCIS可以通过与外部参考的时间相关来捕捉完整的强度变化,相关幅度反映了强度变化的幅度。第三,现有的事件表示通常是通过沿时间维度累积事件来构建的,这可能无法充分表征曝光期间的强度变化,尤其是在快速运动场景中。相反,3PCIS的相关成像机制直接使用一致的参考编码了每个空间位置的光强度时间变化模式,从而促进了动态视觉任务中更有效的特征提取和图像重建(第4.6.5节)。这种潜力已经得到验证:Wang等人[48]在相同的网络架构下比较了相关图像和广泛使用的事件表示(例如,事件计数和事件体素)作为输入,表明使用相关图像作为输入可以获得更好的去模糊性能。

基于以上三个优势,相关图像还经常用于协助各种计算机视觉任务[38]、[50]。一种基于振动成像的超分辨率算法[18]使用相关图像中的运动特征来重建高质量图像。相关图像也被用来从单帧图像中估计光流[49],这比预测视频帧之间的光流更具挑战性,证明了其捕获运动信息的能力。与我们的工作类似,Wang等人[51]也引入了相关图像来辅助去模糊任务,并在小运动场景中实现了高效的去模糊性能。在这篇论文中,我们利用相关图像来补偿运动模糊造成的带状图像退化。

**3. 方法**
在这项工作中,我们提出了一个用于运动去模糊的带状图像学习框架。我们的方法主要包括模糊图像的分解、相关图像的结合、带状图像的特征提取以及带状图像和相关图像之间的整合。每个部分的详细内容如下:

**3.1. 复数可操控金字塔用于频率带图像**
运动模糊主要会降低图像的高频信息。在严重的情况下,极度的模糊会进一步影响中频和低频成分,使得图像恢复变得特别具有挑战性。因此,最近的去模糊方法[9]、[10]越来越多地探索基于频率的解决方案。受此启发,我们将图像恢复问题重新定义为对模糊图像的多个频率成分进行显式建模和重建。如图1所示,我们引入了复数可控金字塔(CSP)将模糊图像分解为多个频带图像,从而通过在复数域中显式恢复图像结构来实现运动去模糊。具体来说,CSP提供了两个关键优势,使其对我们的去模糊框架至关重要。首先,CSP能够在连续的方向范围内进行精细的方向分解(第4.6.2节),而其他常用的方法,如离散余弦变换和小波基方法,只能提供有限或粗糙的方向分解。CSP的这一属性对于建模运动去模糊特别有益,因为模糊退化本质上是各向异性的,并且与运动方向对齐。其次,作为辅助数据流,复数值相关图像编码了动态场景中的运动方向线索,而模糊图像是实数值表示,其特征化方向信息的能力有限。为了更好地利用这些运动线索,我们专注于通过图像分解获得的复数值表示。与其他常用的分解方法相比,CSP产生的频带提供了更稳定和一致的方向表示,其相位编码了图像结构的局部位置信息[5]、[63]。这允许CSP频带与相关图像自然对齐,从而有助于更有效地整合图像结构和运动相关特征(第4.6.4节)。

根据CSP滤波器的特性(高残差、方向性和低残差),频带图像被分为高频残差、中频方向性和低频残差频带。高频和低频频带捕获全方向特征,而中频频带则进一步划分为多个特定方向的成分,覆盖多个频率范围。给定一个模糊图像,我们将所有分解后的频带图像统称为,其中每个频带定义如下:(1)其中和表示二维傅里叶变换和逆傅里叶变换。是在频率范围和方向下的分解滤波器。低频和高频残差滤波器是对称的且全方向的,而方向滤波器是不对称的,如图1所示。空间域中的结果方向频带具有复数值表示,其中幅度和相位编码了图像结构(纹理、边缘和轮廓)的空间强度和位置信息。作为CSP的主要参数,尺度和工作阶数决定了用于提取方向频带的滤波器数量。在我们的实验设置中,它们被设置为2和3(表6),这意味着方向频带包含了两个频率范围内的图像特征(scale1和scale2),每个频率范围进一步分解为三个方向成分(, 和)。因此,从单个模糊的RGB图像中提取了总共24个频带,每个颜色通道生成8个频带(第4.6.2节)。由于CSP实现了过完备的图像分解,其滤波器的频率范围有重叠,而不是严格分割的。这里,高频和低频残差滤波器的频率范围分别是到和到。scale1和scale2的方向滤波器的频率范围对应于到和到[16]、[40]。

如图1所示,所有分解后的频带图像沿着通道维度连接起来形成频带张量,然后将其输入模型进行增强,以促进运动去模糊。我们基于频带图像的框架可以实现模糊图像多个频率成分的联合恢复,特别是脆弱的高频信息,从而降低了在不同动态场景中的去模糊难度。在这个例子中,在相同的频率范围(scale2)下,方向上的方向频带受模糊影响的程度比和方向更严重,与模糊方向对齐得更紧密。因此,我们的方法可以直接增强严重受损的区域。最后,CSP对增强后的频带图像应用逆滤波,以生成预测的清晰图像。重建,像图像分解一样,在频率域中进行。(2)(3)(4)其中获得逆傅里叶变换结果的实部,从而得到重建的清晰图像[16]、[40]。是图2中所示的重建滤波器。表示每个分解滤波器与其对应重建滤波器之间的乘积之和。(5)(6)其中是图像的二维空间频率。CSP的滤波器设计遵循方程(6),以确保完美的图像重建。

下载:下载高分辨率图像(114KB)
下载:下载全尺寸图像
图2. 复数可控金字塔的滤波器设计,用于图像重建。重建滤波器采用对称设计,包括两个方向。是每个与其对应的乘积之和。

3.2. 相关图像
三相相关图像传感器(3PCIS)[1]、[27]是一种二维成像设备,在曝光过程中产生两个输出:常规帧图像和相关图像。相关图像表示入射光强度变化与外部参考信号之间的时间相关性。这里,这种相关性计算可以理解为解调过程,用于提取入射光强度内的周期性波动,其频率与参考信号匹配。给定曝光时间,3PCIS获取潜在的入射光强度,并计算所有图像位置上光强度与参考信号之间的时间相关性。具体形式如下。(7)其中是在曝光期间,位置处的入射光强度。为了构建参考信号,我们通常选择一个正交的正弦波对(,)作为基础,其中设置为。在实际设备中,参考信号由三相正弦波实现,包括、和[1]。在实验部分,参考信号可以等效地用复数正弦波替换[51]。

作为复数值表示,相关图像的相位编码了光强度信号相对于参考信号的时间偏移,这对于确定动态场景中目标的运动方向至关重要。其幅度代表了参考频率下的光强度能量分布,较大的幅度值表示强度的时间变化较大。当曝光期间光强度保持不变时,即在没有运动的情况下,相关值变为零。图3说明了在动态场景中生成相关图像的基本过程。这种表示可以有效地识别模糊区域并捕获由于强度的时间积分而在传统相机中丢失的运动信息。在这项工作中,我们引入相关图像来补偿由运动模糊引起的频带图像退化。我们的CV-FreCorNet可以直接增强频带图像中的模糊区域,并抑制来自无关区域的干扰。

下载:下载高分辨率图像(453KB)
下载:下载全尺寸图像
图3. 三相相关图像传感器(3PCIS)生成相关图像的基本过程。相关图像表示曝光期间入射光强度与外部参考信号之间的时间相关性。上述输出图像是相关图像的HSV可视化。相位由色调表示。较大的幅度对应更高的亮度,表示强度变化显著。

3.3. 整体流程
如图4所示,我们构建了一个双流复数值U-Net来处理输入:模糊频带图像和相应的相关图像。这两个输入分别通过复数基本块(CBB),将从24个通道扩展到32个通道,将从1个通道扩展到32个通道,增强它们的信息表示。这里,CBB包括使用11和33个内核的复数卷积、GELU激活函数和残差连接,用于调整特征维度并提取浅层特征。给定一个复数输入,复数卷积使用两组实数卷积内核和进行,产生一个复数值输出,其中和。激活函数分别应用于复数输入的实部和虚部[8]、[30]。我们的网络经过三个下采样和三个上采样阶段,下采样使用步长为2的复数卷积将分辨率减半并使通道数加倍(,,),上采样使用双线性插值后跟随步长为1的复数卷积来恢复空间分辨率和通道维度。在下采样过程中,使用动态复数卷积提取频带图像的深层特征(第3.4节)。在上采样过程中,双流交互模块和融合模块在同一维度内实现频带图像和相关图像之间的集成(第3.5节)。最后,使用增强的频带图像生成预测的清晰图像。

下载:下载高分辨率图像(398KB)
下载:下载全尺寸图像
图4. 我们的去模糊模型基于频带图像分解和相关图像辅助(CV-FreCorNet)。它以模糊频带图像(通道)和相关图像()作为输入。复数基本块(CBB)属于基本处理单元,包括复数卷积、激活函数和残差连接(图6)。在下采样过程中,动态复数卷积(DyCC)生成自适应的复数值卷积核以提取频带图像的深层特征(图5)。在上采样过程中,双流交互模块(DSIM)执行频带图像和相关图像之间的信息交换(图6)。双流融合模块(DSFM)利用相关图像来识别模糊区域并补偿频带图像的退化(图6)。最终,基于增强的频带图像生成预测的清晰图像。

3.4. 动态复数卷积
动态卷积[7]通过动态调整卷积核权重来有效处理不同程度的模糊图像,增强了模型的灵活性和适应性。受此方法的启发,我们设计了动态复数卷积(DyCC)来提取频带图像的深层特征,如图5所示。我们以频带图像的下采样阶段特征作为输入。其幅度反映了图像的空间强度。动态权重通过全局平均池化、实数卷积、GELU激活和Softmax应用于上的通道级注意力生成。然后,对和一组可学习的复数值卷积核进行加权求和,以获得基于的条件下的动态复数值卷积核。这里的每个是一个在模型训练期间优化的可学习参数张量,其中和分别表示输出和输入通道编号。和的值都等于。用于提取代表性的频带特征。

下载:下载高分辨率图像(231KB)
下载:下载全尺寸图像
图5. 动态复数卷积(DyCC)结构图。表示基于频带幅度的通道级注意力操作来生成权重。动态复数值卷积核用于提取频带图像的深层特征。

3.5. 相关图像的融合
在这项工作中,我们引入相关图像来补偿频带图像的退化。频带图像和相关图像代表了两种不同但互补的数据模式。频带图像捕获静态或缓慢变化的空间结构,而相关图像强调了由运动引起的时域相关强度变化。因此,有效整合这两个输入流对于稳健的运动去模糊至关重要。直接融合策略,如逐元素加法或通道连接,通常是不够的,因为它们对网络捕捉两种模式之间的内在关系提出了重大挑战。如图6所示,我们提出了一种高效的集成方法,包括双流交互模块(DSIM)和双流融合模块(DSFM)。这种方法引入了一种交互机制,明确地建模潜在的跨模态相关性,通过图像外观和运动相关特征之间的双向引导实现相互增强。然后融合增强后的特征,以减轻模式冲突并实现强烈的跨模态对齐。

下载:下载高分辨率图像(630KB)
下载:下载全尺寸图像
图6. 相关图像的融合结构。它包括模糊频带图像和相关图像之间的交互(a:DSIM)和融合(b:DSFM)。DSIM的输出作为DSFM的输入。相应的可视化结果是根据DSIM在实际模型推理过程中生成的复数值特征矩阵得出的。具体来说,首先计算复数值矩阵的幅值,然后沿着通道维度进行平均处理,以获得用于可视化的强度图。 (c):复数基本块(CBB)属于基本处理单元,用于提取浅层图像特征。3.5.1 双流交互模块DSIM执行带状图像和相关图像之间的信息交互,以增强特征的一致性,从而促进后续的紧密融合。以带状图像的上采样阶段特征和相关图像的特征作为输入,DSIM首先沿通道维度将它们连接起来,然后应用复数基本块(CBB)来捕捉两个输入之间的共享和互补特征,得到一个联合表示。然后,分别与每个原始输入相结合,以增强它们的一致性并抑制与模糊无关的信息。(9)其中 表示通道连接。CBB用于维度转换和特征学习。生成的特征张量 具有与输入相同的维度。然而,由于不同类型模糊图像之间存在显著差异,整合带状图像和相关图像的复杂性也有所不同。对于局部模糊,相对容易在特定的空间区域内融合这两种数据。相比之下,去除全局模糊需要跨所有空间位置进行紧密融合,这将是一个更具挑战性的任务。频域[41]更适合表征全局关系。因此,带状图像和相关图像之间的交互操作在空间域和频域中进行。然后合并两个域的结果,以产生增强交互的带状特征和相关特征。(10)3.5.2 双流融合模块相关图像保留了动态场景中模糊过程中丢失的运动信息。以增强交互的带状特征和相关特征作为输入,DSFM执行特征融合,以利用相关图像中嵌入的丰富去模糊线索进行图像恢复。此外,DSFM在空间域和频域中对带状图像和相关图像进行联合融合,以更好地处理不同类型的模糊。(11)其中 和 继续在带状图像和相关图像分支中进行上采样。4. 实验4.1 实验设置4.1.1 公共数据集GoPro和Adobe240数据集:GoPro数据集[37]来源于GoPro相机捕获的高清视频序列。通过平均连续帧(分辨率:1280x720)来生成模糊图像,其中中间帧作为相应的清晰图像。由于参考信号可以用复数值正弦波等效替换,因此使用相关图像来生成模糊图像。 表示用于合成模糊图像的帧数,范围从7到13,以确保数据多样性。每个数据组包括模糊图像、相关图像和相应的清晰图像。按照标准实践[37],总共生成了3214组数据,其中2103组用于模型训练(1803组作为训练集,300组作为验证集),其余1111组用于测试。此外,我们使用相同的方法在来自240fps高帧率视频的Adobe240测试集[42]上生成了955组测试数据,以评估模型的泛化能力(分辨率:640x352)。4.1.2 三种类型的模糊测试集为了探索模型处理不同类型模糊图像的性能,我们将GoPro测试集和Adobe240测试集结合起来,并将它们分类为局部模糊(964组)、全局模糊(665组)和极端模糊(437组)。详细分类标准在第4.4节提供。在这项工作中,我们仅在GoPro训练集上训练我们的CV-FreCorNet,并在其上评估其在GoPro、Adobe240和三种类型模糊测试集上的性能和泛化能力。4.1.3 实施细节我们在RTX 3090 GPU上,以批量大小为4,对图像块进行300k次迭代来训练我们的CV-FreCorNet。采用Adam优化器(参数为),并使用余弦学习率调度,其中初始学习率设置为 ,并逐渐衰减到 。训练过程中使用平均绝对误差来监控预测损失。在验证和测试期间,模型在全分辨率图像上进行评估,并选择验证集上表现最好的模型进行测试。我们报告PSNR和SSIM[52]作为主要评估指标。4.2 在GoPro数据集上的评估结果我们选择经典和领先的去模糊方法在GoPro数据集上进行定量实验,包括基于图像的方法[6]、[13]、[14]、[25]、[31]、[46]、[53]、[54]、[57]、[58]以及基于事件的方法[4]、[23]、[35]、[43]、[55]。我们还将CorNet[51]添加到比较中,它同样引入相关图像来在小运动和低光照条件下有效地执行去模糊任务。不同之处在于CorNet使用二维实数值表示而不是直接使用复数值作为相关图像。如表1所示,基于辅助数据的方法通常优于基于图像的方法,这突显了利用富含去模糊线索的运动信息的优势。FFTFormer通过结合频域的全局建模和局部卷积取得了良好的性能。我们的方法与EFNet和EFSformer取得了可比的结果,展示了其在增强运动模糊带状图像方面的能力。然而,我们的平均得分低于CorNet,表明仍有进一步改进的空间。在计算效率方面,由于使用了复数值卷积,我们的方法并非高度轻量级,但并不会带来过度的开销。表1. 我们的CV-FreCorNet与GoPro数据集上的经典和领先去模糊方法的定量比较。每个输入分辨率下的MACs以次数计,其中一次乘加操作算作一个MAC。方法输入数据PSNR SSIM 参数(M)MACs(G)MPRNet [58]RGB32.66 0.95920.12777.01HINet [6]RGB32.77 0.95988.67170.71Restormer [57]RGB32.92 0.96126.12141.54Uformer-B [53]RGB32.97 0.96750.8285.75Stripformer [46]RGB33.08 0.96220.10271.87SharpFormer [54]RGB33.10 0.96327.80317.11SFNet [13]RGB33.27 0.96313.27124.44GRL [31]RGB33.93 0.96819.81760.57FFTFormer [25]RGB34.21 0.96916.63127.22CU-Mamba [14]RGB33.53 0.96519.7043.10LEMD [23]RGB+Event31.79 0.949––ERDNet [4]RGB+Event32.99 0.935––MADANet [55]RGB+Event33.84 0.9649.89–EFNet [43]RGB+Event35.46 0.9728.47108.05EFSformer [35]RGB+Event35.63 0.96811.64136.19CorNet [51]RGB+Correlation36.03 0.9729.6689.39CV-FreCorNet(我们的)RGB+Correlation35.52 0.96938.95230.65如图7所示,我们在具有局部、全局和极端模糊的测试图像上评估模型性能。选择了包括HINet [6]、SFNet [13]、GRL [31]、FFTFormer [25]、EFNet [43]、EFSformer [35]和CorNet [51]在内的先进方法进行定性评估。对于具有公开可用预训练模型的方法,我们直接使用它们进行测试;否则,根据相同的实验设置重新训练这些模型。大多数基于图像的方法对局部模糊产生了清晰的预测,但在全局和极端模糊下会显示出明显的伪影。EFNet通常表现出较强的性能,但在恢复极端模糊图像的高频细节方面存在困难。EFSformer和CorNet在局部模糊样本上实现了高去模糊精度,其预测与真实值非常接近。然而,在全局和极端模糊的情况下,它们的性能显著下降。基于带状图像的学习,我们的CV-FreCorNet可以直接恢复与运动模糊方向对齐的严重退化区域,在全局和极端模糊场景下提供更清晰的预测。下载:下载高分辨率图像(891KB)下载:下载全尺寸图像图7. 我们的方法与GoPro数据集上先进方法的定性比较。我们在具有局部模糊、全局模糊和极端模糊的测试图像上评估模型性能。数字代表每种比较方法在全分辨率测试样本上的PSNR和SSIM得分。4.3 在Adobe240测试集上的评估结果在没有额外训练的情况下,我们直接在Adobe240测试集上测试了包括HINet [6]、SFNet [13]、GRL [31]、FFTFormer [25]、EFNet [43]、EFSformer [35]和CorNet [51]在内的先进方法,以评估它们的泛化能力。如表2所示,所有基于图像方法的PSNR得分都低于32,表明泛化能力较差。借助相关图像的帮助,CorNet和我们的方法在Adobe240测试集上表现出良好的泛化能力,前者 ainda取得了更高的平均得分。表2. 我们的CV-FreCorNet与Adobe240测试集上先进方法的定量比较。所有比较方法都直接进行测试,无需额外训练。方法输入数据PSNR SSIM HINet [6]RGB29.53 0.890SFNet [13]RGB31.79 0.923GRL [31]RGB30.43 0.904FFTFormer [25]RGB31.96 0.933EFNet [43]RGB+Event33.820.940EFSformer [35]RGB+Event33.950.947CorNet [51]RGB+Correlation34.400.953CV-FreCorNet(我们的)RGB+Correlation34.180.949如图8所示,我们选择了具有全局和极端模糊的具有挑战性的案例进行定性分析。大多数基于图像的方法在三个测试图像上仍然产生了明显的模糊结果,甚至在极端模糊下也失败了。EFNet、EFSformer和CorNet的预测在对象边界处缺乏清晰度。在极端模糊下,我们的方法在恢复边缘和纹理方面表现出优越的能力,这一点在第三个示例中尤为明显。下载:下载高分辨率图像(876KB)下载:下载全尺寸图像图8. 我们的方法与Adobe240测试集上先进方法的定性比较。我们使用具有全局和极端模糊的具有挑战性的案例来评估比较方法对复杂模糊场景的泛化能力。总之,我们的方法在GoPro和Adobe240数据集上取得了有竞争力的性能,仅次于CorNet [51]。然而,这种综合评估不足以完全反映模型在不同模糊类型下的性能,特别是在具有挑战性的全局和极端模糊情况下,这一点在之前的工作中很大程度上被忽略了。如图7所示,去模糊方法的性能根据模糊类型的不同而显著变化。为了更全面地评估模型的鲁棒性,我们在下一节进行了三项针对性评估,每项评估都针对特定的模糊特征。4.4 在三种类型模糊测试集上的评估结果我们将GoPro和Adobe240测试集结合起来,总共得到2066张测试图像。然后我们采用基于光流的方法进行客观的模糊分类。具体来说,用于生成每张模糊图像的第一帧和最后一帧被输入到RAFT模型[45]中,以估计相应的光流,这描述了动态场景中的运动速度和范围。因此,每张模糊图像都与一个光流配对。如图9所示,平均流幅度大于20的图像被分类为极端模糊。对于剩余的图像,如果流幅度的变异系数[21]小于0.3,则被分类为全局模糊,因为它们在整个图像上显示出几乎均匀的光流,而其他图像则被归类为局部模糊。最后,964张图像被标记为局部模糊,665张为全局模糊,437张为极端模糊。值得注意的是,局部模糊占了集成测试集的近一半。因此,在局部模糊上表现良好的方法可能会获得较高的平均得分。然而,现实世界场景中的模糊模式仍然复杂且不可预测。恢复全局和极端模糊图像更具挑战性,因此在涉及动态场景和快速运动的实际应用中具有更大的实际意义。下载:下载高分辨率图像(147KB)下载:下载全尺寸图像图9. 模糊分类的光流。我们计算了GoPro和Adobe240测试集中用于生成模糊图像的第一帧和最后一帧之间的光流。如果模糊图像的光流平均幅度超过20,则将其分类为极端模糊,共产生了437个样本。在剩余的图像中,如果光流幅度的变异系数(标准差/平均值)大于0.3,则被分类为局部模糊,共产生了964个样本。我们选择了四种领先的方法,包括FFTFormer [25]、EFNet [43]、EFSformer [35]和CorNet [51],在三种类型的模糊测试集上进行比较实验。图10和图11展示了每个测试样本的PSNR和SSIM得分,清楚地说明了它们在不同模糊类型下的性能。对于仅在有限空间区域内引入轻微图像退化的局部模糊,所有领先方法都表现出了强大的性能。如图7所示,尽管这些方法在局部模糊样本上存在定量差异,但这些差异在视觉质量上几乎无法区分,并且对下游视觉任务的影响有限。相比之下,全局和极端模糊会导致大规模或严重的图像退化,因此在涉及动态场景和快速运动的实际应用中具有更大的实际价值。在全局和极端模糊下,所有比较方法都遭受了明显的性能下降。FFTFormer由于缺乏辅助信息而表现最差。我们的方法取得了最佳性能,产生了更清晰的边缘恢复,这对于下游任务(如对象检测和语义分割)非常有益。这种性能提升归功于我们框架的设计。具体来说,我们以CorNet作为代表基线进行进一步分析。其轻量级架构直接处理原始的模糊图像,能够在简单的局部模糊情况下实现强大的性能,但在模拟复杂模糊模式时能力有限,难以处理全局和极端模糊情况。相比之下,我们的方法通过将模糊图像分解为多个频带图像来针对复杂模糊场景进行优化,使得复杂模糊效果得以分离,并明确增强与物体运动方向对齐的严重退化区域。这种设计在局部模糊情况下也能保持竞争性能,展现出在不同类型的模糊情况下更稳定的泛化能力。此外,尽管使用复数卷积使得我们的方法不那么轻量级,但它实现了计算效率和性能之间的有利平衡,从而弥补了现有去模糊方法中的关键差距。

图10. 我们的CV-FreCorNet与FFTFormer [25] 和 EFNet [43] 在局部模糊、全局模糊和极端模糊情况下的性能比较。每个数据点代表相应方法的指标分数。局部模糊、全局模糊和极端模糊的测试样本数量分别为964、665和437。

图11. 我们的CV-FreCorNet与EFSformer [35] 和 CorNet [51] 在局部模糊、全局模糊和极端模糊情况下的性能比较。我们进一步进行了一尾配对t检验 [28] 以验证我们方法在具有挑战性的模糊类型下的优越性能是统计上显著的,而不是由于随机机会。基本处理步骤如图12所示。具体来说,进行了四组比较实验,分别将我们的方法与FFTFormer、EFNet、EFSformer和CorNet进行比较。在每个实验中,使用相应的测试对来评估每个模糊图像,并使用配对分数(PSNR或SSIM)来计算每个样本的差异。这在三种类型的模糊和两个评估指标下产生了六组分数差异。因此,在每个实验组内进行了六次一尾配对t检验,以确定这些差异是否具有统计显著性。

表3. 我们的方法与FFTFormer [25]、EFNet [43]、EFSformer [35]、CorNet [51] 在三种类型的模糊图像下的性能比较结果。 “平均差异”和“t”符号一致表示哪种模型在特定模糊类型上的性能更好,正值表示我们的方法优于比较方法。p值小于0.05表示观察到的性能差异具有统计显著性。

表4. 我们报告了每次一尾配对t检验得到的基本统计信息,包括平均差异、自由度(df=样本数量-1)、t值、p值和显著性水平。在零假设下(即我们的方法没有性能提升),t值反映了观察到的性能差异相对于数据变异性的大小。p值表示在零假设下观察到此类差异的概率。在这项研究中,我们采用了常用的0.05显著性水平,p值小于0.05的结果被认为是统计显著的。在局部模糊情况下,与EFSformer和CorNet相比时,一尾配对t检验得到的p值为1,表明我们的方法没有表现出统计上的显著提升。负t值表明EFSformer和CorNet在这种模糊类型上的表现更好。对于全局和极端模糊,所有一尾配对t检验得到的p值都低于0.05,除了CorNet在全局模糊下的PSNR指标。这表明我们的方法在大多数具有挑战性的模糊场景中实现了显著的改进。

图13. 我们在真实世界和合成场景中评估了模型的性能。如图13所示,我们使用三相相关图像传感器[1]来捕捉真实世界场景中的移动物体,得到模糊图像及其相关图像。此外,我们还合成了一张极端模糊的图像来检验比较方法的性能。对于局部模糊,所有比较方法都表现良好,能够有效恢复移动手的边缘。然而,HINet [6]、SFNet [13] 和 GRL [31] 在去除极端模糊方面表现不佳。虽然FFTFormer [25] 和 CorNet [51] 产生了相对清晰的结果,但在飞机尾部和整个汽车周围仍有一些伪影。我们的方法更准确地恢复了物体边缘,从而在具有挑战性的模糊场景中实现了有效的去模糊效果。

图4.6. 我们通过消融实验验证了所提出模块在GoPro数据集[37]上的有效性,检验了各个模块及其内部组件。所有消融模型都在一致的参数设置下进行训练,以确保结果的可靠性和可比性。表4显示,随着每个模块的引入,模型性能逐步提高。具体来说,Net1使用堆叠的复杂基础块处理模糊的频带图像,直接增强了退化的高频信息。添加DyCC使模型能够从频带图像中提取更具代表性的特征。结合相关图像使PSNR和SSIM分数分别提高了2.03和0.019(Net2 vs Net3),表明它提供了有助于增强频带图像的有价值去模糊信息。交互操作促进了频带图像和相关图像之间的特征一致性,进一步提高了PSNR和SSIM分数0.66和0.008(Net3 vs Net4)。完整的模型(Net6)实现了最佳的整体性能。

表5. 显示了Net4和完整Net6在三种类型模糊图像下的去模糊性能。频域中的交互和融合操作提高了我们的模型处理三种类型模糊的能力,特别是在全局和极端模糊方面有所改进。

表6. PyTorch为复数可控金字塔(CSP)分解提供了有效的实现。参数规模和顺序控制金字塔的频率覆盖范围以及每级的方向滤波器数量。较大的规模值增加了分解层次的数量,从而扩展了覆盖的空间频率范围。当顺序设置为1、2、3或4时,方向滤波器的方向分别为(、、、、)和(、、、)。通常,增加规模和顺序能够从模糊图像中更详细地提取形状和纹理信息。然而,过大的值可能会引入不必要的噪声。表6报告了我们的模型在各种CSP参数设置下的去模糊性能。在我们的实验设置中,最佳配置是规模=2和顺序=3。CSP将模糊图像分解为两个金字塔层次(scale1和scale2),每个层次有三个方向滤波器(、)。因此,模糊输入总共由24个频带图像表示。每个RGB通道产生8个频带图像(1个高残差、6个方向和1个低残差频带图像)。

表7. 我们设计了动态复数卷积(DyCC)来在下采样过程中提取频带图像的深度特征。如图5所示,DyCC对频带幅度应用了通道级注意力来生成动态权重。决定了用于表征频带图像的维度以及可学习的复数卷积核的数量。表7显示,较小的值可能无法代表频带图像的关键信息,导致特征丢失。较大的值会增加模型参数和过拟合的风险。在我们的实验设置中,最佳值为4,其中四个可学习的复数卷积核和权重之间的加权求和生成了用于提取频带图像代表性特征的动态复数卷积核。

表8. 在这项工作中,我们利用复杂的可控金字塔滤波器将模糊图像分解为多个频带图像以进行运动去模糊。高残差和低残差频带图像由对称滤波器分解。作为核心组件,方向频带图像的分解包括两种方式:对称分解和不对称分解,逆FFT后产生实值和复数值图像。图14展示了在一个图像通道上的对称分解结果。在这个过程中,采用了对称方向滤波器,得到的方向频带图像用实数值表示,以表征图像结构的空间强度。对于所提出的方法(图1),我们使用不对称方向滤波器进行不对称分解。

图14. 对称分解在单通道模糊-清晰图像对上的结果。方向滤波器属于对称设计,与图1中的不对称分解不同。为了验证这种不对称分解的优势,我们设计了一个相应的实值神经网络(RV-FreCorNet),它具有与原始CV-FreCorNet相同的处理流程,但其输入数据和模块在实值域中操作。具体来说,RV-FreCorNet将对称分解得到的模糊频带图像(通道=24)及其相关图像(通道=2的实部和虚部)作为输入。实值基础块(RBB)被设计为实值卷积处理单元。动态实数卷积(DyRC)根据实值输入频带图像生成自适应的实值卷积核。考虑到DSIM和DSFM中频率域内存在复数值数据(图6),我们准备了两种比较方式。(1)RV-FreCorNet1:直接移除频域中的操作。(2)RV-FreCorNet2:保留频域中频带图像和相关图像的交互和融合,但FFT结果的实部和虚部分别处理,特征学习由RBB执行。上述实值版本的模块具有与原始复数值模块相同的参数设置和深度。

表8. 在GoPro数据集上,对称和不对称分解对频带图像的定量比较。RV-FreCorNet1和CV-FreCorNet1仅在空间域中执行频带图像和相关图像的集成。RV-FreCorNet2 和 CV-FreCorNet2(我们的完整模型)在空间域和频率域执行集成操作。模型PSNR SSIM 分别为:RV-FreCorNet1 34.390.958、CV-FreCorNet1 34.870.962、RV-FreCorNet2 34.980.964、CV-FreCorNet2(我们的模型)35.520.969。下载:下载高分辨率图片(1MB);下载全尺寸图片。图15. 对称分解和非对称分解得到的带状图像的定性比较。数字表示每种比较方法在全分辨率测试样本上的PSNR和SSIM分数。4.6.5. 相关图像与事件表示的比较。在传统相机中,运动模糊是由于曝光过程中时间变化的光照强度的时间积分引起的。事件相机和相关图像传感器可以捕捉到传统成像中丢失的强度变化,从而为基于深度学习的运动去模糊提供有效的辅助信息。现有的基于事件的方法通常沿时间维度累积事件流以构建去模糊用的事件帧。相比之下,相关图像利用外部参考信号更紧凑、高效地描述曝光过程中的完整强度变化。为了定量验证相关图像的优势,我们将其与广泛使用的事件表示方法(EFNet [43]中的事件体素和SCER)在GoPro数据集上进行了比较。考虑到实值事件表示,我们采用RV-FreCorNet2作为基线模型,并对所有方法采用相同的训练设置(第4.6.4节)。按照常规做法,事件体素和SCER的输入通道分别设置为5和6,而相关图像使用两个实值通道表示。如表9所示,使用相关图像作为辅助输入可以取得更好的定量性能。这表明强度变化的紧凑表示有助于更有效的特征提取和图像重建。Wang等人[48]也在去模糊和时间超分辨率任务中报告了类似的观察结果,进一步支持我们选择相关图像作为辅助数据。表9. GoPro数据集上相关图像与事件表示的定量比较。第4.6.4节中的RV-FreCorNet2被选为基线模型。输入数据PSNR SSIM RGB+事件体素 34.170.955 RGB+SCER 34.560.961 RGB+相关图像 34.980.964。5. 讨论。作为辅助信息来源,三相相关图像传感器(3PCIS)可以有效捕捉动态场景中的强度变化和运动方向。然而,3PCIS相对于更流行的事件相机来说价格较高且体积较大,这限制了其在主流计算机视觉任务中的应用。随着3PCIS的广泛应用,许多研究致力于提高其性能和适应性[22]。目前,已经开发出一种相关图像模拟器[48],该模拟器利用事件相机产生的事件流来模拟相关图像。该模拟器通过构建时间相关的事件表示来重建相关图像,通过沿时间维度迭代累积事件来生成曝光过程中的强度变化信号,然后与外部参考进行时间相关性对比。这种模拟器算法部分缓解了3PCIS的实际限制。我们相信,随着技术的不断进步,相关成像将在复杂的动态场景中发挥越来越重要的作用。6. 结论。运动去模糊对于现实世界应用中的可靠视觉理解至关重要。然而,现有方法大多强调整体性能,而忽视了具有挑战性和实际重要性的模糊类型。为了解决这一限制,我们提出了一个针对此类挑战条件进行建模和处理的带状图像学习框架。复杂的可转向金字塔滤波器被用来提取带状图像,其中方向带表征了图像结构在多个方向上的空间强度和相对位置。通过端到端的带状图像学习,我们的CV-FreCorNet显著增强了脆弱的高频成分,尤其是在与运动模糊方向对齐的严重模糊区域。此外,在三相相关图像传感器的辅助下,我们引入了相关图像来补偿由运动模糊引起的带状图像退化。虽然所提出的方法在两个公共数据集上取得了有竞争力的整体性能,但在具有挑战性的全局和极端模糊条件下,它显示出统计学上的显著改进。CRediT作者贡献声明:Wang Hexi:撰写——原始草稿、验证、软件、方法论、研究;Kurihara Toru:撰写——审阅与编辑、监督、研究、资金获取、概念化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号