PRISM-deblur：基于RGB和事件相机的强度引导式时空运动去模糊技术，实现逐步精确优化

《Neurocomputing》：PRISM-deblur: Progressive refinement with intensity-guided spatio-temporal motion deblurring using RGB and event cameras

　　黄冰宇|陈光安|吉安尼·阿莱博施|蒂姆·威尔勒姆斯|廖希普|彼得·维拉特|威尔弗里德·菲利普斯|扬·阿尔特曼
根特大学TELIN-IPI – imec，地址：比利时根特市圣彼得斯新街41号，邮编9000

**摘要**
动态场景中的运动模糊既源于相机抖动，也源于物体运动，由此产生的全局与局部模糊混合效应使得仅依靠RGB图像难以恢复清晰画面。虽然事件相机能够以高时间分辨率捕捉互补的运动信息，但有效利用这些信息仍面临挑战。现有方法往往依赖浅层事件编码器、偏向某一数据模态的单向融合方式，或是无法适应空间上变化多端的模糊程度的粗略优化策略。我们提出了PRISM框架，这是一种渐进式事件引导去模糊方案，包含三个专用模块：时空事件处理器（STEP）用于建模时间动态以形成可靠的事件表示；双向跨模态注意力融合模块（BiCAF）可平衡图像流与事件流之间的信息交换，弥补单向融合在事件引导去模糊中的不足；运动强度引导连接模块（MIGC）则能借助运动线索自适应调整优化过程，优于传统的二值掩码引导方式。在多个基准数据集上的实验表明，PRISM取得了当前最优的性能，在定量指标与视觉质量方面均显著优于以往方法。定性对比进一步显示，PRISM在恢复更清晰的运动细节的同时还能保留干净的静态区域，证明了该渐进式设计的有效性。相关代码与数据集已公开发布在：github.com/Bingyu-Huang/PRISM。

**引言**
运动模糊是数字摄影和视频拍摄中最常见且最难处理的图像退化现象之一，其产生原因是曝光过程中相机与场景之间存在相对运动[1][2]。随着手持相机的广泛使用以及对动态场景拍摄需求的增加，运动模糊已成为严重影响视觉质量的关键因素[3][4]，同时也会阻碍后续的计算机视觉任务，如物体跟踪[5]、视频稳定[6]以及自主导航[7][8][9]。现实成像场景中运动模糊的普遍存在推动了计算摄影与计算机视觉领域的深入研究，但由于该问题属于反问题的不适定问题，其解决难度依然很大[10]。

传统的单幅图像去模糊方法由于在模糊形成过程中会丢失大量信息，因而存在固有局限。经典方法通常将这一问题视为盲反卷积问题，试图在关于场景结构与运动特征的强假设前提下，同时估计模糊核与潜在的清晰图像[11][12][13][14][15][16][17]。然而，这些方法往往采用过于简化的模糊模型，假设整个图像的模糊核都是均匀的，无法应对现实场景中常见的空间上差异化的运动模糊——不同区域由于物体运动、相机抖动及深度变化等因素，会表现出不同程度的模糊类型[18][19]。

深度学习的出现为运动去模糊带来了显著改进，它通过端到端学习方式避免了显式的模糊核估计。基于CNN的方法通过学习从模糊图像到清晰图像的复杂映射，展现了优异的性能[20][21][22][23][24]，而多尺度架构、生成对抗训练以及基于Transformer的设计则进一步提升了去模糊效果。不过，这些仅基于RGB图像的方法仍然受到模糊形成过程中信息瓶颈的限制，尤其是在涉及快速运动或复杂相机运动的极端模糊情况下，关键的运动细节往往会不可逆地丢失。

事件相机作为一种具有革命性的补充模态，解决了传统成像方法在运动去模糊方面的根本局限。与在固定曝光时间内积分光线的帧式相机不同，事件相机是一种受生物启发的异步传感器，能够以微秒级的时间分辨率独立捕捉每个像素的对数强度变化[25][26][27][28]。当某个像素的强度变化超过预设阈值时，事件相机就会触发一个事件，该事件被编码为一个元组，其中表示像素坐标，表示精确的时间戳，而则表示强度变化的极性。这种独特的感知方式为运动去模糊提供了诸多优势：首先，微秒级的高时间分辨率使得它能够捕捉传统相机中会严重模糊的极快速运动；其次，它拥有极高的动态范围（通常为120 dB，而传统相机仅为60 dB），因此能够在复杂的照明条件下正常工作[29][30]；最后，其运动触发式感知机制确保了运动信息会被明确保留，而不会因时间积分而被丢失。

帧数据与事件数据的互补性推动了近期基于事件的运动去模糊研究的发展。早期的方法利用将事件生成与图像形成联系起来的物理模型，借助事件来估算运动模式，从而实现基于核的去模糊处理[31][32][33]。较新的方法则探索了多种融合策略，试图将模糊图像的结构信息与事件流中的运动信息相结合。然而，现有的基于事件的去模糊方法仍存在若干关键局限，制约了其在现实场景中的应用效果。首先，许多方法缺乏处理空间上差异化运动特征的明确机制，这一局限性已被最新研究重点指出[34][35]。现实场景中的运动模糊往往存在显著的空间差异，不同区域由于物体运动模式、深度不连续性以及相机运动特征的不同，会呈现出不同的运动强度。现有的融合方法通常对整个图像采用统一的处理方式，无法适应局部运动特征，结果可能导致清晰区域被过度平滑，而严重模糊的区域则处理不足。在具有复杂运动模式的场景中，这种局限性尤为突出，此时需要空间自适应的处理方式才能获得最佳的去模糊效果。

其次，许多现有方法采用的事件处理架构并不理想，无法充分利用事件数据中固有的丰富三维时空结构。事件流中包含有关运动动态及强度变化模式的宝贵时间信息，这些信息对于准确理解运动至关重要[36][37][38]。然而，目前的处理方法通常只使用简单的二维空间卷积，可能无法充分捕捉曝光期间事件数据中存在的复杂时空相关性，尤其是那些体现运动连续性与方向的时间依赖关系。这无疑是一个巨大的机会缺失，因为正是事件的时间结构使其在运动去模糊中具有独特价值。

第三，目前的跨模态融合方法大多为单向融合，即事件特征指导图像处理，而图像特征则无法反向影响事件处理[39][40]。这种不对称的信息流向限制了两种模态之间实现互利特征增强的可能性，因为图像特征本可以提供有价值的结构与上下文信息，从而提升事件特征的表示质量。缺乏双向交互意味着无法充分利用互补信息，尤其是在图像上下文对于解读稀疏或噪声较大的事件数据至关重要的场景中，这可能会导致融合效果不佳。

为解决上述局限，我们提出了PRISM框架，这是一种名为“基于强度引导的时空运动去模糊的渐进式优化”框架，包含四项关键创新。PRISM采用两阶段的渐进式优化策略：第一阶段通过多级跨模态融合实现初步去模糊，第二阶段则借助运动强度引导的特征增强技术对结果进行优化，从而实现兼顾效率与质量的从粗到精的图像重建。本研究的主要贡献包括：
•一种运动强度引导的门控机制，可通过基于事件数据提取的局部运动特征，并结合增强的三维处理能力，实现空间自适应的特征处理；
•一种改进型的三维事件处理器，配备了专门的多级注意力机制，能够更有效地从事件流中提取时空特征；
•一种双向跨模态注意力融合方法，可实现图像模态与事件模态之间的相互信息增强；
•全面的评估结果表明，该框架在标准基准测试中表现处于当前最优水平，同时还具备较高的计算效率，此外还通过大量的消融实验验证了各组成部分的有效性。

**相关研究**
在本节中，我们将简要回顾与我们的方法相关的现有文献，包括基于图像/视频的运动去模糊方法以及基于事件的运动去模糊方法。

**问题描述**
当以较慢的曝光时间拍摄动态场景时，快速移动的物体或相机抖动会导致像素强度在空间上发生扩散，从而产生运动模糊。在本节中，我们将对这一退化过程进行数学建模，并阐述引入事件数据的必要性。

**数据集与评估**
我们在三个具有代表性的数据集上对PRISM进行了测试：GoPro[21]、REBlur[39]以及HighREV[69]。这些数据集涵盖了合成数据与真实世界的运动模糊场景，为基于事件引导的去模糊模型提供了全面的评估基准。GoPro是一种广泛使用的基准数据集，它是利用GoPro Hero相机以240 FPS的高帧率拍摄的视频序列构建的。事件数据则由开源的事件相机模拟工具ESIM[73]生成。REBlur则是为……设计的真实世界数据集。

**结论**
在本文中，我们提出了PRISM框架，这是一种利用RGB相机与事件相机各自优势的渐进式运动去模糊优化框架。通过整合时空事件处理、双向跨模态融合以及运动强度引导的连接机制，我们的方法有效应对了运动模糊在空间上存在差异以及时间上较为复杂的特点。在多个基准数据集上的全面评估表明，PRISM不仅取得了优异的性能……

**CRediT作者贡献说明**
黄冰宇：撰写——初稿撰写、可视化、验证、监督、软件开发、资源准备、项目管理、方法设计、研究实施、资金获取、形式分析、数据整理、概念构思。陈光安：撰写——审稿与编辑、监督、形式分析、数据整理、概念构思。吉安尼·阿莱博施：撰写——审稿与编辑、监督、研究实施、形式分析。蒂姆·威尔勒姆斯：撰写——审稿与编辑、验证、监督。

**利益冲突声明**
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

**致谢**
作者感谢中国国家留学基金委提供的资金支持。此外，这项研究还部分得到了弗拉芒政府（人工智能研究计划）的资助。黄冰宇在中国广州的华南理工大学获得了车辆工程硕士学位，目前她正在比利时根特大学攻读图像处理与解释专业（IPI）的博士学位。她的研究兴趣包括基于事件的视觉技术、图像处理以及用于智能系统的传感器融合技术。