基于事件图像跨模态融合的双解码器图像去模糊方法

《Sensors》：Real-Time Fatigue Monitoring Using sEMG and HRV Sensors for Industrial Operators Under Swing Conditions

　　

大多数现有的事件驱动图像去模糊方法忽略了两种模态之间的固有差异，且缺乏显式对齐策略，导致跨模态失配与特征重建退化。针对该问题，研究人员提出了一种基于事件图像跨模态融合的多阶段双编码器–解码器图像去模糊方法。所提网络由编码器与解码器组成：编码器采用膨胀卷积残差模块（Dilated Convolutional Residual Module，DCRM）进行特征提取，并集成跨模态特征融合模块（Cross-Modal Feature Fusion Module，CFFM）与局部评分机制（Local Score-based Feature Fusion，LSFF），在结合事件特征与帧图像特征的同时抑制噪声；解码器通过两个方向性解码子网络重建图像特征，并引入反馈注意力模块（Feedback Attention Module，FAM）沿反馈路径筛选信息性特征，从而提升图像重建质量。除标准损失外，研究人员采用平均绝对误差（Mean Absolute Error，MAE）、结构相似性（Structural Similarity，SSIM）与频率重建损失优化去模糊性能。在GoPro、REBlur与RwEvent数据集上的大量实验表明：所提方法在PSNR指标上分别超越REFID基线0.23 dB、0.20 dB与0.49 dB，在SSIM指标上分别提升0.002、0.002与0.017；计算开销方面仅增加3.4 M参数与105.2 GFLOPs，推理速度（FPS）仅降低2.12。消融实验验证了各设计模块的独立正向贡献。定性与定量结果均证明该网络具备更强的去模糊能力与泛化性。

研究背景与动机

图像模糊是分类、检测与分割等视觉任务中的常见退化因素，传统核估计方法难以应对真实场景非均匀运动模糊，而单纯基于RGB帧的深度学习去模糊网络缺乏微秒级时间分辨率，无法显式建模高速动态模糊。事件相机（event camera）以异步方式记录像素级亮度变化，具备微秒级时间分辨率且本身不受运动模糊影响，但现有事件–图像融合方案多采用简单拼接或单层注意力，忽视模态间分布差异与统计不一致，导致跨模态失配。为此，研究人员在《Sensors》发表该研究，提出一种基于事件图像跨模态融合的双解码器去模糊框架，以解决复杂动态场景下的严重运动模糊恢复问题。

主要关键技术方法

研究人员构建双编码器（分别提取事件与帧图像特征，含3×3卷积、DCRM与两次下采样）–双解码器（旋转共享卷积核分别建模水平/垂直模糊）网络；设计CFFM（双向多头注意力做特征对齐）、LSFF（局部邻域相似度评分抑制无关事件噪声）、DCRM（膨胀率1/3/5并行膨胀卷积+密集残差注意力块DRAB+跨层注意力融合CAFM）、FAM（高层语义反馈为浅层加权）；损失函数联合MAE、SSIM与多尺度频率重建（Multi-Scale Frequency Reconstruction，MSFR）损失。训练数据来自GoPro数据集（3214对，取2103对经随机翻转增广至4206对训练），并在GoPro、REBlur、RwEvent测试集评估；硬件为Ubuntu 18.04、NVIDIA GTX 2080Ti、PyTorch 1.6.0，训练1000 epoch、batch 4、AdamW+余弦退火。

研究结果

3.1 完整网络架构

通过双编码器提取多尺度事件/图像特征，经三级CFFM与LSFF层次融合过滤，送入旋转共享双解码器分方向重建后像素相加，并在编码端嵌入FAM反馈高层语义。结论：该结构可平衡局部细节与全局结构，显式建模多方向模糊。

3.2 跨模态特征融合模块（CFFM）

以卷积互调对齐事件与帧特征分布，再以双向多头注意力（帧作Q查事件K/V，事件作Q查帧K/V）实现跨模态引导。结论：消除模态间统计偏移，在统一特征空间融合运动线索。

3.3 局部评分特征融合模块（LSFF）

对图像与对齐事件特征取局部邻域做内积得匹配分数，Sigmoid加权聚合事件特征后与对齐事件特征相加。结论：抑制重复纹理与背景误触发事件噪声。

3.4 膨胀卷积残差模块（DCRM）

并行膨胀率1/3/5卷积分支提取多尺度特征，接入DRAB（密集残差+通道注意力）与CAFM（跨层自注意力融合）。结论：扩大感受野且不增参，增强多尺度运动建模。

3.5 反馈注意力模块（FAM）

解码器每层将上层反馈特征经3×3卷积+Sigmoid生成空间注意力图，与当前层卷积特征逐元素乘后残差相加。结论：以高层语义补偿严重模糊区细节损失。

3.6 损失函数

L_total=λ₁L_MAE+λ₂L_SSIM+λ₃L_MSFR，λ设0.6/0.3/0.1；MSFR在多尺度傅里叶域惩罚频谱差异。结论：频域约束缓解过度平滑，保留高频纹理。

4.1 GoPro对比

与UFPNet、MSDI-Net、MotionSNN、RLANet、NAFNet、REFID、DLEFNet比，所提方法PSNR 36.13 dB、SSIM 0.975最高，参量17.6 M，FPS 10.06；视觉上文字、井盖斑点、车牌恢复更完整。结论：像素与结构恢复均达最优且模型轻量。

4.2 REBlur与RwEvent对比

在真实模糊数据集上PSNR/SSIM同样居首，建筑窗格、广告牌文字、网格边界恢复清晰。结论：对真实非均匀模糊泛化性强。

4.3 消融实验

逐一移除CFFM（PSNR降至34.61）、DCRM（34.68）、LSFF（35.02）、MSFR（35.16）、DRAB（35.73）、FAM（35.89）、SRK（35.94）均致指标下降，CFFM影响最大。结论：七模块均提供正向增益。

4.4 局限与失败案例

固定核旋转难拟合任意斜向超快运动；强环境噪声扰乱LSFF评分；夜景低信噪比削弱CFFM对齐；>1920×1080分辨率FPS显著下降；对角小目标复原边界仍虚。结论：明确了后续轻量化与低光泛化优化方向。

讨论与结论翻译

讨论指出各模块在轻量增加的条件下持续精炼像素精度与结构完整性，完整模型在恢复质量与计算开销间取得最优平衡，训练过程未见验证集指标恶化即无严重过拟合。

结论部分翻译：本研究提出一种新颖双编码器双解码器网络架构以解决图像去模糊问题，集成CFFM、LSFF与DCRM，并采用双解码器结构与反馈机制自适应筛选判别性特征。模型在GoPro训练，于GoPro、REBlur、RwEvent测试，PSNR与SSIM均最高，消融验证各模块有效。未来工作将结合轻量设计与高效注意力压缩计算，增强复杂真实场景鲁棒性，并推进模型量化与嵌入式实时视频去模糊部署。