基于事件驱动多模态融合的深度时空事件去模糊网络研究

为解决传统帧相机在高速运动场景下图像模糊问题，研究人员提出事件驱动多模态融合去模糊网络EDMF。该研究创新性地设计了深度时空事件DSE体素网格表征方法，通过频率分离和高频增强模块实现事件数据与模糊图像的有效融合。实验表明，该方法在GoPro和REBlur数据集上PSNR分别达35.76dB和38.31dB，显著优于现有技术，为动态视觉传感器在计算机视觉领域的应用提供了新思路。

　　

在高速摄影和自动驾驶等领域，传统帧相机因曝光时间限制会产生运动模糊，导致图像细节丢失。尤其当物体运动速度不均时，图像会出现非均匀模糊现象，现有基于单帧图像的去模糊方法难以有效处理。事件相机（Event Camera）通过微秒级时间分辨率记录亮度变化，理论上可完美解决这一问题，但如何将异步事件流与传统图像数据融合仍是重大挑战。

针对这一难题，国内研究人员在《Expert Systems with Applications》发表研究，提出事件驱动多模态融合去模糊网络EDMF。该研究通过三项关键技术实现突破：1）创新性设计深度时空事件DSE体素网格，首次引入事件密度直方图编码模糊程度；2）开发频率分离策略，将模糊图像分解为高频分量B_FH和低频分量B_FL；3）构建事件-图像高频增强模块EIHE，采用深度可分离卷积实现跨模态特征融合。实验采用GoPro和REBlur数据集，通过对称累积事件表示SCER时间窗划分，结合双阶段U-Net架构进行端到端训练。

研究结果显示，在事件表征方面，DSE体素网格通过数量、时间和密度三组直方图（h_n, h_t, h_d）编码时空信息，其快速密度计算方法使生成速度提升30倍。网络架构上，EDMF通过平均池化实现频率分离，公式B_FH=B-B_FL精确提取高频成分。关键创新点EIHE模块采用1×1卷积扩展通道后，通过3×3深度卷积（Dconv_3×3）处理跨模态特征，最终在GoPro测试集上达到35.76dB PSNR，较基线EFNet提升0.30dB。

讨论部分指出，该研究首次将频率域分析引入事件-图像融合，解决了模态间的频谱差异问题。但存在真实事件数据不足、高频假设局限性等挑战。未来可通过构建高分辨率事件数据集、开发自适应运动掩膜等方法进一步优化。这项工作为生物启发视觉传感器在复杂场景中的应用奠定了算法基础，对自动驾驶、机器人导航等领域具有重要意义。