ReBo-SNN：具有视网膜机制的增强型脉冲神经网络，用于高效雾气去除

《Neural Networks》：ReBo-SNN: Boosted Spiking Neural Network with Retina Mechanism for Efficient Haze Removal

　　摘要：雾气效应会导致远处物体的光线衰减和颜色偏移，从而降低图像的对比度和饱和度。为恢复图像清晰度，人们相继提出了多种去雾方法。然而，由于需要强大的特征提取能力，同时还要考虑计算效率与模型可扩展性，开发出高效实用的方法仍是一项艰巨任务。为解决这些问题，我们提出了一种基于视网膜机制的增强型脉冲神经网络——ReBo-SNN，用于重建雾天图像。该网络借鉴了视网膜神经元的拮抗机制，创新性地设计了视网膜模块。通过“开路”与“闭路”路径提取高表达力特征，视网膜模块能有效提升视觉分辨率与对比度。此外，为避免过度平滑的问题，该网络引入了一种新的增强策略，实现逐级特征提升，有助于生成高质量的去雾图像。同时，网络还结合了密集残差连接与步长卷积，以弥补平移过程中可能出现的信息损失，显著提升了特征传递与整合的效率。在合成数据及真实雾天图像上的大量实验表明，所提出的网络在定量与定性指标上均表现出优异性能。凭借脉冲机制与紧凑架构，该网络还具有显著的能效优势，有利于其在视觉硬件中的应用，进一步提升整体性能。

引言：雾气是一种常见的大气现象，由空气中的悬浮微粒如灰尘和烟雾引发。这些微粒会吸收和散射光线，严重影响成像清晰度。在雾气环境下，图像识别与分类（Chen等人，2021；Luo等人，2023；Zhang等人，2021）、视频监控与安全保障（Ionescu等人，2019；Liu等人，2018；Muhammad等人，2019）以及自动驾驶（Li等人，2022；Zhai等人，2023）等实际应用都容易受到干扰。因此，研究雾气去除技术至关重要。早期的研究（Narasimhan和Nayar，2000；Narasimhan和Nayar，2003；Schechner等人，2001；Shwartz等人，2006）依赖同一场景的多张图像来实现去雾。但在实际应用中，仅利用单张图像去雾更为现实，因此我们主要聚焦于单图像去雾问题。近几十年来，已有多种单图像去雾方法被提出，大致可分为三类：依赖模型的方法、基于视网膜的方法以及从雾天到清晰天的转换方法。

第一类依赖模型的方法基于广为人知的大气散射模型Cantor（1978），该模型对雾气效应进行了简单近似。具体而言，大气散射模型公式为：I(x)=T(x)J(x)+A(1?T(x))，其中x为像素坐标，I(x)表示拍摄到的雾天图像，J(x)表示对应的无雾图像，即真实图像，A表示全局大气光，T(x)表示介质传输函数，它与场景深度d(x)及散射系数β相关，其定义为：T(x)=e?βd(x)。大多数先进的依赖模型方法采用数据驱动方式来推断大气散射模型中的各参数。代表性方法包括DehazeNet（Cai等人，2016）、AOD-Net（Li等人，2017）、LDP（Liu等人，2019b）、FAMED-Net（Zhang和Tao，2020）、LD-Net（Ullah等人，2021）等。这些方法均在基于相同物理模型生成的合成数据集上进行训练，并在合成测试集上展现出良好效果。然而，现实中的雾气效应可能与大气散射模型并不完全一致，且雾天图像与其真实图像之间存在高度非线性的变换关系，因此依赖模型的方法在处理真实雾天图像时会出现性能下降的问题。

第二类基于视网膜的方法借鉴了生物视觉中的视网膜结构，具有很强的泛化能力，能够避免大气散射模型带来的问题。研究表明，从视网膜传递到大脑视觉中枢的视觉信号并非输入图像的简单像素复制，还包括经过处理的图像特征（Gollisch和Meister，2010）。视网膜拥有多种特殊神经元，能够执行光电转换、信号压缩、边缘检测等基本视觉任务，同时也能参与图像增强、运动检测、物体定位等复杂视觉任务。因此，有许多方法（Jobson等人，1996；Rajput和Rahman，2008；Zhang、Gao、Li、Li，2015；Zhang、Luo、Sun、Wang、Qu、Yi，2024）模拟了视网膜的关键工作机制，用以提升雾天图像的质量。通过复制视网膜特殊神经元的信息处理机制，这些方法能够优化图像细节，实现有效的去雾效果。此外，描述视觉感知的Retinex理论由Land和McCann（1971）提出，也被应用于去雾领域。传统的单尺度Retinex去雾方法（Gao-ping和Meng，2011；Jobson等人，1997；Rong和Jun，2014）对周围函数的尺度选择十分敏感，不同场景下的最优参数也各不相同。为克服单尺度方法的缺陷，人们提出了多尺度Retinex去雾方法（Li等人，2020；Petro等人，2014；Wang和Xu，2014；Xue等人，2016），无需手动选择尺度即可提升雾天图像的清晰度。不过，多尺度方法在光照不均匀的情况下，容易在去雾后的图像中产生光环伪影。

随着深度学习技术的发展，用于实现从雾天到清晰天图像转换的可训练方法越来越受到关注。研究人员Liu等人（2019a）发现，即便没有可解释的模型，端到端的转换方法在合成数据及真实雾天图像上仍能展现出出色的去雾效果。这一研究方向上的代表性工作包括PFFNet（Mei等人，2019）、MSBDN（Dong等人，2020）、SG-Net（Ma等人，2022）、SDA-GAN（Dong等人，2023）、DA-Net（Kim等人，2024）、ASTA（Cai等人，2024）、IC-Dehazing（Gui等人，2024）、DCM-dehaze（Fan等人，2025）等。这类转换方法将清晰图像视为正样本，利用重建损失引导网络更新，从而增强去雾效果。然而，这些方法主要以性能为导向，会导致网络深度和宽度大幅增加，进而带来较高的计算成本和参数开销。例如，NTIRE 2023去雾挑战赛的获胜模型DWT-FFC GAN（Zhou等人，2023）包含3.73亿个参数，处理一张雾天图像需要23.3秒。在资源受限的硬件设备，如微控制器、移动设备或嵌入式系统中部署如此庞大的模型，存在很大困难。

鉴于以上情况，迫切需要开发出既能在合成数据及真实雾天图像上表现出卓越性能，又能保持高能效的去雾方法。为此，我们提出了一种基于视网膜机制的增强型脉冲神经网络——ReBo-SNN，用于单图像去雾。该网络不仅模拟了生物视网膜的拮抗信息处理机制，还引入了一种新的增强策略，实现逐级特征提升。此外，通过借鉴大脑的微观脉冲机制，整个网络利用电脉冲来编码和传输信息，从而在保证低能耗的同时实现出色的去雾效果。

总体而言，本工作的主要贡献可总结如下：
• 我们提出了一种名为ReBo-SNN的紧凑型脉冲神经网络，用于重建雾天图像。该网络采用编解码器架构，直接学习从雾天图像到清晰图像的非线性转换过程。通过结合密集残差连接、步长卷积以及电脉冲信息传输机制，我们的网络能够在高能效的前提下实现去雾。
• 受视网膜中双极细胞与神经节细胞拮抗信息处理机制的启发，该网络设计了一个中间模块——视网膜模块。通过“开路”与“闭路”路径，视网膜模块能够提取高表达力特征，从而有效提升视觉分辨率与对比度。
• 为避免过度平滑的问题，该网络在解码过程中引入了一种新的增强策略。该策略通过从之前的估计结果中提取剩余的关键图像信息，实现不同尺度阶段的逐级特征提升，有助于获得高质量的去雾结果。

大量实验表明，与现有的主流去雾方法相比，我们所提出的ReBo-SNN在合成数据集及真实雾天图像上都具有更优越的性能。本文的其余部分中，第2节简要回顾了各种图像去雾方法及用于图像修复的增强策略；第3节详细介绍了所提出的方法，包括其架构组成与参数优化方案；第4节阐述了我们的实验系列及其结果；最后，第5节对所提出的网络进行了总结，并探讨了未来的研究方向。