Zero-MS:一种融合Mamba启发的去噪与结构感知细化的零样本微光图像增强网络

《Photonics》:Zero-MS: A Zero-Shot Low-Light Image Enhancement Network with Mamba-Inspired Denoising and Structure-Aware Refinement

【字体: 大 中 小 】 时间:2026年10月24日 来源:Photonics 2.1

编辑推荐:

  微光图像通常面临光照不足和噪声干扰,而对暗区域进行增强可能进一步放大噪声,并导致纹理与结构细节退化。为解决上述问题,研究人员提出了Zero-MS,一种面向微光图像增强的零样本(zero-shot)方法。Zero-MS通过归一化四方向累积扫描与自适应选择性门控构

  
微光图像通常面临光照不足和噪声干扰,而对暗区域进行增强可能进一步放大噪声,并导致纹理与结构细节退化。为解决上述问题,研究人员提出了Zero-MS,一种面向微光图像增强的零样本(zero-shot)方法。Zero-MS通过归一化四方向累积扫描与自适应选择性门控构建噪声先验,随后借助多尺度信息建模恢复光照,并利用结构与噪声响应进行结果细化。实验结果表明,Zero-MS能够在信息保真度、视觉质量与噪声抑制之间取得平衡。增强图像在亮度提升、色彩保持和噪声抑制方面均有所改善,同时Zero-MS保持了轻量化的模型设计。
论文解读:Zero-MS——基于噪声感知Retinex框架的零样本微光图像增强

一、研究背景与问题

在弱光或空间非均匀光照条件下,图像传感器接收到的光子数量不足,导致暗区域信号更容易受到成像噪声干扰,最终图像通常表现为低亮度、低对比度、颜色偏移、纹理退化以及局部结构细节丢失。微光图像增强(Low-Light Image Enhancement, LLIE)不仅需要恢复亮度,还必须在噪声抑制与结构保持之间进行精细权衡。直接提升暗区域亮度会放大隐藏噪声,而过度的去噪则可能移除真实边缘与细纹理。现有方法可大致分为传统方法、基于学习的方法、零参考方法以及零样本方法。传统方法依赖对比度调整、伽马校正和Retinex处理;学习方法利用CNN、Transformer和频域表征建模复杂退化;零参考与零样本方法进一步减少对训练数据的依赖。近期状态空间模型也为联合建模噪声、光照、颜色和空间依赖提供了新途径。然而,真实场景中噪声、光照与结构信息仍高度耦合:随机噪声与细纹理可能产生相似的高频响应,信噪比特性随亮度变化,均匀的噪声抑制策略易导致残余噪声或丢失重要结构细节;纹理恢复依赖局部细节,而非均匀曝光校正需要更广阔的空间上下文,单一尺度难以同时满足。Retinex分解虽显式建模反射率和光照,却无法固有地抑制成像噪声,反射率恢复还可能使暗区域扰动更加明显。对于零样本方法,在缺乏成对图像监督条件下平衡上述因素更加困难。为此,研究人员提出了Zero-MS,一种结合Mamba启发去噪与结构感知细化的零样本网络,其核心思想是将噪声建模、光照恢复和结构优化统一在含噪Retinex成像模型内。

二、研究内容与主要结论

Zero-MS由三个模块组成:Mamba启发去噪模块(Mamba-Inspired Denoising Module, MIDM)、多尺度光照恢复模块(Multi-Scale Illumination Restoration Module, MSLM)和结构感知细化模块(Structure-Aware Refinement Module, SRM)。MIDM通过归一化四方向累积扫描与暗区域、结构和色度门控构建内容自适应噪声先验,限制后续增强中的噪声传播;MSLM结合全分辨率分支与低分辨率分支,分别捕获局部细节与全局曝光,以平衡纹理保持和非均匀光照恢复;SRM利用多尺度平均池化估计结构与噪声响应图,通过纹理门和噪声门对反射率分量进行选择性细化,抑制残余高频扰动并保持结构细节。整个网络使用由输入图像及其配对下采样子图像导出的无监督损失进行端到端优化,引入感知损失约束自然场景统计、暗区平坦区域噪声、像素裁剪和暗区饱和度。实验结果表明,Zero-MS在LOL-v1、LOL-v2-Real和NPE三个数据集上均表现出较强的信息保真度、视觉质量和噪声抑制能力。具体而言,在LOL-v1上,Zero-MS的峰值信噪比(PSNR)和结构相似性(SSIM)分别达到18.6513 dB和0.7918,优于第二名DI-Retinex约9.35%和3.68%;CIEDE2000色差为0.0874,较DI-Retinex低12.77%;PIQE和BRISQUE分数分别为4.3103和17.0363,均为最优。在LOL-v2-Real上,Zero-MS在全部八项指标中排名第一。在NPE无参考数据集上,Zero-MS亦位列前三。此外,Zero-MS参数仅需0.029740 M,模型大小0.138001 MB,显示其轻量化设计的优势。消融实验验证了各模块及损失项的必要性。研究意义在于:Zero-MS为零样本微光增强提供了一种紧凑而有效的平衡策略,同时兼顾亮度恢复、噪声抑制和结构保持。

三、关键技术方法

研究人员采用了如下主要关键技术方法。(1)基于含噪Retinex成像模型:将低光图像建模为反射率与光照逐元素相乘再加噪声,指导分阶段恢复。(2)Mamba启发的四方向累积扫描:沿水平、垂直方向进行归一化双向累积扫描,获得四个方向状态并等权聚合,作为空间状态输入。(3)内容自适应选择性门控:利用亮度、结构强度和色度变化构造暗区域门、结构保持门和色度门,调制高频状态,构建噪声先验并注入输入图像。(4)多尺度光照恢复:采用全分辨率局部细节分支与低分辨率全局曝光分支,结合光照先验、对比度调节和局部高频残差补偿恢复光照。(5)双门细化:基于多尺度结构强度图与相对噪声响应图构造纹理门和噪声门,控制结构细节添加与高频残差减去。(6)复合无监督损失:包括低光去噪损失、光照估计损失、反射率去噪损失和感知损失,其中感知损失包含自然场景统计、暗区噪声、像素裁剪和暗区饱和度约束。实验使用LOL-v1(485训练对/15测试对)、LOL-v2-Real(689训练对/100测试对)和NPE(非成对真实图像)三个数据集,在配备Intel Core Ultra 9 185H处理器和NVIDIA GeForce RTX 4050 Laptop GPU的平台上训练2,000轮,批量大小4,初始学习率0.003。

四、研究结果

定量比较:在LOL-v1、LOL-v2-Real和NPE上,Zero-MS与13种代表性方法比较。LOL-v1七项指标第一,LOL-v2-Real八项全部第一,NPE五项中进入前三,表明其在信息保真度、视觉质量和去噪性能方面的综合优势。噪声相关特性分析进一步显示,Zero-MS在暗区域高频残差、局部残差波动和亮度调制残差方面保持低水平,同时具有较高的结构保持分数和合理的亮度增益,说明其噪声抑制并非仅靠过度平滑实现。

定性比较:视觉对比显示,Zero-MS在提升暗区域可见度的同时避免明显过曝和颜色偏移。矢量示波器分析表明其色度分布接近参考图像,均值和中间值色度分别为14.78和10.44,参考图像分别为17.17和13.34。亮度分布图显示其高亮区域范围小于明显过增强方法,阴影增强与高光保持之间较为平衡。

效率与复杂度:Zero-MS参数和模型大小在报告复杂度的方法中位列第三低,但平均运行时间0.838589 ms长于多数对比方法,原因是顺序去噪、多尺度恢复和结构细化阶段增加了计算开销。尽管如此,其在增强质量和模型紧凑性上仍具优势。

消融研究:模块消融显示,MIDM对噪声抑制贡献显著(去除后 指标明显上升),MSLM对纹理保持和非均匀光照恢复关键(去除后PSNR和SSIM大幅下降),SRM改善结构保持和残余噪声抑制。组件消融验证了四方向状态组合优于单方向,选择性门控可提升保真度和降噪效果,MSLM的局部细节、全局曝光与对比度组件互补,SRM的纹理门与噪声门共同实现结构—噪声平衡。损失消融显示,各感知损失项存在权衡,完整损失配置获得最佳重建和颜色保真度。

超参数敏感性:批量大小4、学习率0.003、阈值 为默认配置在测试范围内综合性能最优。训练损失先快速下降后缓慢收敛,2,000轮作为平衡收敛性和计算成本的设置。多尺度平均池化配置相比单尺度能更好地兼顾局部细节与全局光照建模,默认设置综合表现最佳。

五、讨论与结论

讨论部分指出,低光图像增强需在亮度恢复、噪声抑制和细节保持间权衡。Zero-MS通过噪声感知Retinex框架集成了去噪、光照恢复和结构细化,消融实验验证各模块互补作用,感知约束帮助平衡重建保真度和视觉质量。与现有方法比较显示,较低噪声残差并非一定意味着更好视觉质量;Zero-MS在亮度恢复、噪声控制和结构保持间取得较优平衡。局限性包括:部分暗区域仍略微欠增强,说明局部光照建模尚有提升空间;数据集未提供单独传感器噪声分量测量,因此Zero-MS所抑制的具体噪声类型尚不明确;尽管模型紧凑,其运行时间高于多数对比方法。未来工作将探索更灵活的局部光照建模、特定噪声成分的针对性抑制以及降低推理时间。

结论部分:本文提出Zero-MS,一种基于噪声感知Retinex框架的轻量化零样本低光图像增强方法。它整合了MIDM用于噪声建模与抑制、MSLM用于多尺度光照恢复、SRM用于反射率结构细化。实验比较和消融研究显示,这些模块共同改善了重建保真度、视觉质量和噪声抑制,同时保持结构细节。其低参数和模型体积体现了紧凑设计。不过,部分暗区域仍欠增强,所抑制的噪声具体类型尚不清楚,运行时间高于多数方法。未来工作将关注更灵活的局部光照建模、特定噪声的针对性抑制和减少运行时间。总体而言,Zero-MS提供了一种平衡光照恢复、噪声抑制和细节保持的紧凑方案。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号