DDENet:一种用于低光照光场的双域增强网络

《Pattern Recognition》:DDENet: Dual-Domain Enhancement Network for low-light light field

【字体: 大 中 小 】 时间:2026年09月21日 来源:Pattern Recognition 9.1

编辑推荐:

   •一种新颖的双域增强策略及其实例化,DDENet。我们提出了一个协同框架,通过利用小波域实现噪声鲁棒、角度一致的照明恢复,同时利用像素域通过空间-角度相关性进行细节细化,从而显著解耦低光光场增强。•大量实验展示了最先进的性能。在多个基准数据集上的综合评估验证了DDENet在亮

  
  • •
    一种新颖的双域增强策略及其实例化,DDENet。我们提出了一个协同框架,通过利用小波域实现噪声鲁棒、角度一致的照明恢复,同时利用像素域通过空间-角度相关性进行细节细化,从而显著解耦低光光场增强。
  • •
    大量实验展示了最先进的性能。在多个基准数据集上的综合评估验证了DDENet在亮度恢复、结构一致性和细节保留方面优于现有方法。

引言

光场(LF)成像以其捕获光线的空间强度和角度方向的能力,为计算摄影和计算机视觉开辟了众多可能性,包括图像重聚焦 [1]、深度估计 [2]、[3] 和新视图合成 [4]、[5]。然而,光场相机,特别是消费级全光相机,在低光条件下面临重大挑战。捕获的光场图像由于光子计数有限,常常存在对比度极低、颜色失真和精细空间细节丢失的问题。这些退化不仅损害视觉质量,还严重破坏了光场固有的丰富空间-角度相关性。因此,有效地利用和保留这些相关性对于低光光场增强任务至关重要,然而当底层数据受到低照明和噪声的损害时,这变得异常困难。
深度学习技术的最新进展导致各种低光图像增强方法被提出。单图像增强方法 [6]、[7] 分别处理每个视图,通常利用为2D图像设计的高级架构。虽然这些方法可以改善单图像亮度,但它们很大程度上忽略了不同视点之间的角度一致性。这种独立处理导致增强不一致和光场噪声抑制无效。因此,这些单视图方法在利用光场图像关键跨视图相关性方面的能力有限,通常导致渲染新视图时出现视觉闪烁。
多视图方法试图利用视图间信息,可大致分为多对一和全对全策略。例如,Lamba 等人 [8] 引入了一种两阶段方法,首先使用堆叠的子孔径图像(SAI)编码光场几何结构,然后分别重建每个视图。Zhang 等人 [9] 利用四个相邻SAI作为辅助视图来恢复中心SAI。然而,这些多对一增强策略不仅未能充分利用光场图像中丰富的空间-角度相关性,还需要多次推理步骤来增强所有SAI,显著增加了推理时间。为了解决这个问题,Wang 等人 [10] 提出了一种多流渐进式恢复网络,仅通过一次前向传播即可恢复整个光场。此外,Wang 等人 [11] 开发了一种并行多尺度网络,并行处理不同尺度的特征以充分保留空间细节,并利用3D多尺度模块高效利用角度相关性。
尽管这些架构取得了进展,现有方法仍面临两个基本局限性,如图 1(a) 所示。首先,在噪声条件下难以利用跨视图信息。虽然多视图网络设计用于使用视图间线索,但严重噪声破坏了光场的几何结构,阻碍了角度相关性的有效利用。其次,照明恢复和噪声抑制之间存在固有的耦合。大多数方法完全在像素域处理光场,其中亮度、纹理和噪声相互纠缠。这种耦合策略通常导致次优性能:增强全局照明会放大高频噪声,而激进的噪声抑制则会牺牲纹理细节和结构一致性。
核心挑战在于在统一框架内解耦并分别处理不同退化因素的根本难度。大多数当前方法完全在像素域处理光场,其中照明和噪声本质上相互纠缠。这促使我们寻求一种表示,可以显著解耦这些成分并更有效地利用光场图像的独特特性。我们的关键见解是,小波变换提供了上述两个局限性的解决方案。首先,它具有频域分离能力,通过将低频成分(包含主导的全局照明信号)与封装精细细节和噪声的高频残差分离,显著解耦光场图像。其次,对于光场处理来说最重要的是,对空间维度应用小波变换会显著压缩结果低频成分中的像素差异范围。这种压缩增强了角度一致性,使表示对噪声更具鲁棒性。
在本文中,我们提出了一种新颖的双域增强策略来解决这一挑战。如图 1(b) 所示,我们首先利用小波域显著分离照明和噪声并压缩差异,实现噪声鲁棒、角度一致的亮度恢复。随后,我们利用像素域独立减少噪声和细化细节,利用丰富的空间局部性和对极几何信息。基于此策略,我们实例化了一个双域增强网络(DDENet)。DDENet 包含两个在互补域中工作的核心模块:小波域照明增强(WDIE)模块,该模块在角度一致的低频子带上采用基于 Transformer 的架构进行噪声鲁棒的照明恢复;以及像素域细节增强(PDDE)模块,该模块利用 SAI 中的空间局部性和对极平面图像(EPI)中的强对极几何信息进行渐进式噪声抑制和细节细化,在小波逆变换之后进行。
本工作的主要贡献总结如下:
  • •
    一种新颖的双域增强策略及其实例化,DDENet。我们提出了一个协同框架,通过利用小波域实现噪声鲁棒、角度一致的照明恢复,同时利用像素域通过空间-角度相关性进行细节细化,从而显著解耦低光光场增强。
  • •
    大量实验展示了最先进的性能。在多个基准数据集上的综合评估验证了 DDENet 在亮度恢复、结构一致性和细节保留方面优于现有方法。

章节摘要

相关工作

在本节中,我们简要回顾了单图像低光增强和光场图像增强方面的相关工作。

双域增强策略

在本节中,我们首先回顾 4D 光场表示及其各种 2D 表示。接下来,我们分析为什么离散小波变换在低频子带内产生差异压缩并提高角度一致性。最后,我们总结了从小波域低光光场分析中得出的经验观察,并为后续设计选择提供依据。

低光光场的双域增强网络

在本节中,我们提出了双域增强网络(DDENet)。我们首先提供网络架构概述,然后详细描述其两个核心组件:小波域照明增强(WDIE)模块和像素域细节增强(PDDE)模块。最后,我们介绍用于优化的损失函数。

实验

本节介绍了实验中使用的数据集和实现细节。我们通过将其与几种最先进的方法进行比较来评估所提方法的性能。最后,进行了全面的消融研究以验证网络中每个关键组件的有效性。

结论

在本文中,我们通过提出一种新颖的双域增强策略及其实例化 DDENet,解决了低光光场(LF)增强的挑战性问题。我们证明了传统单域方法受限于角度不一致和照明与噪声之间的固有耦合。为克服这些局限性,我们利用小波变换显著解耦增强任务:执行噪声鲁棒的照明

CRediT 作者贡献声明

张浩:撰写 – 审查与编辑,撰写 – 原稿,方法学,调查,概念化。杨达:监督,项目管理,资金获取,概念化。陈容山:验证,调查,概念化。崔正龙:可视化,形式分析。丛瑞轩:可视化,验证,形式分析。黄雪菲:验证,形式分析,数据管理。盛浩:监督,项目管理,资金获取,

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系,这些可能影响本文报告的工作。

致谢

本研究部分由中国国家自然科学基金(编号 62394332, 62372023)、重点资助博士后研究项目、浙江省(编号 ZJ2025155)、中国博士后科学基金(编号 2025M784287)、软件研发环境国家重点实验室开放基金(编号 SKLSDE-2023ZX-11)、智能采矿与层控国家重点实验室开放基金(编号 SKLIS202405)、研究
张浩|杨达|陈容山|崔正龙|丛瑞轩|黄雪菲|盛浩|孙蕾蕾
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号