基于照明引导的隐式梯度表示的低光照光场图像增强

《Neurocomputing》:Low-light light field image enhancement based on illumination-guided implicit gradient representation

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neurocomputing 6.5

编辑推荐:

  低光光场图像增强网络IGNet通过隐式梯度表示与全局-局部特征提取模块协同工作,在提升亮度同时保留结构细节,并利用空间、角度和极线平面信息增强跨视图一致性。实验表明其优于现有方法。

  
刘德阳|朱宇航|周晓飞|安平|单才锋|查洪斌
安庆师范学院人工智能与计算机科学学院,中国安庆,246000

摘要

在低光照条件下捕获的光场(LF)图像通常存在照明不足和结构退化的问题,这严重阻碍了后续的视觉任务。现有方法往往无法在亮度和结构之间取得平衡,导致过度曝光或纹理丢失。为了解决这个问题,我们提出了一种基于隐式梯度表示的低光照LF图像增强网络。通过将隐式神经表示与梯度先验相结合,所提出的方法能够在提高对局部强度变化的鲁棒性的同时实现连续建模。这种设计不仅在具有挑战性的光照条件下能够可靠地恢复亮度,还能保留对结构敏感的细节,从而产生更清晰的边缘和更自然的纹理。此外,我们开发了一个全局-局部特征提取模块,该模块联合利用空间、角度和极坐标信息,实现全面的特征建模和准确的跨视图一致性恢复。通过利用全局上下文和细粒度的局部结构,我们的方法显著提高了角度一致性、结构保真度和纹理清晰度。在专门为低光照LF数据集上进行的广泛实验表明,我们的方法始终优于现有的最先进方法,能够提供视觉上令人满意且几何上一致的结果。

引言

光场(LF)成像通过在主镜头和图像传感器之间插入微透镜阵列来捕获光线的空间和角度信息,从而实现了包括3D重建[1]、[2]、深度估计[3]、[4]、虚拟现实和计算重聚焦在内的广泛应用。然而,在低光照条件下捕获的LF图像通常会遭受严重的退化(例如,对比度降低、噪声增加和角度不一致[5]、[6]),这极大地阻碍了下游的LF相关应用。
一种简单的增强低光照LF(L3F)图像的方法是独立地对每个子孔径图像(SAI)应用单图像低光照增强方法[7]。然而,这些策略忽略了SAI之间的角度相关性,导致重建的LF图像出现细节丢失和结构不一致。为了克服这些限制,人们开发了专门的L3F增强(L3FE)技术,以利用LF特有的先验进行噪声抑制、光照校正和角度一致性恢复。最近的深度学习方法进一步推动了这一方向的发展[8]、[9]。例如,Lamba等人[10]堆叠了SAI来构建全局表示以进行视图增强,而Zhang等人[11]利用相邻视图作为中心视图重建的指导。尽管这些一对一或多对一的方法有效,但它们需要在所有SAI上重复推理,导致处理效率低下。最近,Lyu等人[12]提出了一个可解释的端到端框架,通过多阶段展开和特征交互来提高低光照LF的增强效果,同时保持几何结构。Wang等人[13]进一步引入了具有多阶段细化策略的方向性局部堆叠,以改善对比度和噪声抑制。然而,它们对局部角度支持的依赖性限制了其在复杂光照条件和视角差异较大的LF场景中的泛化能力。总之,现有的L3FE方法仍然面临两个主要挑战:在保留细结构和纹理方面的能力有限,以及对全局-局部联合特征建模不足。
为了解决这些问题,我们提出了一种基于隐式梯度表示的低光照LF图像增强网络,称为IGNet。与主要关注光照校正或结构恢复的先前L3F增强方法不同,我们的方法提供了一种统一的解决方案,协调地处理这两个方面。通过进一步结合光照引导的隐式表示和全局-局部特征交互,IGNet实现了连贯的空间-角度增强和准确的结构重建,明显区别于基于显式分解或局部受限的设计。具体来说,IGNet由两个关键组件组成,这些组件是根据渐进式增强策略设计的。首先,光照引导的隐式梯度表示(IGR)模块利用光照先验来指导隐式梯度学习,使网络能够在不均匀的光照条件下感知结构变化。通过补偿严重的亮度退化并增强极端黑暗区域的结构保真度,IGR模块有效地抑制了噪声放大,并保持了边缘连续性和纹理真实性。这一阶段产生了经过光照校正、具有结构意识的特征表示,为后续的全面建模奠定了可靠的基础。在此基础上,全局-局部特征提取(GLFE)模块通过联合建模空间、角度和极坐标(EPI)线索来进一步细化这些特征。通过整合全局-局部交互,GLFE不仅捕获了多个子孔径视图之间的长距离依赖性,还保留了精细的局部几何形状和视图对应关系。通过将光照感知的局部细节与全局上下文信息相结合,该模块确保了跨视图的一致性和结构重建的忠实性,最终实现了低光照光场图像的鲁棒和感知平衡的增强。本工作的主要贡献总结如下:(1)我们引入了一个IGR模块,能够在低光照条件下同时恢复亮度和保留结构敏感的细节。(2)我们设计了一个GLFE模块,联合建模空间、角度和EPI线索,实现了全面的特征学习,并提高了结构保真度。(3)在L3F基准数据集上的广泛实验表明,我们提出的方法优于许多其他现有方法。

章节片段

低光照图像/视频增强

近年来,在基于学习的方法指导下,低光照图像增强取得了快速进展,这些方法大致可以分为基于Retinex的方法和非Retinex的方法[14]。Retinex类型的方法遵循将图像分解为反射率和光照的直觉,然后恢复这些组件的方法。代表性工作包括RetinexNet[15],它通过分阶段流程执行分解、光照增强和反射率去噪,以及KinD

提出的方法

LF图像可以表示为一个4D函数L(u, v, x, y)∈RUVX×Y,其中X×Y对应于空间分辨率,而U×V表示角度分辨率。如图1所示,L(u, , :, ::)∈RX对应于在角度坐标L(u, , ::::)∈RX表示在角度坐标L(:, ::::)∈RU表示一个SAI。沿着任何空间或角度切片可以提取一个极坐标图像(EPI),而L(:, ::::)∈RU表示空间位置L(:, :::::∈RU表示一个宏像素图像(MacPI)。SAI提供了来自各个视图的空间内容,而MacPI编码了角度

实验

本节的组织结构如下。我们首先介绍我们方法的实现细节。接下来,我们将其性能与现有的最先进技术进行基准测试,包括在真实世界和合成数据集上的测试。最后,我们进行了消融研究,以分析每个组件的贡献。

结论

总结来说,本文提出了IGNet,这是一个用于低光照光场图像增强的新颖框架,它将IGR与GLFEB相结合,实现了连续的特征建模和跨视图的结构一致性。所提出的方法在恢复亮度的同时保留了精细的纹理和几何保真度,不仅提高了视觉质量,还提供了更可靠的结构线索,这些线索可以惠及深度或视差估计等下游光场任务。

CRediT作者贡献声明

刘德阳:撰写 – 审稿与编辑,撰写 – 原始草稿,监督,方法论,资金获取,概念化。朱宇航:撰写 – 原始草稿,验证,软件,方法论。周晓飞:撰写 – 审稿与编辑,监督,方法论,资金获取,概念化。安平:监督,方法论,概念化。单才锋:撰写 – 审稿与编辑,监督,方法论,概念化。查洪斌:监督,方法论,

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了中国国家自然科学基金(项目编号62171002和62271180)的支持,部分得到了安徽省高等学校自然科学研究项目(项目编号2024AH020009)的支持,部分得到了安徽省自然科学基金(项目编号2508085Y039)的支持,以及山东省泰山学者基金(项目编号tsqn202312190)的支持。
刘德阳于2011年在中国安庆师范学院获得学士学位,2014年和2017年分别在上海大学获得硕士和博士学位。2019年至2020年,他是澳大利亚新南威尔士州悉尼科技大学的访问学者。他目前是安庆师范学院计算机与信息学院的教授,同时也是江西大学信息管理学院的博士后研究员。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号