通过因果推断实现持续的低光图像增强

《Neural Networks》:Towards Continual Low-light Image Enhancement Through Causal Inference

【字体: 大 中 小 】 时间:2026年04月08日 来源:Neural Networks 6.3

编辑推荐:

  本文首次提出持续低光图像增强任务,针对传统方法在跨数据集和光照条件下的泛化能力不足问题,结合因果推断理论构建结构因果模型,设计Rehearsal-based Invariant Structure Regularizer和Channel Fourier Transform-based Self-Attention模块,有效缓解灾难性遗忘,提升泛化性能。

  
范吉|郝莉|蒋梦莉|唐雄鑫|徐凡江
中国科学院软件研究所空间集成信息系统国家重点实验室,北京,中国

摘要

低光照图像增强旨在改善从低光照条件下捕获的图像的视觉感知质量并恢复结构细节。现有的方法在训练数据集具有相同的光照分布时通常表现良好。我们首次提出了一个连续的低光照图像增强任务,以挑战它们的泛化能力。具体来说,一个光照增强网络学习了具有不同光照分布的一系列任务。尽管模型的泛化性能有所提高,但我们仍然发现了这种场景下的灾难性遗忘现象,这促使我们进一步从理论上揭示其内在原因。因此,我们利用因果推断理论构建了一个结构因果模型,识别出混淆变量并通过后门调整来减轻它们的不利影响,从而使模型能够学习到适用于连续低光照图像增强的不变表示。特别是,我们采用了基于排练的不变结构正则化器(Rehearsal-based Invariant Structure Regularizer)来扩大后门调整的可用值集。此外,我们还提出了一种基于通道傅里叶变换的自注意力模块(Channel Fourier Transform-based Self-Attention),以提高模型对低频信息的泛化能力,并有助于精确估计因果效应。广泛的实验表明,我们的方法在减轻灾难性遗忘和在连续低光照图像增强基准测试中的性能提升方面是有效的。

引言

在光照不足的条件下捕获的图像会显著降低质量,不仅导致视觉效果不佳,还会降低许多计算机视觉系统的性能。为了解决这一缺陷,低光照图像增强(Low-Light Image Enhancement,LIE)技术应运而生,并通过利用光学先验知识(Guo, Hu, 2023; He, Li, Wu, 2025)和深度学习方法(Lv et al., 2021)取得了显著的成功,尤其是在大规模数据集上的单任务学习中,例如LOL-v1(Wei et al., 2018a)和LOL-v2(Yang et al., 2021)。然而,这些基准方法在面对不一致的数据集和光照条件时泛化能力有限,因此在实际应用场景中仍然不令人满意。在这方面,引入了领域泛化方法,通过学习领域不变特征来提高LIE模型在不同和未见过的领域中的性能。领域泛化的一个典型和基本假设是在训练期间存在多个源领域。因此,这些方法在不断适应变化的光照条件的同时,面临着增强低光照图像的挑战。
在这种背景下,连续学习(Continual Learning,CL),也称为终身学习或增量学习,已成为一种突出的方法,用于在不断变化的场景中提高模型的泛化能力,致力于同时提高模型的可塑性和克服灾难性遗忘(McCloskey and Cohen, 1989)。然而,以往关于CL的研究主要集中在分类和识别等判别任务上,而对涉及LIE的低级计算机视觉任务的关注相对较少。受到CL概念的启发,我们直观地探索在CL框架下实现泛化的LIE方法,即连续LIE。然而,传统CL任务与目标任务之间存在非平凡的差距,这阻碍了CL在不断变化的光照条件下的直接应用,即在传统CL中,序列领域之间的语义信息变化很大,而在目标任务中,只有与光照条件相关的信息保持不变,导致学习过程中领域的不一致性相对有限。这自然引发了以下关键问题:
  • •
    CL能否很好地适应不断变化的光照条件?
  • •
    是否存在其他阻碍连续LIE泛化的因素?
  • 在这些问题指导下,我们提出了引入CL方案以实现不断变化光照条件下的低光照增强的合理性和有效性。因此,我们进行了一项包含各种基准训练范式的激励实验。在图1中,引入了光照调整系数α(Wang et al., 2023),在LOL数据集(Wei et al., 2018a)上生成更亮(α=2.0)和更暗(α=0.5)的光照条件。具体来说,对于(a),我们直接在具有三种不同光照条件的混合数据集上训练模型;对于(b),我们采用了一种没有良好设计的学习范式的顺序方案进行训练;对于(c),模型结合了基于排练的CL方法(ER,Chaudhry et al., 2019)。评估结果显示,在α=1.0的光照条件下训练模型,与在α=2.0的光照条件下进行第二项任务训练相比,模型的性能得到了提升。这一观察表明,无论是否采用CL策略,连续学习都能提高模型对光照变化的泛化能力。然而,如(b)和(c)所示,由于灾难性遗忘,泛化性能有显著下降。因此,连续学习可以增强模型对变化光照条件的适应能力,但灾难性遗忘对其泛化能力构成了重大挑战。
    为了探索连续LIE中灾难性遗忘背后的内在原因,我们从因果角度重新审视了基于排练的方法的学习范式。为此,我们利用广泛研究的傅里叶变换(Yu et al., 2022)在频率域中对低光照图像进行分解,以确定候选变量,从而构建了一个结构因果模型(SCM,Pearl et al., 2016)。从SCM中,我们识别出阻碍连续LIE泛化改进的混淆变量,并进一步提出了一种基于后门调整的去混淆方法来减轻混淆变量的负面影响。为了确保充分的去混淆,引入了来自基于排练的CL框架的记忆缓冲区,以扩大调整变量的可用值集,这在实践中通过基于排练的不变结构正则化器(Rehearsal-based Invariant Structure Regularizer,RISR)实现。在此基础上,我们提出了一个基本命题:图像的光照信息在频率域中通常被识别为低频成分(Cui et al., 2024),我们提出了一种基于通道傅里叶变换的自注意力模块(CFTSA),以提高模型对低频信息的泛化能力,从而实现精确的因果效应估计。具体来说,我们的方法采用了全局加权平均池化(Global Weighted Average Pooling,GWAP)机制,结合低通滤波(Cui et al., 2023b)的特性,来实现面向低频信息的自注意力模块。因此,我们将这些提出的组件结合起来,得到了一种即插即用的方法,即因果连续低光照图像增强(CCLIE),使基准方法能够提高对不同光照条件的泛化能力。CCLIE的即插即用特性使其可以方便地集成到各种网络架构中,并提高模型的泛化能力。我们的关键贡献可以总结如下:
  • •
    我们揭示了基准LIE方法的一个固有缺陷:在不一致的数据集和光照条件下的有限泛化能力会恶化模型在实际应用场景中的性能。
  • •
    我们提出了基于SCM的理论分析来建模连续LIE的学习范式,并进一步提供了一种因果指导的方法来解决内在的混淆效应。
  • •
    为了实际实现去混淆的因果推断,我们提出了一种新的因果连续低光照图像增强方法,以探索低光照图像和增强后的图像之间的因果关系。
  • •
    广泛的实验表明,所提出的方法可以减轻灾难性遗忘,并有效提高现有方法在LIE基准测试中的性能。
  • 本文的结构如下。第2节回顾了当前关于广义低光照图像增强和连续学习的相关研究。第3节介绍了连续低光照图像增强的公式及其对应的SCM图。第4节介绍了所提出的方法,包括基于排练的不变结构正则化和基于通道傅里叶变换的自注意力。第5节提供了实现的细节和实验评估的完整演示。最后,第6节和第7节分别进行了讨论和结论陈述。

    章节片段

    低光照图像增强

    低光照图像增强旨在通过校正光照来恢复视觉上令人愉悦的图像,同时保持结构和颜色。最近的LIE方法在固定或已知的数据分布下显著提高了恢复质量,包括利用光照感知先验的基于Transformer的设计或受Retinex启发的公式来提高增强保真度(Cai, Bian, Lin, Wang, Timofte, Zhang, 2023a; Xu, Wang, Fu, Jia, 2022)。然而,许多

    问题表述

    在本节中,我们从因果推断的角度对低光照图像增强进行建模,并分析了基于此建模可能存在的潜在虚假相关性。

    方法论

    在本节中,为了捕捉连续LIE所需的因果效应,我们深入研究了派生的SCM以确定混淆变量。然后提出了一种新的去混淆基于排练的不变结构正则化器。此外,引入了基于通道傅里叶变换的自注意力模块,以精确估计因果效应。

    实验

    在本节中,我们在多个基准和数据集上进行了实验,以全面评估我们方法的有效性。此外,还进行了实验来评估通过跨数据集测试和下游对象检测任务的泛化能力改进。另外,我们进行了消融研究,以评估CCLIE每个组件的贡献。

    讨论

    实验结果表明,与基线方法相比,我们提出的方法显著提高了泛化性能,并在混合数据范式下的测试集上取得了更好的性能。在低光照图像增强的背景下,引入连续学习框架既带来了挑战(如灾难性遗忘),也带来了性能提升的机会。

    结论

    在本文中,我们首次研究了具有挑战性的连续低光照图像增强问题。通过基于SCM的理论分析,我们提出了一个即插即用的连续低光照图像增强框架,称为CCLIE。在CCLIE中,我们引入了基于排练的不变结构正则化器来解决内在的混淆效应,并提出了基于通道傅里叶变换的自注意力来估计更精确的因果效应。广泛的实验表明

    CRediT作者贡献声明

    范吉:撰写——原始草稿、方法论、调查、概念化。郝莉:调查、数据整理。蒋梦莉:撰写——审阅与编辑、监督、形式分析。唐雄鑫:撰写——审阅与编辑。徐凡江:监督、项目管理、资金获取。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

    致谢

    我们感谢审稿人对本文的审阅工作。本工作得到了国家自然科学基金(项目编号62406313)、国家博士后研究人员资助计划(项目编号GZC20232812)、中国博士后科学基金会(项目编号2024M753356)和2023年特别研究助理项目的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号