探索一种适用于错位多曝光图像融合的灵活网络方法

《Neurocomputing》:Discovering a nimble network for misaligned multi-exposure image fusion

【字体: 大 中 小 】 时间:2026年05月06日 来源:Neurocomputing 6.5

编辑推荐:

  刘晓山|吴观尧|彭一川|孔伟强|刘金源大连理工大学软件技术学院,中国大连摘要近年来,多曝光图像融合技术取得了显著进步,尤其是在利用具有强大非线性建模能力的卷积神经网络方面。然而,许多现有方法侧重于增加网络的深度和复杂性,这导致了计算负担的增加。此外,大多数方法在训练时严重依赖对齐

  
刘晓山|吴观尧|彭一川|孔伟强|刘金源
大连理工大学软件技术学院,中国大连

摘要

近年来,多曝光图像融合技术取得了显著进步,尤其是在利用具有强大非线性建模能力的卷积神经网络方面。然而,许多现有方法侧重于增加网络的深度和复杂性,这导致了计算负担的增加。此外,大多数方法在训练时严重依赖对齐的输入数据,忽略了不同曝光图像之间的空间关系,从而在融合结果中产生了重影伪影。为了解决这些问题,我们提出了一种轻量高效的多曝光图像融合神经网络DiNiNet。DiNiNet包含一个注意力学习模块和一个特征聚合模块,用于结合不同曝光下的图像信息,其架构通过可微分神经架构搜索自动优化,以实现低硬件要求下的高效推理。此外,还采用了一种区域感知的一致性约束来引导融合过程,以抑制伪影的生成。在多个数据集上的广泛实验表明,DiNiNet在定量和定性方面都优于现有方法。

部分摘录

引言

高动态范围(HDR)成像是一种图像增强技术,旨在提供比标准数字成像或摄影技术更广泛的动态范围场景,这在计算机视觉和计算机图形学领域发挥着不可或缺的作用[1]、[2]、[3]、[4]、[5]。由于HDR图像通常包含场景的全面信息,并且更符合人眼视觉系统,因此它们能够应用于多种场景,例如虚拟现实[6]、计算机

HDR成像方法

在过去的几十年中,已经提出了许多HDR成像方法,并得到了广泛应用[12]、[13]、[23]、[28]、[29]、[30]、[31]。最近有一篇关于HDR成像(色调映射、去重影及应用)的综述[32]。由于本文的主要目的是关注HDR去重影,我们将回顾相关的方法。根据这些方法所采用的理论,大致可以将主要的HDR去重影方法分为三类

DiNiNet的基本组件

目前基于启发式学习的方法在HDR成像中取得了成功,但在高效重建无重影的HDR方面仍存在局限性[53]。具体来说,一方面,大多数先前方法引入了各种注意力机制(如通道注意力、空间注意力和非局部机制)来在一定程度上去除类似重影的晕圈。然而,这些方法仍会在特定区域(如物体运动区域)留下残余伪影。另一方面,
准备的数据集和评估指标
我们使用了著名的Kalantari数据集[21]来搜索和训练我们提出的架构。该数据集包含74个用于训练的场景和15个用于测试的场景,每个场景包含三张曝光时间不同的LDR(低动态范围)图像,曝光偏差分别为{-3,0,3}或{-2,0,2}。中间的LDR图像作为参考图像,其他图像作为补充图像。此外,还有两个包含多个视频序列的代表性数据集,即TurSun [60]和

局限性与未来工作

尽管所提出的框架在性能和效率之间取得了良好的平衡,但仍有一些方面需要进一步探索。首先,当前方法自动发现了网络架构,而任务目标仍需手动设计,这表明有可能开发出更统一的优化策略,同时兼顾架构和学习策略。
其次,架构搜索和最终训练使用相同的损失定义,这可能不利于

结论

在本文中,我们提出了一种基于NAS(神经架构搜索)的的新型高效HDR去重影网络DiNiNet。通过在损失函数中加入基于区域的对比约束,并结合适合硬件的搜索策略,DiNiNet能够高效生成无重影的HDR图像。全面的主观和客观实验结果证明了DiNiNet相比现有最先进方法的优越性能。此外,所提出的硬件感知搜索策略

CRediT作者贡献声明

刘晓山:撰写 – 审稿与编辑;撰写 – 原稿。吴观尧:撰写 – 原稿;指导。彭一川:撰写 – 审稿与编辑;资源准备。孔伟强:项目管理。刘金源:项目管理;研究调查。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本工作部分得到了国家自然科学基金(项目编号625B2034、62302078)和中国博士后科学基金(项目编号2023M730741)的支持。
刘晓山2005年获得了中国辽宁大连理工大学的软件工程学士学位,2021年获得了同一大学的工商管理硕士学位,目前他在该校软件学院攻读博士学位。他的研究兴趣包括金融系统能力和软件质量保证。他目前担任花旗银行IT部门的高级副总裁(SVP),负责银行产品的开发
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号