基于“昼夜”数据集与“不再守夜”AI-ISP流水线的极低光图像增强研究

《Nanomaterials》:Study of Graphene-Based Strain Sensing Output Signals Under External Electromagnetic Interference Conditions Furong Kang, Shuqi Han, Kaixi Bi, Jian He and Xiujian Chou

【字体: 大 中 小 】 时间:2026年04月28日 来源:Nanomaterials 4.3

编辑推荐:

  为了解决在光照低于0.1勒克斯的极低光环境下,传统图像信号处理(ISP)流水线和现有深度学习模型存在的泛化能力差、感知保真度不足、数据集匮乏等问题,研究人员提出了名为“昼夜”(DaN)的大规模半合成数据集,并设计了一个名为“不再守夜”(NLV)的全可微分人工智能ISP(AI-ISP)框架。该研究在峰值信噪比(PSNR)和结构相似性指数(SSIM)上均显著优于现有方法,为极低光图像增强(ELLIE)领域提供了高质量的数据基准和高效的处理框架,有望推动自动驾驶、夜间监控等领域的发展。

  
在伸手不见五指的黑夜,如何让摄像头“看”清世界?这不仅是安防监控、自动驾驶等领域的迫切需求,更是计算机视觉(Computer Vision)技术面临的巨大挑战。在低于0.1勒克斯(lux)的极低光(Extreme Low-Light)环境下,传统的图像信号处理(Image Signal Processing, ISP)技术往往捉襟见肘。这些基于手工设计的算法,虽然可以通过提高ISO感光度或延长曝光时间来捕捉更多光子,但往往伴随着噪声激增和运动模糊,导致图像质量严重下降,难以满足动态场景的应用需求。近年来,深度学习为极低光图像增强(Extreme Low-Light Image Enhancement, ELLIE)带来了新希望,通过学习从噪声图像到清晰图像的端到端映射,能够有效抑制噪声。然而,现有模型的泛化能力和感知保真度仍然不尽如人意,其核心瓶颈之一在于缺乏大规模、高多样性的高质量训练数据集。现有的数据集,如SID、ELD和LOL系列,要么规模有限、场景单一,要么不适用于真正的极低光条件(光照>10 lux),要么缺少文本、复杂纹理等细粒度特征,这导致训练出的模型面对真实世界中复杂、多变的低光环境时,往往表现不佳。更令人困扰的是,现有评测指标(如PSNR和SSIM)有时也无法真实反映视觉质量。为了打破这一僵局,一项发表于《Nanomaterials》的研究提出了创新性的解决方案。
研究人员为攻克这一难题,主要采用了两种关键技术方法。首先,他们构建了一个全新的、大规模半合成数据集“昼夜”(DaN)。该数据集包含4200张原始格式图像,涵盖城市、郊区、室内和野外等多种场景,并在一天中的不同时间采集。其核心创新在于引入了一个基于物理学的噪声模型,该模型能够模拟真实世界中的多模态高斯噪声分布,从而在保证生成噪声独立性的同时,理论上可无限扩展训练数据对,极大地降低了数据采集成本。其次,研究者提出了一个名为“不再守夜”(No Longer Vigil, NLV)的全可微分人工智能ISP框架。该框架并非仅用深度神经网络替换传统ISP中的单个模块(如去噪),而是对整个ISP流程进行了重新设计和整合,形成了一个包含去噪网络、白平衡和色彩校正三大自适应神经网络组件的纯AI-ISP流水线,从而能够端到端地学习场景依赖的信号转换,无需依赖手动预设的先验参数。
研究结果
1. 提出的DaN数据集与传统ISP、小数据集训练的机器学习方法及NLV在极低光图像上的效果对比
研究通过视觉对比实验,直观展示了所提方法的优越性。实验聚焦于笔帽和论文标题两类包含细粒度特征的物体。结果显示,未经处理的原始图像和传统ISP的输出均无法辨识细节。在小规模数据集上训练的机器学习方法输出模糊。相比之下,在提出的DaN数据集上训练的NLV方法,能够生成清晰得多的图像,有效恢复了笔帽纹理和论文标题文字等细节。这证实了大规模、高质量数据集与先进AI-ISP框架相结合的有效性。
2. 数据标注流程
DaN数据集通过一个严谨的流程生成噪声并进行标注。首先,对相机进行噪声参数校准,包括全局增益g、暗电流噪声Ndark和加性噪声Nadd的方差等。然后,将这些校准后的参数随机输入基于泊松-高斯分布的物理噪声模型,生成与真实环境最一致的噪声,并添加到干净的真实图像上。该方法在保证数据独立性的同时,实现了训练数据的无限扩展。
3. 提出的NLV流水线结构示意图
NLV框架的结构清晰展示了其与传统ISP的本质不同。整个流程始于输入的原始噪声图像,依次通过去噪网络、白平衡网络和色彩校正网络。去噪网络(DN)结合了小波变换进行多尺度时频分析,以分离复杂噪声。白平衡(WB)和色彩校正(CC)模块均由可学习的神经网络参数化,替代了传统ISP中的固定参数矩阵,从而能自适应地校正色偏和恢复真实色彩,最终输出高质量的三通道RGB图像。
4. 在现有SID数据集和所提DaN数据集上的交叉实验
定量评估结果有力地支撑了研究的核心主张。在现有的SID数据集上测试时,NLV方法在峰值信噪比(PSNR)和结构相似性指数(SSIM)两项关键指标上均超越了当前最先进的方法,分别取得了+4.15 dB和+0.026的提升。更重要的是,交叉实验表明,当同一方法在DaN数据集上训练后,其在SID测试集上的性能普遍优于在原SID数据集上训练的结果。这证明了DaN数据集具有更优的泛化能力。此外,在DaN测试集上的评估显示,不同方法之间的性能差距被显著放大,说明DaN是一个更具挑战性、更能区分模型优劣的基准。
5. NLV与最先进方法的视觉对比
深入的视觉案例研究比较了NLV与ELD、RetinexFormer、LED等前沿方法。尽管这些基线方法在标准量化指标上分数相近,但定性分析揭示了关键区域的显著感知差异。NLV在色彩还原和细粒度特征(如字符)恢复方面表现卓越,而现有方法则普遍存在模糊、过度曝光和无法恢复字符等问题。这表明量化指标有时无法完全反映视觉质量,而NLV在感知保真度上具有明显优势。
6. 工业场景(熔池焊接)下的泛化评估
为评估模型的鲁棒性和实际部署能力,研究在极低光照的机器人气体保护金属极电弧焊(GMAW)工业场景中进行了测试。将NLV模型部署在嵌入式NVIDIA Jetson Orin平台上,对焊接后图像进行增强。结果表明,增强后的图像显著提升了视觉质量,恢复了结构细节,改善了对比度并抑制了噪声,使得基于图像的焊缝缺陷检测准确率比使用原始低质量图像时提高了12.92%。这证明了该方法在半真实环境下的有效泛化能力。
7. DaN数据集与NLV流水线的交叉可视化对比分析
通过交叉可视化分析探讨了DaN数据集与NLV流水线各自的作用。分析表明,两者共同提升了模型性能,但视觉效果的提升更大程度上依赖于DaN数据集的质量和多样性。这凸显了构建高质量、大规模数据集对于推动ELLIE领域发展的基础性重要性。
研究结论与讨论
本研究成功构建了首个专注于极低光图像增强的大规模半合成数据集“昼夜”(DaN),并提出了一种全新的、全可微分的人工智能图像信号处理(AI-ISP)框架“不再守夜”(NLV)。广泛的实验证明,NLV框架在峰值信噪比(PSNR)和结构相似性指数(SSIM)上均显著优于现有最先进方法,DaN数据集则能作为更具挑战性和鉴别力的新基准。
研究讨论部分深入剖析了其成功的关键。首先,DaN数据集的意义在于其卓越的泛化能力。与规模有限、易导致过拟合的现有数据集(如SID)不同,DaN通过大规模、多场景的数据和基于物理的噪声模型,显著降低了模型过拟合的风险,使其在面对陌生数据时也能表现出色。其次,NLV框架的优势在于其“全流程”设计。与以往仅聚焦于设计去噪网络的方法不同,NLV重新整合了去噪、白平衡、色彩校正等传统ISP核心组件,并用自适应神经网络替代了固定参数,使得各组件能够相互作用、协同工作,形成一个有机整体,移除非线性操作带来的限制。这种系统性设计是其在色彩还原和细节恢复上表现更优的根本原因。
总之,这项研究通过“数据”与“算法”的双重创新,为极低光图像增强领域提供了新的解决方案和评估标准。所提出的DaN数据集和NLV框架不仅显著提升了图像质量,其展现出的强大泛化能力也使其在夜间监控、洞穴探索、海事导航乃至工业检测等对视觉能力要求严苛的领域具有广阔的应用前景。未来,将NLV模型集成到真实相机系统中并在多样化场景中进行测试,将是推动其走向实际应用的关键一步。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号