《Expert Systems with Applications》:Frequency-decoupled prompting network for under-display camera image restoration
编辑推荐:
摘要屏下摄像头(UDC)技术通过将摄像头嵌入显示屏下方来实现全面屏设计,消除了传统刘海屏或打孔屏的局限性。然而,OLED像素阵列会引发复杂的光学退化,包括衍射、光衰减和波长相关的伪影,导致UDC图像出现模糊、色彩失真和亮度降低。特别是在高动态范围场景中,光晕和运动模糊伪影显著
摘要
屏下摄像头(UDC)技术通过将摄像头嵌入显示屏下方来实现全面屏设计,消除了传统刘海屏或打孔屏的局限性。然而,OLED像素阵列会引发复杂的光学退化,包括衍射、光衰减和波长相关的伪影,导致UDC图像出现模糊、色彩失真和亮度降低。特别是在高动态范围场景中,光晕和运动模糊伪影显著降低了视觉质量和用户体验。为解决这些挑战,我们提出了一种新颖的频率解耦提示网络(FDP-Net),用于处理UDC图像中的区域特定曝光变化和衍射模糊。FDP-Net通过物理点扩散函数(PSF)建模,在高动态范围条件下实现UDC图像恢复,集成三个关键组件:(1) 用于多尺度特征提取的U型基础网络;(2) 实现空间自适应调制的双提示频率分支(DPFB);以及(3) 融合PSF先验的特征维纳滤波去卷积分支(FWFD)。DPFB采用低频提示增强模型(LPEM)与高频提示增强模型(HPEM)之间的协同框架,实现频率感知的多频段处理。每个模型遵循两阶段流程:通过自适应融合提示信息与频域特征来生成特征,以及在解码器引导下通过动态调整来实现特征调制。LPEM捕获全局上下文特征,而HPEM增强局部细节。FWFD利用PSF的空间同质性,引入特征域维纳去卷积算子,以消除耗时的PSF获取过程。在UDC基准上的综合实验验证了FDP-Net在定量指标和感知质量方面均优于最先进的方法,并具有卓越的伪影抑制和细节保留能力。此外,随着UDC技术与深度学习的深度融合,其应用场景将进一步扩展到三维图像重建、增强现实(AR)、虚拟现实(VR)、虚拟交互以及其他相关视觉领域。
引言
随着移动成像系统的快速发展,同时实现高屏占比和高质量前置摄像头已成为一个重要挑战。传统解决方案,如显示刘海和弹出式摄像头机制,往往会牺牲视觉完整性或结构可靠性。近年来,屏下摄像头(UDC)技术通过将前置摄像头放置在高透明度OLED面板下方,实现了无缝全面屏显示,同时保持成像能力,成为一种有前途的解决方案。然而,位于摄像头上方的显示层引入了复杂的光学退化,包括衍射、衰减、散射和波长相关的色彩失真。与由镜头失焦或运动模糊引起的传统退化不同,UDC退化源于光传播与显示结构之间的相互作用。如图1(a)所示,这些效应引入了眩光伪影、强度失真和结构退化,在强光条件下尤为明显。同时,显示像素的周期性排列产生了结构化的衍射图案。图1(b)中的傅里叶分析揭示了频谱失真和高频衰减,表明UDC退化不仅仅是一个空间模糊问题,而是一个频率依赖的光学退化过程。图2进一步说明,衍射主要通过引起边缘扩展、振铃伪影和纹理衰减来影响高频分量,而散射、光照衰减和色彩失真主要影响低频信息。这些观察表明,不同的退化机制表现出不同的频率响应。因此,有效的UDC恢复需要退化感知的频率建模,而不是将频率信息视为通用的图像特征。
基于深度学习的近期UDC恢复方法通过结合数据驱动学习与物理先验取得了令人满意的效果。然而,仍然存在一些挑战。首先,现有方法主要在空间域中操作,缺乏对频率依赖光学退化的显式建模,限制了复杂光照下的纹理恢复和伪影抑制。其次,合成训练模型由于设备依赖的光学响应、空间变化的PSF和非线性图像信号处理(ISP)而经常面临域差距问题。第三,高分辨率UDC恢复对现代移动成像系统而言仍然计算量庞大。此外,大多数物理退化模型是针对RAW域图像开发的,而实际的sRGB图像会经历包括伽马校正、色彩映射和锐化在内的非线性ISP操作,这掩盖了原始的光学退化特性。为解决这些挑战,我们提出了一种用于sRGB UDC图像恢复的频率解耦提示网络(FDP-Net)。与主要将频率信息作为特征表示的现有方法不同,FDP-Net引入了一种退化感知的频率恢复范式,其中频率特征与UDC光学退化机制明确关联。FDP-Net的关键创新在于联合建模频率特异性退化感知和物理先验引导恢复,而不是简单地组合独立模块。具体而言,所提出的框架建立了一条退化感知和物理校正流水线:频率提示自适应地表征不同频段的退化模式,而PSF引导的恢复为光学失真提供物理约束补偿。基于此原则,我们设计了一个由低频提示增强模块(LPEM)和高频提示增强模块(HPEM)组成的双提示频率分支(DPFB)。LPEM捕获由光照衰减和色彩失真引起的低频变化,而HPEM专注于衍射引起的高频退化。与使用提示作为全局任务表示的常规提示方法不同,所提出的频率提示充当空间自适应的退化调制器。
此外,我们引入了一个带有可学习PSF估计模块的特征维纳滤波去卷积分支(FWFD)。与在图像域中使用固定核的传统维纳去卷积不同,FWFD在特征空间中进行PSF引导的恢复,将物理光学先验与深度特征学习相结合,以自适应补偿空间变化的退化。此外,引入了一种轻量级U-Net结构以提高高分辨率特征表示和计算效率。在合成和真实世界UDC基准上的广泛实验表明,FDP-Net相比现有最先进方法取得了更优越的恢复性能。定量评估、视觉比较、消融研究和泛化分析进一步验证了所提出的频率解耦和物理引导恢复框架的有效性。主要贡献总结如下:
(1) 我们通过双提示频率分支(DPFB)提出了一种用于UDC图像的退化感知频率恢复范式,建立了频率特征与光学退化机制之间的自适应关系,而非将频率分解作为简单的特征提取。
(2) 我们提出了一个带有可学习PSF估计的特征维纳滤波去卷积分支(FWFD),将物理光学先验融入特征域恢复中,以自适应补偿空间变化的衍射退化。
(3) 我们开发了一个物理引导且数据驱动的恢复框架,联合建模频率依赖的退化感知和物理校正,有效解决了sRGB UDC图像中的模糊、眩光伪影和色彩失真问题。
(4) 我们设计了一种高效的恢复架构,在恢复性能和计算成本之间实现了有利的权衡,适用于高分辨率UDC图像恢复。
章节摘要
UDC图像恢复
近年来,屏下摄像头(UDC)技术由于其使全面屏移动设备成为可能而引起了计算成像领域的日益关注。然而,放置在摄像头上方的显示层引入了复杂的光学退化,包括衍射、光衰减、散射效应和色彩失真。早期研究调查了UDC退化背后的物理机制。Tang等人(2020)分析了OLED显示组件以
动机
我们的主要研究动机源于UDC图像中衍射效应的频谱分析。如图1(b)所示,傅里叶分析揭示了UDC图像频谱中的明显周期性模式。尽管类似的频谱衰减也可能出现在其他图像恢复问题中,但UDC退化表现出由显示层与摄像头传感器之间相互作用引起的频率依赖特性,其中衍射效应引入了
实现细节
数据集。我们在中兴(Feng等人,2021)数据集上进行训练,该数据集非常适合非盲UDC图像恢复,因为它采用了基于真实世界测量合成的PSF。该数据集包含2,016个合成训练样本、40张验证图像和40张测试图像。然而,合成数据集无法复制波长依赖的光学模糊,也不表现出频谱色散特性。因此,大多数退化图像显示规则的圆形
结论
在本文中,我们在频域中研究UDC图像恢复。基于对UDC图像退化特性的分析,我们提出了FDP-Net以解决HDR场景下的UDC图像恢复问题。所引入的架构包含三个关键组件:(1) 一个利用多尺度信息空间的U型网络;(2) 一个双提示频率分支,用于提取低频结构语义和高频细节纹理图;以及(3) 一个特征维纳
利益冲突声明
作者声明他们没有已知的竞争经济利益或个人关系,这些利益或关系可能会影响本文报告的工作。
致谢
本工作得到宁夏回族自治区自然科学基金(编号:2023AAC03023)的资助。
张学于2023年获得宁夏大学学士学位。她目前正在宁夏大学电子与电气工程学院攻读硕士学位。她的研究方向包括图像处理和计算机视觉。
张学|王波