基于无混叠频率分解的联合去马赛克与去噪

《IEEE Access》：Joint Demosaicing and Denoising via Aliasing-Free Frequency Decomposition

　　

摘要：

联合去马赛克与去噪（JDD）仍然具有挑战性，因为在具有高频细节和强色彩边缘的区域存在严重的混叠和色彩伪影。尽管采用了复杂的架构设计来建模通道间关系或解耦任务，传统方法仍然难以有效评估空间和通道间相关性。在本文中，我们证明了显式的频率分解能够有效地解耦空间模式和通道间关系，为 JDD 提供了结构化的基础。为了防止频谱泄漏，我们提出了无混叠频率分解（AFFD）模块以及一种新颖的核频率正则化（KFR）损失，后者严格强制执行了预期的频带约束。此外，我们引入了核频率带能量比（K-FBER），以定量验证核的层级传递函数特性。大量实验表明，我们提出的框架实现了最先进 的恢复质量，且具有出色的参数效率，而不依赖于过于复杂的架构或结构。具体来说，我们的大型变体（FDJDD-L）使用的参数少于基于 Transformer 的 DemosaicFormer 的一半（14.63M 对 34.25M），同时在 MIT 摩尔纹数据集上获得了 +0.21 dB 的 PSNR 和 +0.0009 的 SSIM 提升。此外，我们的紧凑型 FDJDD-M（7.32M）在 McMaster 基准上以 +0.09 dB 的 PSNR 和 +0.0003 的 SSIM 超越了现有的最先进方法。