结合去马赛克前后噪声消除的RAW视频降噪新方法

《IEEE Transactions on Image Processing》：Combining Pre- and Post-Demosaicking Noise Removal for RAW Video

本文针对RAW视频降噪中单一处理阶段的局限性，提出了一种结合去马赛克前后两阶段降噪的自相似性方案。研究人员通过平衡预去马赛克和后去马赛克降噪器的影响，并集成时间轨迹预滤波技术，显著提升了高ISO场景下的纹理重建质量。该方法在多种噪声水平下均优于现有深度学习方法，且无需依赖大量训练数据，为移动摄影等实时应用提供了高效解决方案。

　　

在数字摄影和视频制作领域，如何有效去除图像噪声一直是图像信号处理(ISP)管道中的核心挑战。噪声主要来源于相机传感器在捕获光子过程中产生的物理干扰，包括散粒噪声和读取噪声。特别是在低光照条件下，为了提升画面亮度而采用的高ISO设置会进一步放大噪声，使得细节信息被淹没在杂乱信号中。

传统上，降噪处理通常在去马赛克之前进行，因为RAW数据中的噪声是空间不相关的，且像素值与光子数保持线性关系。然而，这种处理方式存在明显缺陷：由于色彩滤波阵列(CFA)的拜耳模式(Bayer pattern)导致图像高度混叠，降噪过程容易产生棋盘状伪影并损失纹理细节。另一方面，若仅在去马赛克后降噪，虽然避免了混叠问题，但噪声已经变得色彩和空间相关，特别是在低信噪比条件下难以有效去除。

针对这一两难问题，Sanchez-Beeckman等人创新性地提出了一种平衡策略，通过在去马赛克前后分别进行降噪处理，并巧妙地将两个阶段的结果进行加权融合。该方法不仅能够适应不同噪声水平（如ISO值的变化），还引入了时间轨迹预滤波技术，充分利用视频序列的时间冗余性来提升纹理重建质量。这项重要研究成果已发表在图像处理领域的顶级期刊《IEEE Transactions on Image Processing》上。

研究人员采用了几项关键技术方法来实现这一创新方案。首先，他们设计了一个包含两个降噪阶段的模块化处理流程，通过参数α控制RAW域和RGB域降噪的平衡度。其次，开发了时间轨迹预滤波算法，通过光流估计建立补丁运动轨迹，并采用加权主成分分析(WPCA)进行滤波。此外，还使用了基于PCA的时空去噪算法，通过相似补丁块的三维协同滤波来去除噪声。整个处理过程在色彩去相关的YUVW和YUV空间中进行，并采用了适合CFA结构的颜色变换矩阵。

传感器噪声模型与预处理

研究基于标准的泊松-高斯噪声模型，该模型准确描述了传感器噪声的特性：x_read～ N(x_true+ O, ax_true+ b)。在预处理阶段，研究人员先减去传感器添加的黑电平偏移O，并应用白平衡和镜头阴影校正等操作，保持噪声分布在负值区域不产生偏差。这种处理有助于维持光流估计所需的颜色恒定性条件。

时间轨迹预滤波技术

该方法通过计算参考帧与相邻帧之间的光流，建立补丁的运动轨迹。对于每个r×r补丁，收集其在时间窗口内的轨迹集合，使用加权重构来降低噪声影响。

通过加权主成分分析(WPCA)，该方法能够在保留细节的同时显著降低噪声，特别适用于处理因运动估计不准确而导致的模糊问题。

时空去噪块设计

基于PCA的去噪算法通过运动补偿将相邻帧对齐到参考帧，在补丁邻域内搜索最相似的K个扩展补丁块。这些三维体积被切片成二维补丁，通过阈值化处理消除特征值小于τ_c²σ?_c²的主成分系数，实现有效去噪。

色彩去相关变换

研究采用了非正交的颜色变换矩阵，在YUVW和YUV空间中分别进行处理。这种设计赋予绿色通道更大权重，同时保持色度分量的零和行特性，确保灰度像素在新的颜色空间中具有零色度值。

平衡参数优化

通过系统实验，研究人员发现最优的α参数值与ISO设置密切相关。低ISO场景(如ISO 1600)最适合α=0.5的平衡点，而高ISO场景(如ISO 25600)则需要更多RAW域降噪(α=0.3)。这种自适应平衡确保了在不同光照条件下都能获得最佳降噪效果。

研究结果表明，该方法在多个数据集上均表现出色。在CRVD户外数据集上的视觉比较显示，该方法能够有效去除噪声的同时保留复杂结构和纹理细节，避免了其他方法常见的过度平滑或残留伪影问题。

在定量评估方面，该方法在PSNR、SSIM、MS-SSIM和VMAF等多个指标上均优于FlexISP、RViDeNet和UDVD等现有方法。特别是在ARRI数据集上的测试表明，该方法对不同噪声水平具有出色的适应性，其PSNR值比次优方法高出1-2dB。

值得注意的是，该方法在计算资源使用方面表现出显著优势。相比需要3GB内存的深度学习网络，该方法仅需0.214GB内存，使其特别适合移动设备等资源受限环境的应用。

该研究的创新价值在于成功证明了传统自相似性算法在精心设计下仍能超越现代深度学习方法。通过巧妙结合去马赛克前后的降噪处理，并引入时间轨迹预滤波技术，该方法在保持细节和去除噪声之间找到了最佳平衡点。特别是在处理高ISO低光照场景时，其性能优势更加明显。

这项研究的重要意义在于为实时视频处理领域提供了新的技术路线。该方法不依赖大量训练数据，能够自适应不同噪声条件，在移动摄影、监控系统、医学成像等领域具有广阔的应用前景。其模块化设计也为后续研究提供了可扩展的框架，未来可以进一步优化各个子模块的性能，推动图像处理技术向更高效、更适应性的方向发展。