ShapeMoiré：一种基于通道信息的形状引导网络，用于图像的去莫尔效应处理

《ACM Transactions on Multimedia Computing, Communications, and Applications》：ShapeMoiré: Channel-Wise Shape-Guided Network for Image Demoiréing

消除光电子显示器摩尔纹的新方法ShapeMoiré通过全局Shape架构有效抑制RGB通道重复摩尔纹，在参数零开销条件下实现比传统CNN更高的PSNR指标，并成功迁移至图像去模糊任务，在四组公开数据集和手机实拍场景均验证了其鲁棒性。

　　

摘要

在拍摄光电显示器时，由于显示器像素网格与相机传感器阵列之间的模拟信号干扰，常常会产生不必要的摩尔纹图案。本研究指出了现有图像去摩尔纹方法大多忽略的两个问题：1）摩尔纹图案在不同通道（RGB）之间存在差异；2）会不断观察到重复的图案。然而，传统的卷积神经网络（CNN）层无法解决这些问题。为此，本文提出了一种我们最近提出的“Shape”概念。该概念最初用于从碎片化区域中提取一致的特征，尤其是在RGB-D图像中存在相同或相似对象的情况下。有趣的是，我们发现“Shape”信息能够有效捕捉到伪影图像中的摩尔纹图案。基于这一发现，我们提出了一种新的去摩尔纹方法——ShapeMoiré。该方法不仅在块级别对形状特征进行建模，还扩展到了全局图像级别，并设计了一种新的架构——Shape-Architecture。因此，我们提出的方法结合了ShapeConv和Shape-Architecture，可以无缝集成到现有方法中，且在推理过程中不会引入任何额外的参数或计算开销。我们在四个广泛使用的数据集上进行了大量实验，结果表明ShapeMoiré在性能上达到了业界领先水平，尤其是在PSNR指标方面。随后，我们将该方法应用于四种流行的架构中，展示了其泛化能力。此外，为了进一步验证其在去摩尔纹任务之外的通用性，我们还将ShapeMoiré应用于图像去模糊任务，同样取得了显著的性能提升。最后，通过对智能手机拍摄的真实世界图像进行实验，证实了ShapeMoiré在具有挑战性的去摩尔纹场景中的鲁棒性和实用性。我们已经在PyTorch中开源了ShapeMoiré的实现，链接为：https://github.com/ShapeMoire。