基于区域级非局部建模和残差聚合的端到端图像去马赛克技术 魏凌云、刘瀚

《Sensors》：End-to-End Image Demosaicking via Region-Level Non-Local Modeling and Residual Aggregation Lingyun Wei and Han Liu

　　

摘要

图像去马赛克技术的目的是从空间上稀疏且交错排列的颜色滤光阵列观测数据中重建出全分辨率的彩色图像。尽管基于深度学习的方法取得了显著进展，但现有方法仍未完全解决去马赛克过程中采样结构所造成的限制。特别是，四通道半分辨率的数据包装方式可能会破坏彩色滤光阵列（CFA）的空间相位关系，而局部卷积和全局非局部匹配技术则难以模拟与重建相关的跨位置依赖性。为了解决这些问题，本文提出了一种端到端的图像去马赛克网络（RNRA-Net），该网络采用了区域级的非局部建模和残差聚合技术。RNRA-Net没有将Bayer RAW数据打包成四通道半分辨率格式，而是将原始马赛克图像分解为三个原分辨率通道的表示形式，从而保留了CFA采样的空间排列。为了捕获结构相关的信息，引入了区域级非局部模块来计算空间受限区域内的特征关联性，从而能够聚合与重建相关的上下文信息。此外，还开发了残差聚合模块来显式收集和精细化早期残差补偿特征，有助于恢复边缘、纹理和高频细节。通过在基准数据集和高分辨率数据集上的广泛实验，证明了RNRA-Net的有效性。