基于Transformer的结构感知双流网络用于低光照图像增强

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Transformer-Based and Structure-Aware Dual-Stream Network for Low-Light Image Enhancement

提出端到端Transformer双流网络，主流处理增强并反馈结构信息，结构流提取特征；设计结构门控Transformer平衡全局局部特征；开发跨注意力模块实现多尺度多类型融合，实验验证有效且计算高效。

　　

摘要

在本文中，我们提出了一种基于Transformer的端到端双流网络，该网络能够实现低光照条件下的图像增强，并充分考虑图像的结构特征。首先，我们将双流网络分为主线流和结构流：主线流用于生成增强后的图像，并向结构流提供结构信息；结构流则负责从主线流中提取结构特征，为图像增强过程提供丰富的结构支持。其次，我们设计了一种结构门控Transformer（Structure-Gated Transformer），通过并行多头自注意力机制与卷积操作相结合（这些操作位于多层感知器之后），从而在双流网络的编码器部分有效提取图像的全局和局部结构特征。最后，我们开发了一个基于交叉注意力的特征融合模块，该模块将不同大小的窗口划分为多个特征融合阶段，实现在解码器部分实现多阶段、多尺度和多类型的特征融合。实验结果表明，我们的方法不仅效果显著，而且计算开销和存储需求也较为合理。