BVIFormer：一种受双目视觉启发的Transformer模型，采用双目竞争性融合技术实现单图像修复

《Scientific Reports》：BVIFormer: a binocular-vision-inspired transformer with binocular competitive fusion for single-image restoration

　　

摘要

人类视觉在恶劣天气条件下依然表现稳健，这得益于中央凹处理与双眼视觉信息的整合。受这一机制的启发，我们提出了BVIFormer，这是一种基于双眼视觉的Transformer模型，用于单张图像的恢复。BVIFormer采用了多尺度编解码器架构以及一个双分支结构来模拟双眼的感知过程。具体而言，Parallel Deformable Embedding（PDE）生成两个互补的嵌入特征；Human-Vision-Inspired Attention（HVIA）通过中央凹-周边加权策略对这些特征进行优化；Binocular Competitive Fusion（BCF）则通过softmax标准化的逐通道竞争机制实现融合。我们将BVIFormer应用于单张图像的去雾和去雨处理。在Dense-Haze和SOTS-Outdoor数据集上，BVIFormer分别取得了17.30 dB和37.56 dB的PSNR（峰值信噪比），比之前的最佳结果分别高出0.68 dB和0.14 dB；在Rain1400和Test2800数据集上，其PSNR分别为33.82 dB和34.24 dB。此外，我们还对双分支的行为及竞争机制进行了视觉和统计分析，证实这两个分支能够捕获互补的信息，并且BCF能够在不同图像退化情况下自适应地选择可靠的线索。代码可在以下链接获取：https://github.com/LindaLi113/BVIFormer。