《Neurocomputing》：An End-to-End dual-stream fusion framework with subsequent detail-aware diffusion-based refinement for joint low-light segmentation and enhancement
编辑推荐：
低光语义分割联合优化框架提出双流特征融合架构，基于Retinex理论分离光照与反射率图，通过EIB Transformer实现光照感知的非局部建模与多尺度特征融合，并可选集成细节感知扩散增强网络改善图像质量，在LLRGBD-Real和夜间驾驶数据集上显著优于现有方法。
Junchang Zhang|Yucai Shi|Hong Chen|Qing Wang|Hai Huang
中国农业大学信息与电气工程学院，北京，100083，中华人民共和国
摘要
许多现有的低光照语义分割方法采用级联范式，首先对图像进行增强，然后再进行分割，但这种顺序设计缺乏特征级别的交互和联合损失优化机制，限制了整体性能。此外，大多数基于Retinex的增强方法依赖于分别训练的CNN来处理图像分解、去噪和光照调整，导致复杂的流程在光照不均匀的情况下难以捕捉长距离依赖关系。为了解决这些问题，我们提出了一个端到端的双流特征融合框架，用于联合低光照增强和语义分割。在Retinex理论的指导下，输入图像被分解为光照图和反射率图，这些图被转换为光照引导的特征表示，以便进行空间自适应建模。该框架包括两个互补的分支：一个恢复分支，用于估计光照并恢复退化的结构以生成增强的反射率；另一个分割分支，基于恢复的反射率进行像素级分类。此外，所提出的Enlightened Integration Block（EIB）Transformer通过光照感知特征实现非局部建模，并将光照不变的结构与语义线索融合，以提高鲁棒性。为了进一步提高低光照增强质量，还加入了一个可选的Detail-aware Diffusion Enhancement Network，用于细化图像细节并抑制噪声。在室内低光照数据集LLRGBD-Real和夜间城市驾驶数据集上的实验表明，我们的方法在性能上显著优于现有方法，建立了一个统一的框架，可以在单一优化过程中同时实现低光照增强和语义理解。我们的代码及相应数据库可以在
https://github.com/zhangjunchang2023/LLISS获取。
引言
近年来，由于深度学习和大规模标注数据集的推动，视觉场景理解取得了快速进展。然而，大多数现有的深度学习模型假设输入图像是在理想光照条件下拍摄的[42]。在遥感[88]、夜间监控[86]、自动夜间驾驶[37]、物体检测[39]和灾害救援[11]等实际应用中，由于光照不足，图像经常出现严重退化[39]。这些退化包括对比度低、细节丢失、颜色失真和复杂噪声，严重影响了深度学习算法的性能[71]。
深度学习，特别是CNN，已被广泛用于低光照增强和语义分割。在增强方面，RetinexNet[61]、EnlightenGAN[25]、Zero-DCE[19]、SCI[38]和URetinex[63]等方法利用Retinex分解、对抗学习、曲线映射和可学习的光照建模来恢复亮度、保留细节和抑制噪声。在分割方面，DeepLabV3+ [7]、UNet [46]、PSPNet [84]、SegNet [2]、BiSeNet [75]和HRNet [49]等模型利用多尺度和编码器-解码器设计。然而，CNN的固定感受野限制了长距离依赖关系的建模，在光照不均匀或对比度低的情况下性能下降[3]。
Transformer通过实现全局自注意力[26]解决了CNN的局限性。在低光照增强方面，Uformer [60]、Restormer [78]、LLFormer [55]和DehazeFormer [89]将Transformer模块与类似U-Net的结构结合，以保持结构和纹理的一致性。在分割方面，SETR [87]应用纯Transformer架构，Segmenter [65]将ViT编码器与分割解码器结合，Swin Transformer [34]通过分层移动窗口注意力提高效率。轻量级Transformer如TopFormer [82]、SeaFormer [52]和SCTNet [70]能够在边缘设备上进行高分辨率分割。这些模型克服了CNN的感受野限制，增强了了对不均匀光照、模糊边缘和弱纹理的全局理解。
大多数现有方法分别处理增强和分割。像SFNet-N [54]这样的顺序方法缺乏端到端训练，而基于Retinex的方法[17]通常只关注反射率去噪，而忽略了光照误差，导致曝光和颜色失真，从而降低了分割精度。设计一个能够通过补偿光照和反射率中的误差来共同提高视觉质量和分割效果的框架仍然是一个关键挑战。
为了解决这个问题，我们提出了一个基于Retinex分解的端到端双流框架。它将图像分为光照图和反射率图，分别进行亮度恢复和语义理解的独立建模。多尺度注意力机制和联合监督使得任务之间能够有效协作。反射率分支在关键区域保留了结构细节，而Enlightened Integration Block（EIB）Transformer利用光照线索来建模长距离依赖关系，增强了极端黑暗区域中的特征稳定性，并显著提高了分割性能。
本工作的主要贡献总结如下：
•我们设计了一种特征级别的跨任务交互机制，将光照不变的结构线索与语义表示深度融合，从而在低光照条件下实现稳健的联合学习。
•我们加入了一个可选的Detail-aware Diffusion Enhancement Network（DDENet），用于细化细节并抑制噪声，从而提高了恢复的低光照图像的质量，并增强了下游的特征学习。
•我们提出了Enlightened Integration Block（EIB），这是一个基于Transformer的模块，它利用光照线索整合了局部和全局信息，有效提高了反射率重建和语义分割性能。
章节片段
低光照图像增强
低光照图像增强（LLIE）提高了在弱光照条件下拍摄的图像的可见度和质量，是一项基本的计算机视觉任务。早期的方法依赖于经典技术，如直方图均衡化（HE）[43]和Retinex理论[27]，这些方法可以提高整体亮度，但常常导致细节丢失或过度曝光。
深度学习在LLIE方面取得了显著进展。基于CNN的方法包括LLNet [36]（带有基于自动编码器的亮度增强）、MSRNet [40]
方法论
在这项工作中，我们提出了一个完全可训练的模型，用于在黑暗环境中的语义分割和增强，如图1所示。该网络采用双流特征融合框架，旨在在一个统一的端到端架构中共同解决由低光照图像退化引起的亮度下降和语义分割性能下降的双重挑战。核心思想是恢复低光照图像中的退化反射率，从而
实验
在这部分，我们主要展示了我们的模型与其他现有模型的比较，以及对我们模型的消融研究。
结论
在本文中，我们提出了一个端到端的双流特征融合框架，结合了后续的细节感知扩散细化，用于联合低光照图像增强和语义分割，专门针对低光照场景理解进行设计。与传统的级联流程不同，我们的方法能够实现两个任务之间的联合优化和特征级别交互，同时提高视觉质量和语义准确性。基于Retinex理论，输入图像被
CRediT作者贡献声明
Junchang Zhang：撰写——原始草稿、方法论、概念化。Yucai Shi：调查、数据管理。Hong Chen：可视化、数据管理。Qing Wang：撰写——审阅与编辑、软件。Hai Huang：监督、资金获取。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了中国国家重点研发计划（项目编号2022YFF0904305）的支持。
Junchang Zhang于2022年在中国农业大学获得硕士学位。他目前在中国农业大学信息与电气工程学院的计算机工程系攻读博士学位。他的主要研究兴趣是计算机视觉和增强现实。
