通过记忆雨天特征和重放机制实现更好的去雨化泛化

《IEEE Transactions on Neural Networks and Learning Systems》：Toward Better De-Raining Generalization via Rainy Characteristics Memorization and Replay

当前图像去雨方法依赖有限数据集，导致实况场景适应性不足。本文提出基于人脑互补学习系统的新型框架，通过GAN生成合成数据模拟海马体记忆功能，结合新皮层知识蒸馏机制，使模型持续学习多数据集知识，显著提升对新雨场景的泛化能力。实验验证其有效性并开源代码。

　　

摘要：

当前的图像去雨方法主要依赖于有限的数据集进行学习，因此在面对多样化的实际雨天环境时表现不佳。为了解决这个问题，我们提出了一个新的框架，该框架使网络能够通过利用不断增长的数据集来逐步扩展其去雨知识库，从而显著提升其适应性。我们的方法借鉴了人类大脑持续从经验中学习并进行泛化的能力，采用了互补学习系统的机制。具体来说，我们首先使用生成对抗网络（GANs）来捕捉和保留新数据的独特特征，这类似于海马体在学习和记忆中的作用。然后，去雨网络同时使用现有数据和GAN生成的数据进行训练，模仿海马体重放和交错学习的过程。此外，我们还利用重放数据进行知识蒸馏，以复制海马体重放触发的新皮层活动模式与现有新皮层知识之间的协同作用。这一综合框架使去雨网络能够从各种数据集中积累知识，不断提高其在以前未见过的雨景中的处理能力。我们在三个基准去雨网络上的测试验证了该框架的有效性。它不仅促进了跨六个数据集的知识持续积累，还在泛化到新的实际场景方面超越了现有的最先进方法。我们的代码可在此链接获取：https://github.com/wangkunyu241/CLGID