基于自循环策略的非配对可见光-红外图像转换算法研究及其在无人机目标识别中的应用

本文推荐：该研究提出了一种基于生成对抗网络(GAN)的自循环策略(SelfCycle)算法，创新性地利用生成网络的隐式判别能力对生成图像进行二次审查。针对可见光-红外图像转换任务，作者设计了融合卷积神经网络(CNN)与视觉状态空间模型(VSS)的IRSelfCycle算法，在Cityscapes和Horse→Zebra等数据集上取得state-of-the-art性能，为无人机复杂环境下的目标识别提供了有效解决方案。

　　

亮点

• 提出基于三元组损失和对比学习的SelfCycle图像转换框架，通过生成网络的自循环策略重新评估生成图像；

• 开发融合视觉状态空间(VSS)模型与卷积神经网络(CNN)的特征提取模块，增强可见光图像局部特征提取能力；

• 在多个I2I基准测试中验证方法有效性，在可见光-红外图像转换任务上达到最先进性能。

讨论

该方法仍属于非配对图像转换范畴。现有方法未考虑生成网络的判别能力——当输入源域和目标域图像时，生成器既能生成图像又可判别输入是否来自目标域，这正是公式(1)(2)的理论基础。基于此，SelfCycle策略通过生成器自身的判别能力构建约束，使生成图像更接近目标域分布。

结论

SelfCycle框架在图像转换任务中展现出显著优势：通过生成器的判别能力构建自循环约束，有效缩小生成图像与目标域的差距。针对可见光-红外转换任务设计的卷积视觉状态空间模块(CVSSM)成功平衡了全局特征获取与局部细节保留，在有限计算资源下实现优异性能。

未引用图示

缺失引用的图7、图9、图10

作者贡献声明

Decao Ma：综述撰写/初稿写作/可视化/验证/方法论/形式分析/概念化；Juan Su：综述修改/验证/监督/方法论；Bing Li：验证/监督/方法论；Yong Xian：方法论/形式分析/概念化；Shaopeng Li：验证/方法论/资金获取；Yao Ding：综述修改/验证/形式分析。

利益冲突声明

作者声明不存在可能影响本研究的财务利益或个人关系。

致谢

本研究得到国家自然科学基金(No.62103432)、中国博士后科学基金(No.2022M721841)和陕西省高校科协青年人才托举计划(No.2021108)资助。