DAFormer：通过具备退化感知能力的专家混合模型提升红外与可见光融合的无人机感知能力

《ACM Transactions on Multimedia Computing, Communications, and Applications》：DAFormer: Enhancing Infrared-Visible UAV Perception via Degradation Aware Mixture-of-Experts Model

　　

摘要 AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多 登录

摘要

摘要

红外可见光图像融合技术能够弥补单一模態的感知缺陷，常用于监控、检测和跟踪任务。然而，在无人机（UAV）的全天候感知中，室外场景的失真是一个重要问题。与理想情况下的成像不同，实际室外环境中的捕获图像会受到天气和温度的影响，如降雨和雾气。本文提出了一种名为DAFormer的红外可见光图像恢复融合方案，可提升降级图像的感知性能。DAFormer包括一个双分支编码器，该编码器嵌入了具有退化感知能力的专家混合模型（DA-MoE）、一个切换融合模块（SFM）以及一个单分支解码器。具体而言，DA-MoE通过残差学习将失真特征在空间和通道维度上分离，利用双分支编码器来隔离跨模态的影响。随后，SFM通过交替执行恢复和融合步骤来迭代训练DAFormer，从而实现向恢复融合目标的收敛。在高海拔监测和头顶监控场景进行的实验表明，该方案能够有效去除不同模態间的失真，生成的融合结果保留了关键信息，并与人类视觉感知保持一致。DAFormer的代码链接如下：https://github.com/suweijian1996/DAFormer。

AI摘要

AI生成摘要（实验性内容）

此摘要是由自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者了解文章内容、评估其相关性，并协助来自相关研究领域的读者理解文章。它仅作为对作者提供的摘要的补充，作者提供的摘要仍然是文章的官方总结。完整文章才是权威版本。点击此处了解更多。

请点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由AI生成的通俗语言摘要，您必须具有高级访问权限。