面向鲁棒RGB-T融合与跟踪的双流自监督协同网络

《ACM Transactions on Intelligent Systems and Technology》:Dual-Stream Self-Supervised Synergistic Network for Robust RGB-T Fusion and Tracking

【字体: 大 中 小 】 时间:2026年09月21日 来源:ACM Transactions on Intelligent Systems and Technology 10.7

编辑推荐:

   摘要AI 摘要查看此 AI 生成的摘要,您需要拥有高级访问权限。了解更多登录摘要摘要RGB-T 跟踪是一项具有挑战性的任务,因为存在各种干扰因素,包括遮挡、光照变化、热成像交叉干扰等。然而,现有研究仅关注多模态交互或融合设计,而忽视了在面对挑战时有效处理鲁棒性的问题。此外,这

  

摘要

摘要

RGB-T 跟踪是一项具有挑战性的任务,因为存在各种干扰因素,包括遮挡、光照变化、热成像交叉干扰等。然而,现有研究仅关注多模态交互或融合设计,而忽视了在面对挑战时有效处理鲁棒性的问题。此外,这些范式简单地将两种模态融合,没有考虑协同主导的融合方案。为了解决这些问题,我们提出了 DS4Net,一种用于鲁棒 RGB-T 融合与跟踪的双流自监督协同网络。首先,与传统单一流范式不同,我们引入了一种新颖的双流架构,以两种不同版本的 RGB-T 模态作为输入进行自监督训练,以实现目标表示学习与定位的平衡,从而解决困难场景下导致的目标外观偏差问题。然后,为了有效桥接两个流,我们设计了一种模态互适适配器(MRA),在训练阶段增强流之间目标外观线索与目标背景信息的协同交互。此外,为了增强用于跟踪的鲁棒融合,我们引入了协同主导多模态融合(CDMF),旨在利用双流提供的挑战条件下模态的波动特征进行身份学习,并协同利用主导模态和辅助模态以实现更鲁棒的融合。最后,在三个 RGB-T 基准数据集(即 LasHeR、RGBT234 和 RGBT210)上进行的广泛实验证明了所提方法的优越性。特别是,我们在 LasHeR 上达到 71.1% 的 PR 分数,在 RGBT234 上达到 88.4%,在 RGBT210 上达到 87.1%,优于流行方法。

AI 摘要

AI 生成摘要(实验性)

此摘要由自动化工具生成,未经论文作者撰写或审核。其目的是支持文献发现,帮助读者评估相关性,并协助来自相邻研究领域的读者理解该工作。它旨在作为作者提供的摘要的补充,后者仍为论文的主要摘要。全文仍为权威版本。点击此处了解更多。

点击此处对本摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进未来的优化和重新生成版本。

查看此 AI 生成的简明摘要,您需要拥有高级访问权限。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号