基于序列概率分布融合的多模态多视角目标跟踪

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：Multi-modal and multi-view object tracking via sequential probability distribution fusion

　　M3VTrack 通过顺序概率分布实现视觉目标跟踪。剧烈的外观变化通过模态内顺序融合加以处理。多源特征交互通过跨模态顺序融合完成。引言视觉目标跟踪（VOT）是计算机视觉社区中不可或缺的任务，其广泛应用包括机器人视觉、自动驾驶和智能工业等。因此，有大量研究聚焦于 VOT 任务。这些研究试图通过不断吸收新兴技术，如深度神经网络（DNN）、卷积神经网络（CNN）和视觉 Transformer（ViT），来提升 VOT 任务的跟踪性能。然而，可见光（RGB）传感器的成像原理限制了可见图像的可靠性，这在极端场景（如低光照、遮挡和密集环境）下会恶化基于 RGB 的跟踪方法的跟踪性能。为了解决这一问题，引入辅助模态以提高目标在复杂场景中运行时的图像可靠性。一般而言，RGB+热成像（RGBT）和 RGB+深度（RGBD）是 VOT 任务中常见的多模态组合。RGBT 跟踪利用跟踪目标的热辐射来增强低光照场景下的跟踪性能。相应地，RGBD 跟踪利用深度图像中隐藏的空间信息来克服跟踪目标被部分遮挡时的跟踪性能下降。多模态（RGBT 和 RGBD）跟踪方法可根据其 RGBT/RGBD 融合策略分为特征融合、决策融合和混合融合方法。特征融合通常基于特征进行，旨在解决不同模态之间原始数据表示格式的差异。特征融合方法首先提取每个模态的独特特征，然后在特征层面进行整合。例如，MANet [1]、TBSI [2] 和 TIPTrack [3] 是 RGBT 跟踪方法的典型特征融合方法。MANet [1] 采用基于 CNN 的多域适配器，通过三个适配器接收和处理可见光、热成像及融合特征。TBSI [2] 引入 ViT 作为特征提取器以获得特定模态特征，并构建特征融合桥以实现特定模态特征的 RGBT 融合。TIPTrack [3] 进一步结合从前一帧跟踪结果中推导出的历史信息，并在当前帧和历史帧主要特征之间实现 RGBT 特征融合。决策融合是指每个模态的初始特征在各自的模型中进行训练，然后将模型输出的预测分数在决策层面进行融合。DFAT [4] 提出了一种动态贡献加权机制，并引入线性模板更新操作，以缓解不同成像模态因环境干扰而造成的跟踪鲁棒性差异。TAAT [5] 设计了一个轻量级决策级融合模块（DFM），将每个模态的独立跟踪结果映射到低维流形空间进行融合。混合融合结合了早期融合和晚期融合两种方法，能够有效吸收两者的模型优势。例如，DMSTM [6]、TUFNet [7] 和 Feng 等人 [8] 采用混合融合架构来设计多模态跟踪方法。DMSTM [6] 配置浅层和深层特征聚合融合以完成特征融合，并采用两个孪生头网络来避免单模态跟踪性能退化。TUFNet [7] 通过上游模块的特征融合最大化互补知识，并用两个解码器替代基于 ViT 的跟踪方法的传统预测头。Feng 等人 [8] 设计了三分叉树结构来融合 RGBT 特征，并选择加权平均融合来生成最终结果。这些方法利用不同的融合策略来获取更全面、更可靠的 RGBT 特征，以达到更出色的性能。然而，由于 RGBT/RGBD 传感器具有相同的成像方向，辅助模态也会受到跟踪目标完全或重度遮挡的威胁。因此，一些研究 [9]、[10] 尝试组合具有不同成像方向的多传感器，获取互补视图，以避免跟踪目标在单一视图中被完全或重度遮挡。例如，SCANet [9] 整合可见光和声呐（RGBS）图像，以实现水下目标跟踪（UOT）的更大范围感知。可见光传感器捕获并记录前方视图，而声呐仅扫描并记录与可见光传感器视图垂直的扇形区域。此外，AGTrack [10] 接收并组合来自空中和地面视图（空中和地面视图从不同方向覆盖同一区域）的图像源。尽管这些方法提高了跟踪可靠性，但 RGBS50 [9] 和 AGVOT [10] 在空间对齐之外，在目标尺度、方向、可见区域和遮挡模式方面也表现出差异。因此，本工作提出 M3VTrack 作为模型级统一框架，不同任务共享相同的架构、完整参数集和学习机制，无需针对特定任务进行训练。与主要组合当前帧特征、可能对突然外观变化或跨视图错位敏感的传统融合策略相比，M3VTrack 采用顺序概率分布融合（SPDF）。SPDF 使用短期时序分布来建模单流内的外观连续性和跨流间的空间关系，从而实现对对齐多模态和非对齐多视图输入的统一融合。IM-SPDF 和 CM-SPDF 摒弃了当前方法中直接采用的特征融合/编码方式，两者都关注跟踪目标未来的概率分布。IM-SPDF 通过利用跟踪对象在前序帧中稳定连续约束，预测当前帧中目标特征的分布。该策略使 M3VTrack 能够通过比较预测分布和当前帧提取的特征来感知突然变化。CM-SPDF 专注于不同模态或视图之间的非对齐特征映射，通过建模先前时刻的映射关系来实现。这种模式使 M3VTrack 能够根据简短时间窗口的跟踪图像捕获更准确的映射。同时，将顺序特征 L1 损失部署到 M3VTrack 中以约束跟踪过程并确保其稳定性。最后，M3VTrack 配置双分支搜索头以生成不同模态或视图的目标坐标。同时，双分支搜索头后跟随重选择与重映射（RS&RM）策略，用于在单模态或单视图出现不可靠跟踪时实现坐标重选择或重映射。本工作的主要贡献如下：- 本工作提出一种多模态和多视图目标跟踪方法（M3VTrack），将特征融合转变为顺序概率分布融合。- 本工作构建模态内顺序概率分布融合，使 M3VTrack 能够应对跟踪过程中的突然剧烈变化。- 本工作建立跨模态顺序概率分布融合，为不同模态或视图的特征交互提供更鲁棒的映射关系。章节摘要相关工作当前的多模态跟踪方法通常采用基于 ViT 的骨干网络，并提出不同的融合策略用于 RGBT/RGBD 特征融合。这些方法可根据其融合策略进一步分为两组。第一组方法直接融合在同一帧内由基于 ViT 的骨干网络提取的 RGBT/RGBD 特征。例如，ViPT [11] 设计了一种更优的模式来激发基于 RGB 的模型知识，并学习模态相关的提示。M3VTrack 概述如图 1 所示，M3VTrack 由四个部分组成：融合流水线、双分支坐标生成器以及两个 ViT 流水线。ViT 流水线分为三组 ViT（ViT 组 A1-A3 和 B1-B3）。每组 ViT 包含一个 IM-SPDF 和四个 ViT 块。融合流水线包含三个 CM-SPDF（1-3）模块，旨在接收并融合来自不同特征提取器对应 ViT 组的特征。具体而言，配置的 IM-SPDF 和 CM-SPDF。实验细节本工作采用统一平台进行所有实验，包括 Intel 10700K CPU、Nvidia RTX 3090 GPU 和 32GB DDR4 3200MHz 内存。在训练过程中，所有方法的主要超参数（包括学习率、训练轮数和批次大小）分别设置为 0.0001、200 和 8。来自 LasHeR [13]、RGBD1k [14] 和 AGVOT [10] 的训练样本在单次训练中联合使用，以获得单一的 M3VTrack 检查点。相同的检查点直接用于评估所有数据集。消融实验本工作配置了一系列消融方法，以进一步分析和评估所提出的技术和策略。具体而言，这些消融方法分为四组（组 1–4），分别用于评估 IM-SPDF、CM-SPDF、RS&RM 以及 mini-batch 数量。在组 1 中，有六种消融方法（A1-A6）用于评估不同位置和数量的 CM-SPDF 效果。类似地，组 2 也配置了六种消融方法（B1-B6）来分析 IM-SPDF 的效果。结论引入辅助模态或视图提高了跟踪性能，但也引入了对齐、尺度、方向、可见区域和遮挡方面的变化。因此，本工作提出 M3VTrack，通过 IM-SPDF 建立顺序特征依赖性，并通过 CM-SPDF 整合双模态/双视图互补特征来应对这些问题。同时，RS&RM 使 M3VTrack 能够通过双模态/双视图的交叉重映射获得更可靠的目标位置。CRediT 作者贡献声明严凯翔：原创论文撰写、概念设计。王雪：调查研究、数据整理。毕聪：监督指导、软件、资源。赵青松：可视化、验证。钱文华：论文审阅与编辑、项目管理、资金获取。利益冲突声明作者声明他们没有已知的相互竞争的经济利益或个人关系，这些利益或关系可能影响本论文中报告的工作。严凯翔 | 王雪 | 毕聪 | 赵青松 | 钱文华