基于多层级图注意力网络的红外目标跟踪方法SiamMLGR研究

针对热红外(TIR)目标跟踪中存在的特征丢失、形变干扰及样本不足等问题，研究人员提出基于孪生网络的SiamMLGR框架，通过多图注意力模块(MGAM)和空间图卷积模块(SGCM)实现节点级特征匹配，结合RGB-T混合数据集训练，在VOT-TIR2015等基准测试中达到SOTA性能，为复杂环境下的红外监控提供新思路。

　　

论文解读

在夜间监控、沙尘天气等极端环境下，热红外(TIR)成像技术因不受光照影响成为关键手段。然而，TIR目标跟踪面临三大难题：缺乏色彩纹理导致特征提取困难，形变和遮挡引发匹配漂移，以及训练数据稀缺造成的模型泛化不足。传统方法依赖手工特征或全局匹配，难以捕捉细粒度特征，而现有深度学习方案又因样本失衡在部分场景表现欠佳。

为解决这些问题，曲阜师范大学等机构的研究团队在《Engineering Applications of Artificial Intelligence》发表研究，提出创新性解决方案。团队设计名为SiamMLGR的孪生网络框架，核心采用多图注意力模块(MGAM)替代传统全局匹配，通过构建目标与搜索区域的局部-全局图连接，保留细粒度特征；结合空间图卷积模块(SGCM)显式传递注意力图信息，有效应对形变干扰。此外，引入视觉跟踪大数据集与TIR数据混合训练，显著提升模型鲁棒性。

关键技术方法
研究以InceptionV3为骨干网络提取特征，构建包含MGAM和SGCM的双模块系统：MGAM将特征图转换为二分图进行节点级匹配，SGCM通过邻接矩阵传播空间信息。训练阶段混合LSOTB-TIR、ImageNet-VID等数据集，采用AMD EPYC? 7742服务器和NVIDIA? RTX? 3090 GPU加速。

研究结果

1. MGAM模块设计：通过建立模板与搜索区域的图结构对应关系，实验显示该模块比传统匹配方法减少23%的特征信息损失。
2. SGCM模块验证：在PTB-TIR数据集上测试表明，显式邻接矩阵使形变目标的跟踪成功率提升17%。
3. 混合训练策略：跨模态训练使模型在VOT-TIR2017的相似干扰场景下错误率降低31%。

结论与意义
该研究首次将图神经网络(GNN)引入TIR目标跟踪领域，提出的SiamMLGR框架通过节点级特征传递和跨模态学习，突破传统方法在细粒度特征保留和样本依赖上的局限。在四大基准测试中，其精确度和鲁棒性均超越DSST-TIR、MCFTS等现有方案，为军事侦察、自动驾驶等复杂环境应用提供可靠技术支撑。未来可进一步探索动态图构建与多传感器融合方向。