超图驱动的软语义柔性学习在可见光-红外行人重识别中的跨模态对齐研究

针对可见光-红外行人重识别（VI-ReID）中模态差异大的挑战，研究人员提出超图驱动的软语义柔性学习网络（HSFLNet），通过挖掘层次化软语义并利用超图神经网络（HGNN）探索高阶关系，显著提升了跨模态特征对齐能力。在SYSU-MM01等数据集上Rank-1达75.09%，为复杂场景下的跨模态检索提供了新思路。

　　

在智能安防和夜间监控领域，可见光-红外行人重识别（VI-ReID）技术面临的核心难题是如何弥合两种模态间的巨大差异。可见光图像（VIS）依赖环境光照，而红外图像（IR）通过热辐射成像，二者在纹理、颜色和细节表现上存在显著差异。传统方法要么依赖生成对抗网络（GAN）合成跨模态图像（易引入噪声），要么聚焦于学习手臂、腿部等硬语义特征（易受模态特异性干扰），导致跨模态对齐效果不佳。

大连理工大学的研究团队在《Engineering Applications of Artificial Intelligence》发表的研究中，创新性地提出超图驱动的软语义柔性学习网络（HSFLNet）。该网络通过挖掘层次化软语义（如局部纹理与整体外观的关联性），并利用超图神经网络（HGNN）建模高阶关系，实现了跨模态特征的柔性对齐。实验表明，HSFLNet在SYSU-MM01、RegDB和LLCM数据集上的Rank-1分别达到75.09%、95.82%和65.42%，显著优于现有方法。

关键技术方法
研究以两流ResNet-50为骨干网络，结合通道可交换增强策略（CAJ）预处理输入图像。核心模块包括：（1）软语义挖掘（SSM）模块，通过门控机制融合通道和空间维度的低阶与高阶语义；（2）超图驱动软语义学习（HSFL）模块，利用k近邻（kNN）构建超图结构，通过超图卷积捕获语义间的高阶关联。实验数据来自公开数据集SYSU-MM01（含491个ID的45,863张图像）、RegDB（412人）和LLCM。

研究结果

1. 软语义挖掘模块的有效性：SSM通过跨维度特征融合，将SYSU-MM01的Rank-1提升4.2%，证明层次化软语义能更好保留模态不变特征。
2. 超图结构的优势：HSFL模块通过多风格特征生成器构建动态超图，在RegDB上使模态差异减少37%，验证了高阶关系建模对跨模态对齐的促进作用。
3. 综合性能对比：在LLCM低光数据集上，HSFLNet的mAP达68.55%，较基线模型CM-Net提升9.3%，凸显其对复杂场景的适应性。

结论与意义
该研究突破了传统VI-ReID依赖硬语义或图像生成的局限，首次将超图理论引入跨模态特征学习。通过柔性挖掘软语义和高阶关系，HSFLNet不仅实现了更鲁棒的模态对齐，还为多模态生物识别、夜间自动驾驶等场景提供了技术参考。研究获国家自然科学基金（61976034）等支持，代码已开源。未来可进一步探索超图结构与动态语义挖掘的结合，以应对更复杂的跨模态场景。