基于T分布随机邻域对比图卷积网络的多模态情感EEG自适应融合方法

推荐：本文针对多模态融合中的表示学习、模态一致性保持和多样性互补等关键挑战，提出了一种新型T分布随机邻域对比图卷积网络(TSNGCN)。该模型通过自适应静态图学习模块构建无预定义距离度量的图结构，结合多模态对比融合模块最大化跨模态样本相似性，在多个基准数据集上验证了其优越性，为智能医疗诊断等领域提供了新思路。

　　

随着数据采集技术的快速发展，多模态数据已成为智能驾驶、遥感分析和医疗诊断等领域的核心研究对象。然而现有方法面临三大瓶颈：传统图卷积网络(GCN)依赖预定义图结构导致局部与全局信息捕获不足；跨模态一致性表示学习缺乏有效对比机制；静态距离度量易受噪声干扰影响嵌入质量。这些问题严重制约了多模态数据在情感脑电(EEG)分析等高精度需求场景的应用效果。

西安交通大学的研究团队在《Neurocomputing》发表的研究中，创新性地提出T分布随机邻域对比图卷积网络(TSNGCN)。该模型通过三个核心模块实现突破：自适应静态图学习模块采用无监督方式构建样本关系图；多模态表示学习模块利用t-SNE损失函数保留数据局部结构；对比融合模块通过正负样本对优化实现跨模态对齐。实验证明该方法在HSI-LiDAR等多模态数据集上分类准确率提升显著。

关键技术包括：基于t-SNE的图结构自适应构建算法、跨模态对比损失函数设计、以及结合残差连接的动态图更新机制。研究团队在三个标准多模态数据集上进行了系统验证，包括HSI高光谱与LiDAR激光雷达数据的融合分类任务。

静态自适应图学习模块
通过抛弃预定义高斯核函数，直接从未标记数据中学习图结构。该模块创新性地将t-SNE的分布匹配思想转化为图构建准则，使生成的图既能反映全局拓扑又能保留局部邻域关系。实验显示其构建的图结构在噪声环境下鲁棒性提升23.6%。

多模态表示学习模块
采用双分支GCN架构分别处理不同模态数据。通过引入T分布核函数计算节点相似度，有效解决了传统方法在高维空间距离度量失真的问题。消融实验证实该模块使特征判别性提高17.8%。

多模态对比融合模块
设计跨模态对比损失函数，强制同样本不同模态的嵌入向量在潜在空间对齐。特别之处在于引入动态温度系数调节正负样本对权重，使模型在保持模态特异性的同时增强共享特征提取能力。在遥感数据集上取得89.4%的跨模态检索准确率。

结论与展望
该研究突破了传统GCN对预定义图的依赖，首次将t-SNE与对比学习结合用于多模态融合。其自适应图构建方法可泛化至医疗影像-生理信号等多模态场景，为情感障碍的客观诊断提供了新工具。未来可探索模块在实时脑机接口系统中的轻量化应用。论文第一作者Xu Bo（西安交通大学控制工程博士生）的研究团队获得国家自然科学基金等支持，相关技术已申请发明专利。