VT-SGN：一种用于神经形态视觉-触觉融合的脉冲图神经网络

《IEEE Transactions on Haptics》：VT-SGN:Spiking Graph Neural Network for Neuromorphic Visual-Tactile Fusion

针对神经形态视觉-触觉感知中网络表示不足和跨模态融合不足的问题，提出VT-SGN双网络框架，通过时空扩展构建触觉图结构，将视觉转为图结构同步训练，利用脉冲神经网络的时间扩展特性进行反向传播，有效利用空间差异提升神经形态表示能力，同时保持脉冲网络的生物动态机制，解决形态差异并利用视觉触觉互补数据。

　　

摘要：

当前神经形态视觉-触觉感知面临的问题包括训练网络表示能力有限以及跨模态融合效果不佳。为了解决这两个问题，我们提出了一种名为“视觉-触觉脉冲图神经网络”（VT-SGN）的双重网络模型，该模型结合了图神经网络和脉冲神经网络，以共同利用神经形态的视觉和触觉数据。首先，对神经形态的视觉-触觉数据进行时空扩展，在空间域中构建基于网格的触觉图谱，从而充分利用触觉信息的不规则空间结构特性。随后，我们提出了一种将图像转换为图结构的方法，使视觉信息能够与图神经网络一起进行训练，并从视觉数据中提取图级特征以与触觉数据融合。最后，利用脉冲神经网络将数据扩展到时间域，对模型进行训练并实现反向传播。该框架有效利用了样本在空间维度上的结构差异，提升了脉冲神经元的表征能力，同时保持了脉冲神经网络的生物动力学特性。此外，它还有效解决了两种感知方式之间的形态差异，并进一步利用了视觉和触觉数据之间的互补性。为了验证我们的方法能够改善神经形态感知信息的学习效果，我们在三个数据集上进行了全面的对比实验，将VT-SGN框架与现有技术进行了对比分析。