关于跨领域多模态特征融合方法在地动目标识别中应用的的研究

《Scientific Reports》：Research on cross-domain multimodal feature fusion method for ground moving target recognition

　　

摘要

无人值守系统中的目标识别在保护关键区域方面发挥着重要作用。目前大多数基于声学和地震信号融合的研究仅对感应信号进行单一模态分析，这导致了特征提取的单一性和片面性，严重影响了分类和识别的准确性。本文构建了一个专门用于收集地震和声学信号的无人值守系统（UGS），并提出了一种跨域多模态特征融合网络架构。首先，根据声学信号和振动信号的不同感知特性，分别通过MEL频谱分析和连续小波变换获取时间-频率图数据，从而通过时间-频率转换丰富感应信号的信息表达。其次，将时间序列输入长短期记忆网络（Long Short-Term Memory）以提取时域特征，将时间-频率图输入VGG-19网络以提取深度图像特征。通过这种方式，可以提取丰富的特征信息，并缓解多模态数据特征之间的差异。该网络在自建的声学-地震数据集上的准确率达到了98.17%。与单一模态网络相比，多模态融合网络的性能显著提高。