《Machine Learning and Knowledge Extraction》：Vehicle Detection and Classification with Compact Sensor Technologies and Convolutional Neural Networks
编辑推荐：
无人值守地面传感器（UGS）是被动式系统，用于探测和分类附近的活动，例如军用车辆或人员的移动。然而，UGS在复杂环境中的性能受到限制。本研究探索了应用深度学习技术，利用在不同距离道路上采集的地震、声学和磁传感器数据，将车辆分类为“重型”或“轻型”。研究人员评估
无人值守地面传感器（UGS）是被动式系统，用于探测和分类附近的活动，例如军用车辆或人员的移动。然而，UGS在复杂环境中的性能受到限制。本研究探索了应用深度学习技术，利用在不同距离道路上采集的地震、声学和磁传感器数据，将车辆分类为“重型”或“轻型”。研究人员评估了两种方法：一种使用短时傅里叶变换（STFT）提取特征，另一种使用基于时间序列数据训练的卷积神经网络（CNN）。模型还在包含空间或时间变化的数据划分策略下进行了测试。通过比较利用所有传感器模态的模型与仅使用单一模态的模型，考察了数据融合的效果。研究人员应用层相关性传播（LRP）识别信息量丰富的模态和频率成分。结果表明，利用频率特征的模型优于基于时间序列的模型，最佳表现者之间的准确率差异为3%。与时间划分相比，仅采用空间数据划分观察到的准确率高6%，这暗示了对性能的高估，凸显了纳入时间上独立数据的必要性。基于STFT的融合模型取得了最高准确率。声学数据，尤其是低于100Hz的频率范围，最具相关性。总体而言，这些结果证明了将时间序列数据转换到频域的有效性，以及仔细进行数据划分对于可靠性能评估的重要性。未来的工作应探索其他更精细调整的神经网络。
研究背景与问题
无人值守地面传感器（UGS）作为被动式探测系统，广泛应用于军事车辆与人员活动的监测，并在交通模式分析和早期预警系统中发挥重要作用。然而，传统UGS受限于电池寿命短、易受环境噪声干扰等问题。尽管低尺寸、重量、功耗与成本（SWaP-C）设计缓解了部分约束，但在复杂环境中准确识别目标仍是一大挑战。现有研究大多依赖单模态输入（如仅使用声学、地震或磁信号），且传感器通常靠近道路部署，缺乏对多模态传感与深度学习有效结合方式的深入探索。此外，许多方法依赖于从短信号段提取静态特征并使用多层感知器进行分类，难以捕捉信号的时序依赖性。因此，有必要研究如何利用多模态传感器数据并结合深度学习技术，提升车辆分类的准确性和泛化能力。
研究方法概述
本研究利用2020年由美国国防威胁降低局（DTRA）资助的实验数据，采集了重型（500吨级移动起重机）和轻型（M923和M934军用卡车）两类车辆的声学、地震和磁信号。研究人员开发了一种基于地震信号幅值的触发算法模拟实时检测，并利用最接近时间（TCA）对车辆通过事件进行标注。预处理阶段，研究人员对原始信号进行了降采样（使用贝塞尔滤波器抗混叠，降采样因子为7，新采样率1219Hz）和短时傅里叶变换（STFT）特征提取（丢弃直流分量及609Hz以上频率成分）。数据划分采用了两种策略：空间划分（按传感器距道路距离分配训练、验证和测试集）和时间划分（按不同天数的车辆通过事件分离数据）。研究人员构建了多个卷积神经网络（CNN）模型，包括单模态模型和多模态融合模型（分别处理声学、地震、磁信号分支后拼接），并通过手动调整超参数防止过拟合。模型可解释性方面，研究人员应用了层相关性传播（LRP）技术分析频率特征的重要性。
研究结果
3.1 比较划分策略
通过空间划分策略，使用声学STFT特征的模型平衡准确率达到99%；而时间划分下最佳模型仅达93%，下降了约6%。这表明空间划分因同一车辆通过事件被不同传感器同时记录并分入训练和测试集，导致模型性能被高估，无法真实反映泛化能力。
3.2 比较预处理方法
在所有评估指标上，基于STFT特征提取的模型普遍优于直接基于原始时间序列的模型。时间划分下，融合三种模态的STFT模型取得最高平衡准确率93%，而最佳时间序列融合模型仅为90%。不过，时间序列网络在计算资源受限的场景下可能仍有优势。
3.3 个体模态与融合模型
融合模型性能优于单模态模型。STFT融合模型表现最佳，其次为声学和地震STFT模型。磁模态模型效果最差，近乎随机猜测。残差分析显示，模型对轻型车辆的错误更多，且错误在单个通过事件内呈时间聚集趋势，尤其出现在通过窗口的开始或结束阶段。轻型车辆的前向与反向通过表现出交替性错误模式（前向时错误集中在开始，反向时集中在结束），而重型车辆的方向影响不明显。车速对分类准确性无显著影响。
3.4 相关特征与模态
LRP分析表明，声学特征是决策过程中最重要的因素，特别是40-46Hz和64-70Hz的低频范围（低于100Hz）。地震通道贡献较小，磁通道几乎无关，这与磁模态模型性能差的结果一致。
总结与结论
本研究评估了利用地震、声学和磁传感器数据进行重型和轻型车辆二分类的深度学习方法。STFT特征提取始终优于从降采样时间序列学习特征表示的方法。数据划分策略的选择显著影响泛化能力评估，仅按空间位置划分会导致性能高估。多模态数据融合带来的增益有限，声学特征主导了决策，LRP确认其低频成分最为关键。研究结论如下：声学特征（尤其是低频范围）对车辆分类最为相关；基于STFT的预处理比时间序列特征学习更能提升模型性能；采用时间上独立的数据划分对于获得准确的泛化估计至关重要。未来工作应增加数据收集的环境多样性和传感器配置变化，优化传感器纵向间距以避免时间重叠，并针对各模态特性探索不同的预处理方法和更长的时间窗口，以更好地捕获磁信号等低频扩散成分的特征。
