声学信号与微波信号的多模态融合用于红棕象甲侵染的早期检测

《Scientific Reports》：Multi-modal fusion of acoustic and microwave signals for early detection of Red Palm Weevil infestation

　　

摘要

通过融合不同类型的传感器信号，可为早期检测棕榈树中的红棕榈象甲提供有效方案。在本研究中，我们设计了一种多模态检测系统，该系统结合了幼虫活动产生的声学信号与微波后向散射信号，用于识别棕榈树内是否存在红棕榈象甲。声学数据通过谱特征提取技术进行处理，而微波信号则通过频域特征提取来分析其中可能表明红棕榈象甲存在的异常变化。每种信号都分别使用轻量级且高效的深度学习模型进行特征提取和分类，这些模型包括基于注意力机制的融合分类器以及基于传感器信息的变换器。为提高决策的可靠性，还采用了基于自适应序贯卡尔曼滤波的后期融合方法，对各个分类器的输出结果进行整合。在真实数据集上的实验结果显示，该系统的准确率可达96.2%，相比单一模态系统，在灵敏度和稳定性方面都有显著提升。所提出的系统为棕榈植物的精准害虫监测及及时干预提供了一种非侵入式、可在实际环境中应用的解决方案。