基于双核微控制器的多模态场景识别中的并行特征融合

《IEEE Pervasive Computing》：Parallel Feature Fusion for Multimodal Scene Recognition on Dual-Core MCUs

多模态AI在资源受限设备上的实现研究，提出双核微控制器并行处理视觉和音频数据的方法，通过特征融合提升场景识别准确率至93%，较单模态方法提高12.27%，内存占用仅258KB，延迟降低48ms，为边缘计算提供隐私保护的多模态解决方案。

　　

摘要：

多模态感知为普适计算应用提供了更强大的环境理解能力，但在资源受限的设备上实现复杂的传感器融合仍然具有挑战性。我们提出了一种新颖的方法，该方法利用双核微控制器来并行处理视觉和音频数据以进行场景识别。我们的系统在不同的核心上同时执行专门的神经网络，并高效地融合它们的中间特征，在九种不同环境中实现了93%的分类准确率。这比单一模态方法提高了12.27%，同时与顺序处理相比延迟减少了48毫秒。整个系统仅占用258 KB的内存，证明了即使在资源高度受限的设备上也能实现复杂的多模态人工智能。通过无需云连接即可实现复杂的环境理解，这项工作为未来各种应用推进了隐私保护的边缘智能。

边缘计算为小型电池供电设备带来了潜力，这些设备可以像人类一样同时感知和理解其周围环境。虽然基于云的AI系统长期以来能够处理多种类型的传感器数据，但将这种能力引入到小型、功耗受限的设备中为普适计算开辟了令人兴奋的新可能性。嵌入式人工智能的最新进展使得可以直接在微控制器和其他资源受限的边缘设备上运行深度学习模型。然而，由于云之外的内存、计算能力和电力有限，复杂的多模态、多模型分类任务仍然存在挑战。