基于硬件感知设计的轻量级深度循环神经网络在嵌入式设备上实现多元事件驱动时间序列实时识别的实用研究

《Engineering Applications of Artificial Intelligence》：Real-time recognition of multivariate event-based time series on embedded devices using recurrent neural networks: A practical study

　　

在嵌入式设备上实现实时时间序列识别仍具挑战性，其限制既来自有限的计算资源与内存容量，也来自随机触发、事件驱动且时长可变的传感应用所带来的运行约束。多数深度学习方案依赖离线处理、完整序列推断及既定部署框架，与之相对，硬件感知设计结合循环架构可将推断分布到时间序列演化过程中，从而提供更适合时间敏感应用的低延迟方案。研究人员将带门控单元的循环神经网络与面向微控制器（Microcontroller，MCU）的处理相结合，直接在嵌入式硬件上实现多元、事件驱动的分类。一方面提出外设驱动的数据获取、预处理与采样率自适应方法，包含针对不完整时间序列的实时动态线性化与归一化策略；另一方面为各输入特性定制轻量深度循环架构，并扩展为多目标输出。此外，专用多标签数据集与自动化聚类标注方法支撑了共享目标的事件驱动训练策略，保障设备上推断稳定与内存高效。该方法在不同架构配置下评估，确定了计算成本与分类精度的优化权衡。设备端实现表明，使用MCU浮点单元（Floating-Point Unit，FPU）的32位浮点推断免除了额外压缩，同时保留最优模型性能的99%。优化内核宏F1分数（各类精确率与召回率调和平均的均值）达0.840，真实应用条件下的实时验证确认其鲁棒运行，宏F1分数为0.898。

研究背景方面，智能传感设备借助人工智能（Artificial Intelligence，AI）模型将原始传感器数据转化为可操作信息，但片上推断受限于微控制器（MCU）级设备的随机存取存储器（Random-Access Memory，RAM）与闪存（Flash）容量，以及单核通用处理器低频无并行加速的算力瓶颈。现有文献多假设完整或定长序列的缓冲处理、离线预处理及依托中央处理器（Central Processing Unit，CPU）/图形处理器（Graphics Processing Unit，GPU）视角设计的模型，难以适配随机触发、时长未知、采集与推断并行且严格延迟窗的事件驱动场景。为此，研究人员自ARM Cortex-M4级MCU及其外设能力出发，围绕警用枪械监控这一实例（压电振动传感器与光电传感器双源同步），开展领域驱动的设备端时间序列分类研究，论文发表于《Engineering Applications of Artificial Intelligence》。

关键技术方法上，研究人员构建878组实验时序（验证集100组、训练集778组，由人工类别标注加自动振动簇事件标注构成），以比较器硬件触发、模数转换器（Analog-to-Digital Converter，ADC）结合直接内存访问（Direct Memory Access，DMA）双缓冲（每缓冲32样本/传感器、0.0493 ms采样、3.1573 ms满缓冲）实现外设卸载采集；预处理阶段对光信号32倍抽取平均、振动信号线性映至[0,1]、光信号经查找表（Look-Up Table，LUT）线性化与偏移校正映至[?1,1]完成实时动态归一化；模型采用感知机提取振动特征、门控循环单元（Gated Recurrent Unit，GRU）/极小门控循环单元（Minimal GRU，MGRU）/朴素循环神经网络（Vanilla RNN，VRNN）堆叠隐藏态，并分叉出事件类（5类）与类别类（3类）双目标softmax输出，光特征以残差拼接抑制深处遗忘，训练用物理感知伪随机批处理与截断随时间反向传播（Truncated Backpropagation Through Time，Truncated BPTT），设备端以float32加FPU查表法实现裸机推断。

研究结果部分，第2节背景与动机指出卷积神经网络（Convolutional Neural Network，CNN）与Transformer需完整序列、无跨步隐态记忆，窗口须覆盖最大事件长度，故在变长随机事件下响应差；RNN隐态跨步保留，允许非重叠滑动窗与事件内多次推断，VRNN存在梯度消失/爆炸，GRU以重置门r_t与更新门z_t缓解，MGRU删重置门仅留更新门，计算量由8次矩阵-向量乘降至6次。第3节方法论中，3.1时序与采集明确双传感器49.3 ns硬同步与过采样抑噪；3.2预处理与自校准给出振动[0,4095]→[0,1]、光信号LUT线性化至0~16发位再加首样本偏移映至[?1,1]，并设计装弹时自动重标定LUT斜率截距；3.3数据集标注以振动阈割簇、簇间标静默、射击单簇、重装多簇按能量分前后滑、空操全标无关，形成每32样本窗事件标+整条类别标的多标签集；3.4深度循环神经网络（Deep Recurrent Neural Network，DRNN）结构为[P,[R₁…R_n],R_c]记法，事件支每步算损失、类别支末步算损失，学习链路（learning link）可软开关使类别误差回灌事件支；3.5训练用Adagrad、Xavier/Glorot与He初始化、L2与zoneout正则，动态截断BPTT在每条时序边界清梯度；3.6集成以STM32WB55的FPU单周期浮点、CMSIS式float32 LUT实现非线性，结论性事件后由类别输出清隐态与光偏移，以宏F1（macro F1-score）为不平衡评价准则。第4节评估中，4.1内核评估显示GRU与MGRU事件/类别性能接近、MGRU需更多轮次，VRNN事件类明显落后；学习链路常开助GRU/MGRU、每10步开助VRNN。4.2结构评估表明FLOPs过2·10⁴~4·10⁴后F1饱和于0.80~0.85，MGRU单层48隐元获0.848最优，加深三层反降效，GRU两层略优于一层。4.3实现评估在NUCLEO-WB55RG上测得以FPU开启动推断：GRU结构[24,[32,32],16]耗时2.67 ms/0.32 kB RAM/68.41 kB Flash、事件F1 0.8198；MGRU[32,[48],24]耗时2.25 ms/0.25 kB RAM/57.86 kB Flash、事件F1 0.8395；VRNN[48,[64],32]耗时2.20 ms/0.38 kB RAM/63.25 kB Flash、事件F1 0.8115；关FPU耗时增至20 ms级，证实FPU是实时float32前提。4.3.2输出动力学显示射击类GRU近乎瞬时判定、MGRU约6.4 ms、VRNN约25.2 ms稳定；重装类MGRU无振荡、VRNN在向后滑段乱跳；无关事件MGRU 9.6 ms稳判，GRU/VRNN初误判射击后修正。4.4真实场景483个事件混淆矩阵得射击F1 0.9804、前滑（重装）0.9375、后滑0.8506、无关0.8220，宏F1 0.8976，优于验证集，因实测操规更确定。4.5能耗指明MCU推断净耗1.52 mA（2.74 mW），整器含红外发光二极管（Light-Emitting Diode，LED）达115.8 mA，推断占整器功耗0.64%，单次事件均耗30.4 mJ。第4.6讨论认为VRNN无门控过度依赖时间位置致误判前滑，MGRU删重置门但借事件结束逻辑代偿清隐态，故宽单层优于深叠，短随机事件（后滑/无关）首窗易误判但长序列（射击/重装）临界事件精度最高，早期收敛使光信号残余振荡不影响结局。

结论部分翻译：为实时设备端时间序列识别寻找合适分类途径是一项综合任务，需融合时序分析原理与目标系统运行约束及硬件机遇。该研究基于硬件事件触发采集，利用MCU外设与交互动态实现实时动态归一化与带宽优化的预处理；硬件同步催生无需卷积的轻量DRNN。多目标标注训练使模型借自身输出控隐态，GRU/MGRU/VRNN对比表明float32加FPU直跑设备端仅损微许精度，MGRU验证集F1 0.8395最优，证更新门足矣、重置门非必，真实条件F1 0.8976确认可行；实测新数据将用于微调MGRU。