《Internet of Things》:TinyHAR-UQ: Battery-Aware, Uncertainty-Controlled TinyML for Wearable Activity Recognition on IoT Edge Devices
编辑推荐:
TinyHAR-UQ是面向物联网边缘设备的微控制器就绪的人体活动识别框架,通过int8量化时空主干网络、多出口早退出机制、流式整数校准层和电池感知控制器,实现有限样本风险控制与能效优化,在四项基准测试中达到90-95%覆盖率,能耗降低20-30%,内存占用严格控制在KB级。
Ismail Lamaakal|Chaymae Yahyati|Yassine Maleh|Khalid El Makkaoui|Ibrahim Ouahbi
摩洛哥乌杰达穆罕默德总理大学纳达尔分校多学科学院,邮编60000
摘要
小型、电池供电的可穿戴设备越来越多地运行人类活动识别(HAR)模型,但它们很少知道何时信任预测结果,何时停止计算以节省能源。我们通过来解决这一难题,这是一个适用于微控制器的HAR处理流程,它可以将int8网络转换为具有风险意识和能源意识的预测器。我们的贡献有三个方面:首先,我们通过结合int8时间骨架、提前退出机制、狄利克雷(证据)头和流式仅整数 conformal 层,在设备上实现了符合用户选择的误覆盖水平的预测集;其次,我们设计了一个考虑预算的控制器,在测试时根据预测集大小和资源限制决定是提前退出、继续运行还是不进行任何操作;第三,我们提出了微温度个性化方案,这是一种零成本校准方法(每次退出两个标量,折叠到量化尺度/偏置中),可以恢复因量化而丢失的校准信息。在Cortex-M4F和ESP32-S3设备上部署并经过四个HAR基准测试后,TinyHAR-UQ 实现了接近90-95%的覆盖率,同时将中位数延迟和能耗分别降低了50%和20-30%,从而使得在现成的物联网边缘平台上能够可靠且高效地进行HAR识别。
引言
在日常的物联网(IoT)设备(如手表、手环、耳塞和手机)上进行的人类活动识别(HAR)必须平衡四个实际因素:电池寿命、用户体验(UX)、隐私和离线鲁棒性。如果模型在每个时间窗口都执行完整的前向计算,连续的惯性感测(50-100Hz)会占据大部分能源预算;然而,将计算任务转移到云端会引发隐私和连接问题,并且在间歇性无线连接下常常会违反延迟要求。因此,一个适用于IoT的HAR框架需要能够在简单时间窗口内消耗少量能源的“随时”计算能力、在困难或分布外(OOD)数据段中表现良好的“可靠”预测结果,以及能够在量化过程中保持校准效果的“设备上”校准机制。嵌入式环境还带来了额外的限制:内存必须严格受限以避免堆内存碎片化;推理必须与实时操作系统(RTOS)和无线通信栈(BLE/Wi-Fi)共存,同时不遗漏传感器中断或连接间隔;固件更新必须确保跨硬件版本和工具链的数值行为一致性。
先前的TinyML HAR系统通过使用紧凑的1D CNN[10]、[11]、[12]、[13]或因果时间卷积网络(TCNs)[14]、[15]、[16]、[17]、[18]来实现严格的内存和延迟目标,这些系统通常借助量化和剪枝技术[19]。这些设计强调高效的时间过滤(深度逐点卷积、因果扩张)、激活重用以及向int8内核(例如CMSIS-NN/TFLM)的导出[20]。然而,三个因素限制了微控制器(MCUs)上的可靠性:首先,云中流行的不确定性方法(如集合或蒙特卡洛dropout)会增加推理时间和内存消耗,使其在MCUs上不切实际[21];其次,事后用浮点数训练的校准在int8输出和BatchNorm折叠后往往会漂移,导致设备上的置信度错误和阈值不稳定性[22];第三,大多数部署依赖于固定的置信度阈值,这些阈值无法保证接受到的预测误差保持在目标范围内,并且当佩戴位置(手腕 vs. 口袋)、噪声或日常活动变化时无法适应。实际上,这些限制表现为过度自信的错误(较差的UX和潜在的安全问题)或在保守调整临时阈值时的过度避免/延迟[23]。
我们通过结合符合性预测的预测集 、提前退出 机制和电池感知控制器 来弥补这些不足,从而在物联网级别的MCUs上实现可靠和高效的行为。符合性预测集在用户指定的误覆盖水平(α )下提供有限样本风险控制 ,通过校准分位数将分数(例如概率或证据均值)转换为预测集。为了适应MCUs,我们维护了仅整数的滚动直方图,并使用恒定内存在线计算分位数,因此阈值可以跟踪漂移而无需浮点排序。提前退出机制[24]将时间特征转换为多个深度的证据输出;简单时间窗口倾向于在浅层退出时产生单一预测集,而模糊时间窗口则会扩大预测集或进行更深层次的推理,从而实现“随时”行为。控制器将这些统计信号与明确的预算(延迟、能耗、BLE共存性和RTOS定时)联系起来,以确保接受度、集合大小和停止深度符合设备限制。由于只存储了少量的必要统计数据(环形缓冲区中的分数和直方图区间),因此隐私得到了保护;除非在极少数情况下需要卸载紧凑的特征草图,否则原始传感器数据不会离开设备。
为了在部署过程中保持校准效果,我们结合了端到端量化的训练(QAT)[25](将训练时的数值与int8内核对齐)和部署后的微温度 更新(每次退出两个标量)。这些标量使用少量标记或高置信度窗口重新调整和对数概率,并将其折叠到量化尺度/偏置中,从而确保运行时成本为零,并且空中(OTA)更新是安全的[26]。这些组件共同构成了一个面向固件的流程,它将校准后的概率转换为风险控制的预测集 ,并通过预算化的提前停止将不确定性转化为实际的计算节省,所有这些都在严格的RAM/Flash限制范围内完成。
我们总结本文的贡献如下:
风险控制的TinyML HAR固件: 我们设计了一个int8 时间骨架,具有多个证据性提前退出机制和流式仅整数 conformal 层,将退出概率转换为具有有限样本覆盖保证的设备上预测集,所有这些都在额外几千字节的RAM范围内完成,并保护了设备上的隐私。
电池和延迟感知的提前退出控制: 我们引入了一种考虑预算的停止/继续/避免策略,该策略利用预测集大小和证据质量,以及预先测量的每次退出的能耗和延迟,来对电池消耗、尾部延迟、BLE连接间隔和RTOS定时施加明确的限制。同一固件提供了“节能”和“性能”模式,无需重新刷写。
抗量化的OTA安全校准和个性化: 我们将端到端QAT与微温度 更新(每次退出两个标量)相结合,该更新在部署后从少量窗口中学习得到,并折叠到量化尺度/偏置中,从而在int8输出和硬件/工具链变化后恢复设备上的校准,且零 运行时成本。
与部署对齐的评估和鲁棒性分析:
在Cortex-M4F(nRF52840)和ESP32-S3上,通过对UCI-HAR、WISDM、PAMAP2和MotionSense(按受试者分组)的测试,我们展示了TinyHAR-UQ实现了接近90/95%的覆盖率(| Γ |  ̄ ≈ 1.1
本文的其余部分组织如下:第2节回顾相关工作;第3节介绍所提出的方法论;第4节描述数据集、协议、设备和测量方法,并报告结果及鲁棒性和统计分析;第5节总结并展望未来工作。
相关工作
在微控制器上的HAR越来越倾向于采用时间架构,这种架构使计算与传感器采样同步,同时满足千字节级别的RAM限制和严格的延迟预算。深度可分离的1D CNN[11]、[12]、[13]、[27]和因果/扩张时间卷积[14]、[15]、[16]、[17]、[18]、[29]已被证明能够以最小的激活开销捕获短距离和中等距离的运动特征[30]、[31]、[32],尤其是在与流式缓冲区和操作符融合结合使用时。
方法论
本节介绍了,这是一个完全在微控制器上实现风险控制的TinyML流程。设计目标有两个方面:(i) 可靠性 ——设备必须明确表达不确定性并避免过度自信的错误;(ii) 消费者适应性 ——固件必须在内存、延迟和电池使用方面严格遵守限制,同时与其他系统任务(例如BLE)共存。图1概述了系统及其组件之间的信息流;算法1总结了这些内容。
评估
本节指定了用于评估的数据集、协议、硬件目标、测量方法、基线模型和指标。重点关注不确定性质量(覆盖率和集合大小)、端到端延迟、每次推理的能耗、滚动conformal层的鲁棒性,以及微温度个性化前后校准的稳定性。
结论和未来工作
本研究提出了,这是一个完全在设备上实现的流程,它在微控制器级别的严格能源、内存和延迟限制下实现了原则性的不确定性处理。通过将int8时间骨架与多出口证据头、流式仅整数 conformal 层和预算感知控制器相结合,该系统将校准后的概率转换为提供有限样本风险控制的预测集。
Ismail Lamaakal: 撰写——原始草稿、可视化、项目管理、方法论、调查、资金获取、正式分析、数据管理、概念化。
Chaymae Yahyati: 撰写——原始草稿、软件开发、资源管理、方法论、调查、数据管理、概念化。
Yassine Maleh: 撰写——审阅与编辑、可视化、验证、监督、项目管理、概念化。
Khalid El Makkaoui: 撰写——审阅与
作者声明没有已知的竞争财务利益或个人关系可能影响本文所述的工作。