《Advanced Intelligent Systems》：Co-Design of Stretchable Fabric Sensors and Tiny Machine Learning for Human Interface Device-Based Edge-Intelligent Wearable Gloves
编辑推荐：
可拉伸织物传感器因其简单的制造工艺和低成本，成为智能可穿戴设备的一种有前景的方案。然而，由于传感器、嵌入式平台与智能处理算法之间缺乏无缝集成，其实际应用 currently 受限。为解决该问题，本研究提出了一种协同设计方法，将可拉伸织物传感器、资源受限的嵌入式
可拉伸织物传感器因其简单的制造工艺和低成本，成为智能可穿戴设备的一种有前景的方案。然而，由于传感器、嵌入式平台与智能处理算法之间缺乏无缝集成，其实际应用 currently 受限。为解决该问题，本研究提出了一种协同设计方法，将可拉伸织物传感器、资源受限的嵌入式平台与轻量级机器学习（tinyML）模型相集成。该传感器采用石墨基导电墨水嵌入弹性织物制成，表现出稳定的性能，其灵敏系数（Gauge Factor, GF）≈218，机械耐久性高达3000次工作循环，同时保持了简单、低成本的制造工艺。多通道传感器信号直接在嵌入式设备上通过具有紧凑内存占用的tinyML模型处理，使其适用于资源极为有限的系统（<1 MB闪存）。当应用于基于移动电话的人机接口设备协议的无线手套控制器时，超轻量级卷积神经网络/随机森林（tinyCNN/RF）模型在设备端动作分类中实现了高达99.7/97.4%的准确率。实验结果表明，所提出的协同设计方法优化了系统性能，降低了组件级噪声的影响，并拓展了边缘人工智能集成智能可穿戴设备的应用潜力。
可穿戴设备正日益成为现代生活不可或缺的组成部分，在健康监测与护理、提升工作与学习绩效、保障安全与提供紧急援助、个性化人机交互以及推动数字化转型与创新等诸多领域发挥着关键作用。一个典型的可穿戴系统由紧密整合的硬件、软件和服务组件构成，形成从信号采集、数据处理分析到无线通信、用户界面和终端用户的完整处理链。其中，传感器作为物理世界与数字系统之间的直接桥梁，决定着整个可穿戴应用的质量与可靠性。近年来，柔性可拉伸传感器因其采用柔软、灵活且高弹性的材料而备受关注。导电复合材料、石墨基导电结构以及柔性电子材料等方面的最新进展进一步提升了可穿戴电子系统的机械鲁棒性、导电性和可扩展性。多种导电材料策略，包括高浓度导电墨水、石墨基复合薄膜以及半导电聚合物复合材料，已被探索用于增强下一代柔性电子设备的性能和可制造性。这类软传感器能够紧密贴合皮肤、具有良好的生物相容性且适合长时间舒适佩戴，因而特别适用于连续、非侵入式监测应用场景，在电子皮肤、智能纺织品以及人机或人机器人交互等领域得到广泛研究。
尽管具备诸多优势，将可拉伸软传感器应用于实际可穿戴系统仍面临挑战。先前研究表明，多次拉伸循环后性能退化、用户运动引起的信号干扰等问题突出。此外，低成本大规模生产仍然困难，标准化数据校准流程也尚未完全建立。为解决这些问题，当前大多数研究采取分离式思路：部分研究聚焦于改善传感器材料和结构，另一些则主要集中于信号处理算法以降低干扰。此外，当将软传感器集成到可穿戴设备的资源受限嵌入式平台时，计算能力、内存、能耗和通信带宽等方面的挑战更加凸显。许多现有系统仍将原始传感器数据传输至智能手机或云端服务器进行处理，这导致高功耗、显著延迟以及个人隐私数据泄露风险。因此，对设备端智能解决方案的需求日益迫切，传感器设计与处理算法需要同步、整体地加以考虑。
基于上述局限性与研究空白，研究人员提出了一种协同设计方法，将柔性可拉伸传感器的制造与部署于可穿戴设备上的超轻量级机器学习算法相集成。具体而言，通过将弹性织物嵌入石墨基导电墨水制造出纺织状可拉伸传感器，使传感器在反复形变循环下保持高柔韧性和耐久性。基于传感器特性，针对资源受限的嵌入式平台专门设计并优化机器学习模型，从而实现设备端直接推理。传感器数据在本地存储和处理，仅将推理结果无线传输至外部设备，显著降低了带宽成本、功耗和数据安全风险。该研究通过实际可穿戴应用进行评估，即基于人机接口设备（Human Interface Device, HID）协议对动作进行分类以控制手机音乐播放。实验结果表明，超轻量级卷积神经网络/随机森林（tinyCNN/RF）模型在动作分类中实现了高达99%的准确率，同时确保模型在紧凑嵌入式平台上高效运行。可穿戴设备与手机之间的无线通信系统保持了灵活性和用户便利性。这些结果表明，所提出的方法为未来创新型可穿戴系统，特别是涉及人机交互和自然高效设备控制的应用，提供了一种有前景的途径。
为开展该研究，研究人员采用了以下关键技术方法：传感器材料方面，选用商业化编织弹性带（80%聚酯、20%橡胶，厚度约1.5 mm，宽度约10 mm，四向可拉伸）作为基底，石墨粉与商业丙烯酸基聚合物黏合剂体系（含丁酸丁酯作为挥发性有机溶剂，比例约1:3，对应约25 wt%石墨固含量）配制导电墨水，经5分钟超声处理后浸入弹性织物，压制确保导电层附着，120°C干燥10分钟去除多余水分，两端用导电缝线直接连接处理板；信号采集与处理平台选用ESP32S3系统级芯片（System-on-Chip, SoC），集成Wi-Fi和蓝牙低功耗通信模块；机器学习模型方面，实现了随机森林（Random Forest, RF）和一维卷积神经网络（One-Dimensional Convolutional Neural Network, 1D-CNN）两种tinyML模型，数据集包含3名健康男性参与者（年龄25、36、50岁）在相同实验协议下采集的1571个样本，涵盖7种手指收缩动作，每种动作持续1.5秒，采样频率100 Hz，训练集与测试集按独立记录会话分离（75%/25%）；模型部署前进行量化和剪枝优化，通过蓝牙HID协议实现与移动设备的无线交互控制。
传感器特性表征结果显示，织物传感器尺寸为10 mm（宽）× 30 mm（长）× 1.25 mm（厚），纤维直径约10 μm，交织结构提供多向弹性。石墨导电阵列不均匀分布于表面及纤维束之间，形成低初始电阻的导电网络；受拉时石墨阵列碎裂分离，导电网络被破坏，电阻增大；张力移除后织物弹性使石墨碎屑重新聚合，电阻恢复原始值。电阻-伸长关系表明，传感器最大工作范围为25%张力，GF值在0%–7%范围达≈218，7%–15%范围降至112，超过15%时约80。磁滞特性显示拉伸与释放阶段信号差异小，表明良好的传感器稳定性。通过优化石墨墨水比例，25%石墨配比在应变灵敏度与适中磁滞间取得平衡，被选用于集成手套系统。传感器响应/恢复时间约100/60 ms，这得益于纤维束的弹性编织结构。不同触发频率（0.25、0.5、1 Hz）下电阻变化一致。环境温度（25、30、35°C）对整体性能影响不显著，但环境湿度增至60%时传感器趋向灵敏度下降，可能因高湿条件下导电区域间形成水层削弱网络完整性。耐久性测试表明，3000次拉伸-释放循环后信号保持稳定，无信号漂移，灵敏度持续，展现了高耐久性。
集成手套系统与tinyML部分，研究人员将传感器两端用导电缝线固定于手套手指部位，另一端缝至电路板引脚，减少传统金属线等硬件组件使用，最大化佩戴舒适性并确保信号传输。系统采用电压分压电路采集信号，经平均滤波器降噪和平滑初始信号，使用12位模数转换器将电阻变化转换为数字值。三个传感器配备手指为拇指、食指和中指，对应三个可用信号通道。滤波信号被分割为滑动窗口，作为CNN模型输入或用于RF模型特征提取。RF模型提取每通道8个统计特征（均值、标准差、最小值、最大值、中位数、绝对差之和、平均绝对差、均方根），共24维特征输入。特征重要性分析表明，拇指和中指相关特征（尤其是均方根、均值和中位数特征）重要性最高，而中指/食指的最大值或最小值特征重要性较低。1D-CNN模型直接处理原始数据，卷积层沿时间轴应用滑动 filter 同时提取三个传感器信息，学习拉伸幅度、变化速率及信号通道间同相/反相关系，池化层降低序列长度、保留显著特征并减少传感器噪声，最后经全连接层和Softmax函数分类。模型参数设置为：输入形状（150, 3），卷积核数量[32, 64, 128]，卷积核尺寸[3, 5, 7]，最大池化尺寸2，Dropout率0.4，采用全局平均池化，7分类Softmax输出，Adam优化器，批量大小32，训练20轮。混淆矩阵和准确率/损失曲线显示，RF模型准确率达97.46%，存在局部误分类（如Mo.2误分类为Mo.1占7.4%、Mo.3占3.7%，Mo.3误分类为Mo.1和Mo.2约5%）；1D-CNN模型准确率99.75%，仅在Mo.2类有单个错误（1.9%），其余各类精确率和召回率均达100%。1D-CNN训练准确率从约82%快速升至2–3轮内超过98%，测试准确率7轮后稳定在约99%–100%，训练与测试损失急剧下降并收敛至近零，过拟合可忽略。硬件资源方面，RF使用Flash内存499 kB、动态随机存取存储器（Dynamic Random-Access Memory, DRAM）23 kB，但C++源代码大小达565 kB；1D-CNN使用697 kB Flash和44 kB DRAM，C++源代码仅63 kB。RF推理时间仅0.2388 ms，但特征提取需35.7 ms；1D-CNN推理需5.9087 ms，但无需单独特征提取阶段。总体权衡后，1D-CNN在ESP32S3上实现了准确率、内存资源和可扩展性的良好平衡。
在基于HID的边缘设备嵌入式手势控制应用中，系统将ESP32S3板模拟为蓝牙媒体控制器，通过HID协议与手机通信，无需单独驱动。七种命令设置各对应一种手指动作组合，包括播放/暂停、停止、下一曲、上一曲、音量加、音量减、静音。实际部署1D-CNN进行运动组合分类，手套集成迷你有机发光二极管（Organic Light-Emitting Diode, OLED）屏幕显示模型准确率和推理时间。系统采用滑动窗口策略连续采集传感器信号，每推理窗口含100 Hz采样频率下150个样本（对应1.5秒感知窗口）。后窗口处理延迟约31 ms，包括预处理、CNN推理和蓝牙低功耗（Bluetooth Low Energy, BLE）-HID命令传输，其中设备端推理/界面处理时间约28 ms，BLE-HID命令传输约3 ms；整体响应时间还需加上1.5秒信号采集窗口，总计约1.53秒。当前实现优先保证分类鲁棒性和信号稳定性，虽长于快速交互人机接口系统通常的亚秒级延迟目标（约300–400 ms），但对于资源受限嵌入式平台上的可拉伸纺织物传感器信号而言，该方案优先确保了信号稳定性和分类鲁棒性。
与同类应变传感器可穿戴应用研究相比，该传感器在GF值和响应时间方面具有显著优势，且鲜有研究在资源受限嵌入式板上实现机器学习模型部署，通过HID机制利用应变传感器和机器学习控制移动设备的报道更为罕见。该系统详细阐述了使用HID的机制和方法，无需在计算机/手机上安装任何额外软件/应用程序即可实现设备控制。
研究结论部分指出，本研究提出并验证了一种与可拉伸织物传感器及直接部署于ESP32S3嵌入式平台上的超轻量级机器学习模型协同设计的智能可穿戴系统。石墨浸渍弹性织物制成的可拉伸织物传感器表现出高灵敏度（GF≈218）、快速响应/恢复时间（100/60 ms）以及数千次拉伸-释放循环后稳定的机电性能，同时保持了简单、低成本和可扩展的制造工艺。在集成手套硬件平台上，三个手指安装传感器的信号被采集形成稳定运动数据集，包含1571个样本、涵盖7种手势，每通道150个时间步长。随机森林和1D-CNN两种tinyML模型在严格硬件限制（<1 MB Flash和<50 KB RAM）内成功训练和部署。实验结果表明，量化后的1D-CNN通过消除特征提取阶段，实现了优异的分类准确率（99.7%）和窗口采集后更低的后窗口处理延迟（31 ms），而RF以额外时间（约35.7 ms）为代价提供了更好的可解释性。这些结果阐明了基于tinyML的可穿戴系统中准确率、内存使用和总响应时间之间的权衡。通过利用HID协议，所提系统实现了与消费设备的无缝即插即用交互，无需外部应用程序或云连接。基于蓝牙HID的移动控制应用展示了实际的设备端操作。这些结果凸显了该系统在人机交互和柔性应用方面的巨大潜力。未来工作将调查更大和更多样化的参与者群体，以进一步评估所提可穿戴系统的用户间差异性和长期鲁棒性。
