基于压缩 - 激励的多头网络用于重建基于惯性测量单元的数字笔的手写轨迹

《Pattern Recognition Letters》：A Multi-Head Network based on Squeeze-and-Excitation for Reconstructing the Handwriting Trajectory of an IMU-based Digital Pen

　　- 使用IMU数字笔在任意表面上进行数字手写笔迹重建。- 针对纸张和平板上的书写进行跨域学习，使用单一模型实现。- 基于多头和时序卷积网络（TCN）并融合压缩-激发（SE）机制的神经网络。- 通过神经网络优化压缩模型并将其嵌入笔身。- 通过分配硬件/软件复杂性，实现高效且快速的执行。## 引言纸上书写与数字设备上的书写在很大程度上共存，但缺乏显著的重叠，用户需要在纸上书写和使用数字笔配合平板之间做出选择。两者各有优势：数字书写便于存储、分享和提供反馈的互动学习，而纸张则提供了便捷性和易得性。此外，多项研究表明，与打字相比，手写对于儿童的学习和知识获取具有显著优势 [1]、[2]。数字笔和智能软件的进步提供了弥合这两个世界之间鸿沟的机会，从而发挥各自的优势。在本文中，我们提出了一套完整的硬件-软件系统，用于在各种表面上进行手写的数字重建。我们的方案依赖于Stabilo数字笔Digipen，通过集成IMU传感器来捕获笔的运动轨迹。在此，我们专注于设计一种原始神经网络，以处理来自不同表面的手写数据，无论表面特有的差异如何。我们的主要贡献如下：1）一种跨域学习方法，使用数字笔在任意表面（纸张或平板）上书写并获取数字笔迹；2）一种基于压缩-激发（SE）和时序卷积网络（TCN）的新型多头神经网络架构，称为DualSE-TCN，用于从惯性传感器重建手写笔迹；3）神经网络优化以压缩网络并将其嵌入笔身。通过在硬件和软件之间分配系统复杂性，我们的方案旨在实现高效且快速的执行。## 各章节摘要### 数字笔与轨迹跟踪数字笔被日益开发，根据能力不同提供多种用途，如笔记记录、手写学习或绘画等。最初，电子触控笔通过与平板电脑一起销售而广泛普及。这些专有触控笔依赖数字墨水技术，并与平板一起分发，但不同品牌之间缺乏兼容性。另一方面，一些数字笔，如Anoto笔 [3]，集成了光学传感器，可在特定纸张上书写。### 基于IMU传感器的手写笔迹重建多头神经网络尽管存在上述挑战，当前最先进的方法在Digipen受约束的场景下展现出令人满意的手写轨迹重建效果。然而，其他使用场景，如在纸张上书写，由于前述困难，重建效果不够理想。由于表面特性和摩擦差异，手写是在纸张上还是平板屏幕上捕获的，输入信号会有显著不同。纸张通常提供…### 硬件感知的神经网络压缩我们的DualSE-TCN架构包含3,063,684个可训练参数，需要至少2.92 MB的ROM以浮点精度存储权重。此外，笔硬件必须能够在原始采样率400 Hz下执行DualSE-TCN的推理。典型的TinyML硬件平台，如适合集成到Digipen中的MCU和μNPU，其非易失性存储和动态内存预算分别约为1 MB和320 KB [11]、[12]、[13]、[14]。### 数据集描述实验数据集涵盖两种不同的采集表面。数据采集依赖于一支自制的数字化数字笔，其中机械集成了Wacom EMR触控笔。该笔内置IMU，结合了三轴加速度计、陀螺仪和力传感器。每次书写过程中，笔-平板系统同时捕获两路互补的数据流：首先是嵌入式IMU提供的惯性信号（三轴加速度、角速度和…）。### 局限性基于IMU的重建在处理复杂的3D抬笔运动和长手写序列时存在困难。虽然我们的方法对于短序列（如单个字符）有效，但长序列会遭受空间错位问题。这主要是由于传感器漂移引起的——微小的偏差积累以及抬笔运动期间的不准确重新定位所致，这需要先进的漂移校正解决方案。事实上，处理抬笔运动仍是一个开放性挑战，本文并未涉及。最后…### 结论本工作提出了一种从IMU信号重建任意表面上手写的硬件-软件系统。我们提出了DualSE-TCN，一种双头神经网络，克服了平板和纸张之间因摩擦引起的域偏移，性能优于当前最先进的方法。此外，我们应用基于NAS的硬件压缩技术，在笔的嵌入式内存约束下适应，同时不牺牲竞争性的质量。最终，这项工作通过实现轨迹重建，弥合了物理书写与数字书写之间的鸿沟。### CRediT作者贡献声明**Florent Imbert：** 撰写——审阅与编辑，撰写——初稿，软件，方法论，概念构思。**Yann Soullard：** 撰写——审阅与编辑，撰写——初稿，监督，方法论，概念构思。**Eric Anquetil：** 撰写——审阅与编辑，监督，方法论，概念构思。**Alexey Serdyuk：** 撰写——初稿，软件，方法论，调查研究，概念构思。**Tanja Harbaum：** 撰写——审阅与编辑，验证，监督，方法论。## 利益冲突声明作者声明以下可能与潜在利益冲突相关的财务利益/个人关系：Florent Imbert声明由法国国家研究署提供支持。Alexey Serdyuk声明由联邦教育和研究部波恩办事处提供支持。作者参与了由德国联邦教育和研究部（BMBF，资助编号01IS21097A(KIHT)）和法国ANR资助的德法双边项目（KIHT）的一部分。## 致谢本工作由BMBF（资助编号01IS21097A(KIHT)）和ANR（资助编号ANR-21-FAI2-0007-01）资助的德法KIHT项目提供资金。Florent Imbert | Yann Soullard | Eric Anquetil | Alexey Serdyuk | Tanja Harbaum