《Sensors》：Sensor-Modality-Aware Human Activity Recognition with the Convolutional Tsetlin Machine: Interpretable and Resource-Efficient Neuro-Symbolic Learning
编辑推荐：
基于智能手机和可穿戴传感器数据的人类活动识别(Human Activity Recognition, HAR)通常采用统计学习方法和深度神经网络来解决，这些方法虽常提供较强的预测性能，但以可解释性有限以及计算和能耗需求大为代价。此类局限性降低了其在模型决策必须
基于智能手机和可穿戴传感器数据的人类活动识别(Human Activity Recognition, HAR)通常采用统计学习方法和深度神经网络来解决，这些方法虽常提供较强的预测性能，但以可解释性有限以及计算和能耗需求大为代价。此类局限性降低了其在模型决策必须透明、可验证且需在资源受限设备上执行的实用传感环境中的适用性。在此研究中，研究人员基于UCI-HAR数据集原始的惯性信号(9 × 128)而非其预计算的561特征表示，探究了卷积Tsetlin机(Convolutional Tsetlin Machine, CTM)在多模态HAR中的应用。Tsetlin机是一种新颖的神经符号机器学习方法，相较于许多传统机器学习方法具有两个重要优势：(i) 它学习基于逻辑的决策规则，支持人工检查并为分析模型决策提供透明基础；(ii) 它以相对较低的计算复杂度运行，使其非常适合于高效且低功耗的端侧学习。本研究通过将惯性信号空间根据传感器来源（加速度计和陀螺仪）、信号组（陀螺仪角速度、身体加速度和总加速度包括重力）以及坐标轴(x, y, z)分解为语义定义的子集，系统分析了不同特征模态的贡献。为每个模态及其组合训练了单独的CTM分类器，以确定每组模态相对于活动分类的判别价值。除预测性能外，该研究强调CTM模型的可解释性，其通过将每个决策表达为命题子句来确保，从而能够可视化和直接检查支持每个活动类别的模态特定模式。由于其符号结构和适中的计算需求，CTM为设计可解释、资源高效且可部署的HAR系统提供了一个有原则的框架。因此，所提出的工作通过共同解决预测性能、可解释性以及对嵌入式和移动平台的适用性，为可信的多模态传感做出了贡献。
研究背景方面，人类活动识别(Human Activity Recognition, HAR)在移动健康、运动分析、辅助生活和情境感知人机交互中成为核心任务，基于惯性传感器如加速度计、陀螺仪等的穿戴式HAR系统能从身体运动数据流推断活动类型。现有机器学习方法中，早期依赖手工统计和频域特征加经典分类器，近期转向深度学习直接从原始信号学习判别表示，如卷积神经网络(Convolutional Neural Networks, CNNs)、长短期记忆网络(Long Short-Term Memory networks, LSTMs)等，虽提升了准确率但在穿戴式和边缘环境部署存在局限：一是多数深度HAR模型离线训练后作为固定分类器部署，难以适应特定用户特性导致个体持续部署性能下降；二是端侧学习对深度模型困难，持续HAR面临概念漂移等障碍；三是常使用多传感器模态和信号通道而未充分量化其对分类性能的个体贡献，冗余通道增加成本。因此研究人员开展本研究，探究卷积Tsetlin机(Convolutional Tsetlin Machine, CTM)作为从原始加速度计和陀螺仪信号进行HAR的可解释且资源高效的方法，其具逻辑表示、非梯度下降基于自动机的学習、低计算足迹、支持廉价连续端侧适应及学习子句逻辑规则固有可解释的优势，旨在超越仅准确率的HAR评估，研究同时准确、可解释、模态感知且适合资源受限部署和基于内存占用与计算特性的端侧学习的模型，贡献于设计更符合个性化、可解释和资源高效端侧智能要求的HAR系统。
关键技术方法方面，研究人员选用UCI-HAR数据集，含30名志愿者6类活动原始加速度和陀螺仪信号（9通道×128样本窗口），采用既定受试者独立训练测试划分。核心模型为卷积Tsetlin机(Convolutional Tsetlin Machine, CTM)，属Tsetlin机(Tsetlin Machine, TM)扩展，基于Tsetlin自动机(Tsetlin Automata, TA)集体行为与命题逻辑子句（合取子句）推理，输入需布尔化(Booleanization)处理，采用分位数阈值与温度计编码(thermometer encoding)将连续惯性信号转为布尔特征及否定字面量，CTM以类卷积方式在输入滑动补丁(patch)上应用子句作为模式检测器。超参数优化采用两阶段网格搜索确定每类子句数C、投票阈值T、学习敏感度s、补丁长度P及布尔化阈值数B，模型用pyTsetlinMachineParallel包的MultiClassConvolutionalTsetlinMachine2D实现，通过系统分解惯性信号空间为传感器来源、信号组、坐标轴子集并训练各模态（加速度计、陀螺仪、身体/总加速度等）单独CTM分类器分析模态贡献，结合子句可视化与聚合类模板分析可解释性与活动模式。
研究结果部分，首先为3.1. Performance of the Convolutional Tsetlin Machine，研究人员报告CTM在UCI-HAR原始信号上的性能，基全补丁(9×128)单阈值模型平均测试准确率86.51%±0.14%，减小时间补丁长度（如9×114）显著提升准确率至超91%，最佳配置为9×114补丁和5-bin分位数布尔化达94.92%±0.31%训练平均、95.11%最佳测试准确率，优于同条件下原始信号训练的经典与深度学习基线，部署占用约601KB，训练1859秒、推理吞吐4886 ops/s；单阈值细化布尔化助静态活动（坐从63.75%至82.85%）、滑动窗口助动态活动（行走从89–90%至97–98%），混淆矩阵显示躺卧完美识别，坐和站最易混淆。
其次为3.2. Decision Making and Clause Visualization of the Convolutional Tsetlin Machine，CTM通过合取逻辑子句（选定布尔输入字面量及其否定的合取）分类，子句满足则投正类票、负极性子句投反对票，聚合各类子句投票和取argmax预测；可视化子句显示蓝像素为正字面量包含（信号高于阈值）、红为负字面量包含（低于等于阈值）、白为排除，子句呈稀疏逻辑模版指定相关信号条件，最终预测基于多独立学习子句集体证据协作决策。
接着为3.3. Tsetlin Machine Interpretability and Visualization of Human Activity Patterns，聚合每类子句得类模板，饱和蓝/红示字面量频次，显示CTM不选所有通道均匀，选稀疏类特定字面量组合；动态活动（行走、上下楼）模版碎片化分布多通道多时位反映局部运动与时间变异性，静态活动（坐、站、躺）呈长连续水平带（总加速度通道）示持续高于/低于阈值姿态模版；具体类中行走用total_acc_x多时位正及多通道否定字面量示周期运动，上楼total_acc_y强连续负带加陀螺仪局部正，下楼body_acc_y和total_acc_x正及body_acc_x强负，坐total_acc_x正带、total_acc_z/y负带，站类似坐但更均匀稳定，躺total_acc_y正、total_acc_z弱正、total_acc_x强负且无旋转，躺模版最独特故完美分类。
然后为3.4. Sensor and Channel Contribution Analysis，全九通道9×114单阈值CTM准确率91.45%，总加速度+陀螺仪六通道88.67%，身体加速度+陀螺仪84.66%，身体+总加速度87.58%；单通道total_acc_x最强73.70%准确率（train 76.68%），次为body_acc_x 61.83%，余单通道低于49%；三轴总加速度sensor 78.42%、身体加速度77.50%、陀螺仪71.06%；活动层面行走单total_acc_x召回0.96 F1 0.86，上楼需多轴融合全九通道F1 0.97，下楼body_acc_xz Recall 0.98 F1 0.95，坐单total_acc_x几乎失效（仅识1/491）全九通道F1 0.79，站total_acc_x召回1.00但精度0.53全九通道F1 0.86，躺total_acc_x单通道Recall 1.00 F1 0.99无需陀螺仪；least useful单通道total_acc_z等约44–47%但具活动特异性（如total_acc_z助辨躺、body_gyro_x组合后有用），能量效率上total_acc_x最低成本不适坐识别，total_acc_xz两通道79.74%优三轴单sensor，total_acc_xyz+gyro_xyz六通道88.66%近全九通道，身体加速度在总加速度+陀螺仪可用时部分冗余。
总结讨论部分，研究人员证实卷积Tsetlin机(Convolutional Tsetlin Machine, CTM)能在原始惯性数据上实现强HAR性能同时保持紧凑可解释子句结构与低内存计算足迹，UCI-HAR适为初始基准分析CTM原始信号学习、布尔化、补丁选择、子句可解释与传感器模态感知分类；基全补丁确认可行性，优化配置（减时间补丁如9×114与5-bin分位数布尔化）达95.11%准确率平衡精度、内存与成本，支持CTM适于资源感知端侧HAR推理及潜在端侧学习（需预测性能、高效模型表示与可解释决策）；CTM学习子句揭示行走与爬楼由身体加速度和陀螺仪捕获，躺由总加速度最强单贡献编码设备朝向，静态坐站需全多模态加速度+陀螺仪融合解决；通道模态上total_acc_x最强单惯性通道（整体73.70%测试、76.68%训练准确率）但难分坐站，身体加速度x/z轴对 locomotion重要，y轴孤立较弱，坐需全九通道互补朝向与旋转信息；识别高信息通道可弃低判别信号降成本，陀螺仪耗能高于加速度计故以行走上下楼躺为主用加速度计仅配置，需解坐站姿态歧义加陀螺仪，工程妥协依应用定：total_acc_x/total_acc_xz低能优、total_acc_xyz平衡加速度计仅识别、total_acc_xyz+body_gyro_xyz六通道近全精度少通道；全九通道最准但增感存算本相较六通道增益小。
研究结论部分翻译：本研究评估了卷积Tsetlin机(Convolutional Tsetlin Machine, CTM)在原始惯性信号上面向传感器模态感知的HAR，结果显示CTM能实现竞争性准确率同时依赖基于自动机的学習与子句推理（其决策可通过子句分析与可视化直接检视）。系统性模态与通道分析显示各惯性信号判别价值高度依赖活动：总加速度尤其total_acc_x是整体准确率及动态活动与躺识别最强单贡献者，而姿态类需加速度与陀螺仪通道多模态融合；聚合子句模板进一步证明CTM学习基于逻辑的规则直接可解释，暴露驱动每分类决策的传感器通道与时域区域并提供模型行为与底层物理运动模式间透明链接。但因所有实验用UCI-HAR腰挂智能手机配置，通道重要性发现应视为特定于此传感器放置与数据集直至在其他HAR基准（如WISDM、PAMAP2、OPPORTUNITY）进一步验证。综上这些发现支持CTM作为紧凑、透明且计算高效的传统深度学习HAR模型替代方案，尤需端侧学习、低内存占用与可解释决策的 resource-constrained 穿戴与边缘平台；未来工作将扩展分析至额外HAR基准与传感器放置、验证CTM在代表边缘与穿戴设备部署并进一步探究学习子句结构如何支持持续个性化端侧适应。论文发表于《Sensors》。
