DSHformer：面向传感器人体活动识别的局部敏感哈希注意力与原型对齐方法

《Sensors》：DSHformer: Locality-Sensitive Hash Attention and Prototype Alignment for Sensor-Based Human Activity Recognition

　　

基于传感器的人体活动识别（Sensor-Based Human Activity Recognition, HAR）在健康监测、运动分析和 ambient-assisted living 中具有重要基础作用。尽管深度学习显著提升了 HAR 性能，但实际部署仍受两方面问题限制：（i）用户变更或传感器佩戴位置变化引起的分布偏移会削弱泛化能力；（ii）标准自注意力（self-attention）的 O(L2) 复杂度阻碍资源受限可穿戴设备上的高效长序列建模。针对上述问题，研究人员提出 DSHformer——一种兼顾精度与效率的 HAR 框架，融合紧凑通道–时序编码与基于局部敏感哈希（Locality-Sensitive Hashing, LSH）的注意力机制。具体而言，DSHformer（i）采用低参数量的基于片段（patch）的图注意力编码器联合建模传感器通道潜关系与时序动态；（ii）引入可训练原型池（prototype pool）及多层分解网络，通过原型对齐（prototype alignment）提升类内紧致性与类间可分性；（iii）提出面向 HAR 的分解引导 LSH 注意力（decomposition-guided LSH-based attention），其核心设计将原型引导特征分解与 LSH 耦合，确保语义相关 token 经分解衰减后仍被一致映射到同一哈希桶（hash bucket），该机制在较长传感序列上以 O(L log L) 注意力复杂度运行。在五个公开基准数据集（WISDM、UCI-HAR、PAMAP2、Opportunity 及 UniMiB-SHAR）上的大量实验表明，DSHformer 分别取得 98.6%、93.7%、98.4%、88.5% 和 96.6% 的准确率（Accuracy, Acc），相较多种 HAR 基线及近期 Transformer 变体具竞争性或更优性能。消融实验进一步证实各组件的互补贡献。

论文解读：DSHformer——面向传感器人体活动识别的局部敏感哈希注意力与原型对齐方法（《Sensors》2026）

一、研究背景与意义

基于传感器的穿戴式人体活动识别（Human Activity Recognition, HAR）是智慧康养、运动分析及智能家居的重要支撑技术。现有端到端深度学习方法在 HAR 上虽取得较大进展，但仍面临三方面瓶颈：（1）穿戴者更换、传感器位姿或型号差异导致分布偏移（distribution shift），而实际场景无法频繁重训练或依赖目标域数据做迁移；（2）多通道传感信号含丰富通道–时序耦合信息，但现有模型常通过堆叠重型卷积或注意力块捕获全部交互，参数量大且易过参数化；（3）标准 Transformer 自注意力对序列长度 L 具 O(L2) 时间/空间复杂度，难以在算力受限的可穿戴设备上处理长时窗序列，而已有高效 Transformer 往往以牺牲识别精度为代价。为此，研究人员开展此项研究，提出 DSHformer（Decomposition-guided Sparse Hashing Transformer），旨在以紧凑编码、原型引导表示学习及分解稳定 LSH 注意力平衡识别准确率、模型紧凑性与注意力级计算效率，并在五个公开 HAR 基准上验证其有效性。

二、主要关键技术方法

研究人员采用五个公开 HAR 数据集（WISDM、UCI-HAR、PAMAP2、Opportunity、UniMiB-SHAR）进行统一协议评估。核心方法含三模块：（1）基于片段（patch）的通道–时序特征编码器：先以堆叠 1D 卷积捕获局部时序模式，沿时间维划分非重叠 patch 并构建每 patch 通道图（channel graph）编码跨传感器关系，再入单层 LSTM 获 patch 级时序表征并以图相似度加权；（2）原型对齐（Prototype Alignment）：维护按类别组织的可训练原型池（prototype pool），通过多层分解网络（Decomposition Block）将输入特征与所选同类原型分解为相似/不相似分量（similar/dissimilar components），辅以类间间隔损失（inter-class margin loss）增大异类原型间距；（3）分解引导 LSH 注意力（Decomposition-Guided LSH-based Attention）：对分解后特征做随机投影得哈希码（hash code），仅在同一哈希桶（hash bucket）内计算注意力，保证语义相近 token 在分解衰减后仍落入同桶，理论注意力复杂度 O(L log L)。总损失为分类损失、原型分类损失及间隔损失的加权和。

三、研究结果

3.1 模型架构概述（Model Architecture Overview）

经通道–时序编码器输出 patch 级序列送入分解与 LSH 注意力模块；原型池同步参与分解对齐。架构实现线性时间编码、O(L log L) 注意力及类判别紧凑表示，为后续分类提供丰富特征。

3.2 基于片段的图注意力与时序特征学习模块（Patch-Based Graph Attention and Temporal Feature Learning Module）

通过 1D 卷积→时间维 patch 划分→patch 内通道亲和矩阵（channel affinity matrix）→残性图聚合→单层 LSTM 获隐态并以通道关系矩阵flatten得 patch 时序权重重标定。结果表明通道先建模再时序建模（Channel-First）优于 Temporal-First 与 Joint 结构，说明先捕获传感器轴依赖再时序聚合更利 HAR 表示。

3.3 分解网络与基于 LSH 的注意力（Decomposition Network and LSH-Based Attention）

输入与原型经多层分解得相似/不相似分量并按真值类别选最近原型对齐交互；对 Q/K 做 L₂归一化后经随机投影分桶、按桶–位置二级排序，仅在同桶内算 softmax 注意力。该分解稳定哈希设计确保语义相关 token 分组一致性，区别于 Reformer 直接对原始 Q 哈希。

3.4 训练目标（Training Objective）

总损失 ? = ?_CE+ λ₁?_margin+ λ₂?_{proto_CE}，其中 ?_margin推开不同类原型，?_{proto_CE}防原型退化。此多目标联合优化促紧凑类内、可分类间特征空间。

3.5 数据集与评估指标（Dataset and Evaluation Metrics）

五基准涵盖不同通道数、序列长及活动类别数。指标含准确率（Accuracy, Acc）、宏平均 F1（Macro-F1, F_m）和加权平均 F1（Weighted-F1, F_w）。

3.6 超参选择与复杂度讨论（Hyperparameter Selection and Complexity Discussion）

关键超参为 patch 长度、分解/哈希层数（Number_HF）、LSH 注意力层数、头数及哈希桶大小（B_Size）。DSHformer 注意力渐近复杂度 O(L log L)，与 Reformer/Informer 同级，创新在分解稳定哈希与原型对齐的结构耦合而非复杂度阶数本身。

3.7 与现有方法对比（Comparisons with the State of the Art）

在标准划分下 DSHformer 于五数据集 Acc 达 98.6%（WISDM）、93.7%（UCI-HAR）、98.4%（PAMAP2）、88.5%（Opportunity）、96.6%（UniMiB-SHAR），超越或持平 HAR 专用基线（TCN、Atten）及 Transformer 变体（Transformer、Reformer、Informer、Autoformer、Crossformer 等）；十次独立运行稳定性分析显示最差情况准确率最优且方差较低。被试不交叠（subject-disjoint）交叉验证中 DSHformer 在四数据集优于对照 Transformer 基线，Opportunity 短序列高维场景弱于 Reformer 式稀疏注意力，作者明示此为局限。

3.8 消融研究、可视化与分析（Ablation Studies, Visualization, and Analysis）

逐步加回通道–时序编码器（MT）、LSH 注意力（att）、全损失（full）的消融显示三者互补缺一不可；去原型对齐的被试不交叠测试致 Macro-F1 平均降约 0.0267，证原型机制助跨用户泛化。t-SNE 显示原型对齐后训练–测试分布更接近；特征相关矩阵经编码后结构化增强；分解所得相似分量较平滑、不相似分量含振荡残余；LSH 注意力矩阵呈桶内局部非零模式，桶大小影响密度。

3.9 特征提取顺序影响（Effect of Feature Extraction Order）

Channel-First（先通道图后时序 LSTM）在五数据集均最优（同正文报最高 Acc/F_m/F_w），支持 DSHformer 所用编码顺序之合理性。

3.10 LSH 超参敏感性分析（Sensitivity Analysis of LSH Hyperparameters）

中等长序列（UCI-HAR）对 B_Size 与 Number_HF 小扰动较鲁棒；短序列高维（Opportunity）性能对 Number_HF 增加敏感，需谨慎调参。

3.11 效率分析（Efficiency Analysis）

完整模型在短窗数据集推理延迟与参数量暂高于 vanilla Transformer（含原型匹配、排序等开销）；隔离注意力核（attention core）基准显示序列增长后桶内 LSH 注意力显著快于全注意力（L=1024 快 2.47×、L=4096 快 12.48×，内存降幅同趋势），证注意力级效率优势随序列加长显现。

四、讨论与结论（翻译总结）

研究人员提出 DSHformer——一种融合紧凑 patch 基通道–时序表示学习、原型引导特征细化及分解引导 LSH 注意力的传感器 HAR 框架，后者借原型引导分解与 LSH 耦合保语义相关 token 一致分组并将注意力复杂度降至 O(L log L)。五公开基准实验表明 DSHformer 具竞争或超越现有 HAR 基线及近期 Transformer 变体之性能；消融验证三组件互补，附加分析考察了被试不交叠泛化、LSH 超参敏感及不同序列长下实用效率。局限性含：标准协议未完全等价于严苛未知用户部署，原型池随类别数线性扩增，短窗序列上全模型哈希排序开销部分抵消理论优势，评估限于惯性传感及超参需数据集级选定。未来工作将深入留一被试（LOSO）评估与域适应、模型压缩量化、不规则采样与多模态（sEMG、PPG 等）序列建模范式及自适应桶/哈希选取策略。此研究为精确高效传感器 HAR 提供可行框架并为跨用户鲁棒性与部署效率改进指明方向。