《Displays》：MSFF-TJLNet: Lightweight UWB radar human activity recognition method for imbalanced samples
编辑推荐：
•我们提出了一种轻量级框架，以解决人体活动识别中的样本不平衡问题。•我们设计了CSAF模块，以增强少数类特征表示。•我们开发了TJ损失函数，以协调样本重加权与特征空间优化。•我们的方法仅使用0.34M参数便达到了最先进的性能。引言人体活动识别（HAR）是计算机视觉和人工智能中
- •
我们提出了一种轻量级框架，以解决人体活动识别中的样本不平衡问题。
- •
我们设计了CSAF模块，以增强少数类特征表示。
- •
我们开发了TJ损失函数，以协调样本重加权与特征空间优化。
- •
我们的方法仅使用0.34M参数便达到了最先进的性能。
引言
人体活动识别（HAR）是计算机视觉和人工智能中的基本任务，在 人机交互[1]、[2]、智能监控[3]和救援行动[4]中有着广泛应用。虽然基于视频的HAR[5]、[6]已被广泛研究，但此类光学传感器受限于光照条件、遮挡和隐私问题。在此背景下，超宽带（UWB）雷达凭借其高分辨率、强穿透能力、环境鲁棒性和隐私合规性，已成为非接触式传感的重要替代方案[7]、[8]。随着深度学习的进步，卷积神经网络（CNN）[9]、循环神经网络（RNN）[10]和Transformer[11]等模型已成功应用于雷达生成的特征图。这些方法通过从数据中自动提取判别性特征，显著提高了识别准确率[12]、[13]。然而，现有方法仍面临以下挑战。
首先，深度学习方法的性能强烈依赖于训练数据集的规模。充分大且平衡的数据集对于训练高性能的HAR模型至关重要[14]。然而，由于目标配合有限和场景约束，此类理想数据集难以获得。因此，不同类别间的样本分布呈现显著不平衡，某些类别样本丰富（多数类），而其他类别仅包含少量样本（少数类）。这种样本不平衡现象严重制约了深度学习模型的性能[15]。
其次，许多研究通过加深网络结构或引入多域融合策略来提高识别准确率[11]、[16]。然而，这些模型通常参数量大、结构复杂。为解决这些问题，研究人员提出了各种轻量级网络架构[17]、[18]、[19]。尽管如此，大多数研究基于理想化的平衡数据场景，未能充分关注实际应用中普遍存在的数据不平衡问题。
为应对上述挑战，我们提出了MSFF-TJLNet，一种用于样本不平衡条件下人体活动识别的轻量级框架。该方法旨在提高少数类活动的识别性能，同时保持低计算成本。具体而言，MSFF-TJLNet融合了多尺度特征融合（MSFF）策略，以有效提取和整合不同尺度上的判别性信息。该设计使模型能够鲁棒地表示雷达距离像中的宏观运动轨迹和细粒度微观运动模式。所提出的通道-空间注意力融合（CSAF）模块通过引入残差连接防止梯度消失，并以级联深度可分离卷积替代空间注意力中的大核卷积来防止特征平滑，从而增强稀疏的少数类特征。此外，我们设计了三联合（TJ）损失函数以协调样本权重分配与特征空间优化。该损失函数包含Focal损失以校正样本加权偏差，同时我们提出的增强三元组损失和动量中心损失协同重塑特征空间，以增强判别性和类内紧凑性。在多个不平衡UWB数据集上的大量实验表明，MSFF-TJLNet在显著减少参数量的同时，实现了高识别准确率和对抗类别分布偏斜的鲁棒性。本文的主要贡献总结如下。
- •
我们提出了MSFF-TJLNet，一种面向不平衡场景下人体活动识别的新型轻量级框架。该框架仅使用0.34M参数即可实现高效特征提取，在极端不平衡的2D距离像数据集上达到97.93%的分类准确率。
- •
我们设计了CSAF模块以增强少数类特征表示。该模块采用残差连接和级联卷积来防止梯度消失和特征平滑。
- •
我们开发了TJ损失函数，通过协同整合Focal损失与我们提出的增强三元组损失和动量中心损失，在不平衡条件下实现样本重加权和特征空间优化。
本文其余部分组织如下：第2节综述了基于雷达的HAR和应对样本不平衡的相关工作。第3节详细阐述了所提出模型的结构及其损失函数设计。第4节描述了数据集和实现细节。第5节呈现了实验结果和讨论。最后，第6节给出了结论和未来工作的展望。
章节摘要
基于雷达的人体活动识别
HAR通常涉及从雷达回波中提取活动信息并构建相应的数据表示[19]、[20]、[21]。随后使用深度神经网络自动学习行为模式以实现最终识别。为追求高精度，早期研究主要集中在加深网络结构、引入多域特征融合或通过注意力机制捕获长距离依赖关系。例如，Chen等人[20]构建了多雷达
轻量级MSFF-TJLNet
如图1所示，MSFF-TJLNet由三个顺序块组成。第一个和第三个块具有相似的结构，分别采用具有64和128个通道的标准3×3卷积层。在这些卷积之后，使用批归一化（BN）来规范化激活并减少过拟合。随后，采用具有2×2核大小和步长为2的最大池化层来减少空间维度。最后，引入丢弃层以增强
实现细节
本节首先介绍实验数据集。然后解释样本不平衡划分策略。随后介绍实验设置，包括评估指标和实现细节。
实验结果与讨论
本节开展了一系列实验以评估所提出模型的性能。随后呈现对结果进行深入的分析和讨论。
结论
本文提出了一种新颖的轻量级框架用于不平衡场景下的人体活动识别，称为MSFF-TJLNet。它有效解决了样本不平衡导致的性能下降问题，同时克服了实际应用中大模型参数量的局限性。为此，我们设计了两个关键组件：通道-空间注意力融合（CSAF）模块和三联合（TJ）损失函数。CSAF模块通过残差
CRediT作者贡献声明
郑佳鑫：概念化、方法论、指导、项目管理、撰写——审阅与编辑。魏辉西：方法论、形式化分析、撰写——初稿、撰写——审阅与编辑。王吉月：形式化分析、软件、实现、验证、可视化。陈鹏云：结果解释、调查、数据管理、实验、验证。郭世生：指导、项目管理、资金获取、撰写——审阅与编辑。崔国龙：
利益冲突声明
作者声明不存在已知的竞争性经济利益或个人关系可能影响本文所报告的工作。
致谢
本工作部分得到国家自然科学基金（项目编号62302462）和中国博士后科学基金（项目编号2023TQ0321）的支持。
郑佳鑫|魏辉西|王吉月|陈鹏云|郭世生|崔国龙|徐明亮
