MM-Study：在桌面实验环境中，利用毫米波雷达微多普勒特征融合技术进行学习场景下的活动识别

《Pervasive and Mobile Computing》：mm-Study: Activity recognition in study environments using mmWave radar micro-Doppler signatures feature fusion in tabletop scenarios

　　摘要
由于具备保护隐私、无需接触且能在不同光照条件下保持稳定性能，雷达系统越来越被用于人类活动识别、医疗监测以及智能环境应用。传统的识别方法往往依赖可穿戴传感器或基于视觉的技术，这些方法可能存在隐私隐患，并且在现实环境中存在诸多限制。毫米波雷达作为一种可行的替代方案，能够在无需安装侵入式传感器的情况下实现精细的动作分析。在本研究中，我们利用低成本毫米波雷达，通过生成微多普勒频谱图并提取感兴趣区域特征，来识别桌面场景中学生的学习相关活动。我们的数据集来自10名年龄、身高和体重各不相同的参与者，他们执行六种不同的活动，数据采集距离为距雷达1米和2米，能够捕捉到不同会议室环境中的细微动作动态，尤其是诸如翻书、拿杯子喝水等细微手部动作。为提升特征提取效果，我们采用了动态阈值处理方法，突出频谱图中的感兴趣区域，确保捕获最相关的动作特征。我们运用机器学习模型评估分类性能，最初仅基于提取的感兴趣区域特征训练的分类器就能达到80%的准确率。为进一步提升识别精度，我们引入了特征级融合策略，将基于感兴趣区域的结构化特征与基于频谱图的特征相结合。此外，我们还采用了分层分类方法，先对主要活动类别进行区分，再逐步细化分类精度。同时，通过决策级融合整合不同分类器的预测结果，增强了系统在不同距离和环境条件下的稳定性。经过这些优化，该系统的分类准确率在2米距离时可达99%，1米距离时为98%，充分体现了融合策略的有效性。通过对不同参与者及受控室内环境的泛化分析，证明了该模型在结构化桌面环境中的适应性，为其未来在需要保护隐私的室内监测及智能环境中的应用奠定了基础。

引言
人类活动识别技术在运动分析、医疗保健、智能家居以及安全监控等诸多领域的重要性日益凸显[1][2][3][4][5]。传统的识别方法要么依赖需要用户主动配合的可穿戴传感器，要么采用会引发隐私问题且对光照条件敏感的视觉系统[6][7]。相比之下，雷达技术因其非接触式工作原理、在多种环境中的强稳定性，以及无需捕捉视觉数据从而能够保护用户隐私的优势而备受关注[8]。与激光雷达、基于WiFi的传感技术或光学摄像头相比，毫米波雷达在保护隐私、抗遮挡能力以及精细动作感知方面具有更好的平衡性，详见表1。这使得它特别适合在会议室、学习空间等需要保护隐私的受控室内环境中进行持续监测，不过在实际复杂环境中应用之前还需进一步验证。虽然基于WiFi的传感技术需要在监测区域周围布置独立的发射器和接收器，而设备型解决方案则要求传感器始终处于工作状态，但毫米波雷达提供了一种更为实用的方案。作为一种体积小巧的收发装置，毫米波雷达利用能够穿透某些材料的电磁波，可以隐蔽地安装在家具或墙壁中，非常适合实现无缝的用户身份识别和行为跟踪。

频率调制连续波雷达具备高分辨率的运动感知能力，因此特别适用于监测学习活动。通过精确测量距离和细微动作，FMCW雷达能够持续观察学生的行为，包括姿势变化和细微手势。与基于摄像头的系统不同，雷达感知不会捕捉到可识别的视觉信息，从而在满足隐私保护要求的同时，仍能在各种光照条件及被家具遮挡的情况下保持良好性能。以非侵入式方式监测学习习惯，能为家长和教育工作者提供宝贵信息，帮助他们确保学生在学习环境中保持专注和投入。毫米波雷达已在众多应用领域展现出强大 versatility，包括手势识别[9][10]、注意力程度估算[11]、生命体征监测[12]、活动识别[13]、血压估算[14]、情绪检测[15]以及材料分类[16][17][18]。

基于雷达的人类活动识别通常依赖于多域信号分析，包括多普勒-时间域、距离-时间域以及距离-多普勒域分析。多普勒-时间域，也就是所谓的微多普勒特征，能够捕捉相对于身体躯干的细微肢体动作[19]。这类特征能够有效描述运动模式，因此对人类活动识别极具价值[20][21][22][23]。近期研究表明，通过深度学习模型将多个微多普勒特征从多目标场景中分离出来，可以提高分类精度[24]。此外，结合微多普勒信息和距离信息的三维雷达模型在多目标环境中也展现了良好性能[25]。然而，尽管深度学习显著提升了人类活动识别的性能，许多现有方法仍过于注重精度，而忽视了计算效率以及稳健的数据预处理技术。

本研究聚焦于利用毫米波雷达进行学习活动识别，旨在解决细微动作识别方面的关键难题。我们提出了一种基于微多普勒频谱图感兴趣区域提取的新型预处理方法，该方法能够降低背景噪声，提升运动特征的表现力。通过动态阈值处理频谱图，我们可以筛选出有意义的感兴趣区域，进而采用多层次融合策略，将基于感兴趣区域处理的统计特征与基于频谱图的特征相结合。这一方法在提升识别精度的同时，也保持了较高的计算效率。

为进一步推动学习环境中的人类活动识别技术发展，我们提出了mmStudy系统，其整体架构如图1所示，这是一种基于毫米波雷达的学习活动识别新方法。我们的主要贡献如下：
• 大规模数据收集：我们使用低成本的德州仪器IWR1443BOOST毫米波雷达收集了大量数据，涵盖了六种不同的学习相关活动：学习、饮水、使用手机、查看手机（短暂拿起又放回）、站立以及离开学习桌。数据集包含10名参与者在多个环境（三个不同的会议室）及不同距离（1米和2米）下执行这些活动的情况，从而保证了模型的良好泛化能力。
• 基于感兴趣区域的特征提取：我们设计了一种创新的动态阈值处理方法，用于从微多普勒频谱图中分离出感兴趣区域，通过抑制无关的背景运动来提升特征质量。这一预处理步骤通过聚焦最相关的运动模式，显著提升了分类性能。
• 分层与融合分类策略：我们采用了分层分类方法，首先对活动进行大类别划分，然后再逐步细化预测结果。此外，我们还引入了多层次融合策略，包括特征级融合（将基于感兴趣区域的统计特征与频谱图特征相结合）以及决策级融合（通过集成多个分类器来提升稳定性）。
• 全面的实验验证：我们在1500个学习活动实例上对所提模型进行了测试，结果表明该模型在不同参与者、不同环境及不同距离下都具有很强的泛化能力。所提出的融合框架在2米距离时的最高分类准确率为99%，1米距离时为98%，远优于传统机器学习方法。这些结果充分证明了我们的多域融合策略在提升桌面环境中的学习活动识别能力方面的有效性。
• 与那些数据量巨大的深度学习方法不同，本研究采用了一种计算效率更高的融合框架，更符合实际学习环境中的限制条件。

这些贡献使得mmStudy成为一种在室内环境中监测学生学习行为时兼具强大功能与隐私保护能力的解决方案。我们的工作为毫米波雷达在智能学习环境、医疗监测以及行为分析等领域的更广泛应用铺平了道路，同时也确保了其在实际应用中的伦理合规性与实用性。

相关研究
在本节中，我们将梳理有关基于射频技术的人类活动识别研究的现有文献。

学习活动数据集与实验设置
在本研究中，我们使用了德州仪器生产的IWR1443BOOST型商用频率调制连续波雷达，其工作频率为77–81 GHz。该雷达的带宽为3600 MHz，每帧包含256个ADC采样值，以及128次啁啾循环。实验采用了两种数据采集配置：分别为以50毫秒为间隔采集100帧和200帧，对应的时间窗口分别为5秒和10秒。系统中使用了1个发射天线和4个接收天线，接收端增益为30 dB。雷达...

提取感兴趣区域特征
为便于后续分类，所提出的方法专注于微多普勒频谱图中包含移动物体特征的感兴趣区域。那些没有明显运动或无法提供重要信息的频谱区域应当被剔除，比如图3中颜色较深的低能量区域。从图3可以看出，频谱强度会随着所进行的活动而发生变化...

实验结果
为评估我们所提方法的有效性，我们对基于雷达的学习活动识别技术进行了大量实验。本文介绍了信息融合的优势、特征选择对分类性能的影响，以及单个分类器的表现情况。

基于距离的评估
为考察距离对分类性能的影响，我们分别在使用1米距离（采样时长5秒）和2米距离（采样时长10秒）条件下收集的雷达频谱特征进行了实验。数据集包含六种人类活动：饮水、离开、归还手机、站立、学习以及使用手机。我们先用结合了1米和2米距离数据的频谱特征训练了一个分类器，随后又分别用两种距离下的数据对该分类器进行独立测试，以此评估其对距离变化的适应能力。这种方法有助于...

不同参与者的影响
为评估模型在不同个体之间的稳定性，我们使用了10名不同参与者产生的频谱特征来训练和测试分类模型。各参与者的性能表现总结见表15。实验结果表明，虽然分类准确率存在一定差异，但该模型对个体特有的行为表现出了较好的适应性。不同的行为特征，如独特的身体动作、姿势等...

分层结构与分类方法
本研究的目的是通过构建分层分类结构，利用特征提取技术提升雷达信号驱动的人类活动识别系统的准确性与可靠性。由于mmStudy数据集中包含了学习、饮水、使用手机、归还手机、站立以及离开这六种较为复杂的活动，因此我们决定采用两阶段分类方法。第一阶段是对这些活动进行粗粒度分类，将其归为三个上位类别...

局限性与未来工作
尽管mmStudy在识别六种基本学习活动方面表现优异，但仍存在一些局限性。首先，为了为学习环境中的精细雷达识别技术建立明确的基准，我们有意限制了活动范围。虽然这些活动能够反映常见的学习相关动作，但并未涵盖多任务处理、坐立不安或长时间任务转换等更为复杂的行为。更具体地说，以下...

结论
在本文中，我们证明了mmStudy是一种无需使用光学传感器即可有效监测学生学习行为的创新方案，且具有良好的隐私保护能力。我们通过成本较低的毫米波雷达获取了详细的活动运动信息，同时实现了非侵入式的监测方式。通过对原始雷达信号进行处理，我们生成了微多普勒频谱图，并提取了感兴趣区域特征以及基于频谱图的特征，这些特征随后被用于...

作者贡献说明
Muhammad Younas：撰写原始稿件、方法设计、概念构思。Jian Zhang：负责监督指导。Xiaotao Xu：负责实验研究。Fahim Niaz：负责结果验证。Naveed Imran：负责结果验证。Jehad Ali：负责实验研究。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

Muhammad Younas|Jian Zhang|Xiaotao Xu|Fahim Niaz|Naveed Imran|Jehad Ali