用于日常生活活动的隐私保护型环境感知：多模态雷达与热成像人体活动识别及智能插座设备识别

《Sensors》：Privacy-Preserving Ambient Sensing for Activities of Daily Living: Multimodal Radar–Thermal Human Activity Recognition and Smart Plug Appliance Recognition

　　

摘要

对日常活动（ADLs）的持续监测需要使用能够保护隐私、低功耗且能适应环境变化的传感系统。环境感知技术为RGB视频和可穿戴设备提供了替代方案，但各种传感方式都有其自身的局限性。稀疏毫米波雷达具有很强的运动检测能力，但对姿态细节的捕捉能力有限；低分辨率热感测技术虽能保留与姿态相关的空间信息，但其分辨率较低；而智能插头遥测功能则只能记录由家电引发的行为互动。为解决这些问题，本文提出了一种分层多模态环境感知框架，该框架包括一个稀疏跟踪型24GHz FMCW雷达、一个低分辨率热传感器以及一个Moko智能插头。通过实验，该框架对雷达与热传感结合的使用方式以及单独的智能插头家电识别方式进行了评估。该框架设计了三种数据流，以便在保持冗余性的同时减少隐私泄露风险，从而适用于智能建筑和辅助生活环境。雷达与热传感数据流通过分组交叉验证方法，在多种环境配置下针对二元运动检测以及四类姿态和活动识别任务进行了联合评估；而家电数据流则是通过家用级家电的实时遥测数据来评估的。雷达与热传感数据流所使用的训练数据为在六种不同家具布局下收集的二元运动窗口以及四类姿态和运动窗口，且均为同一主体的固定位置数据。另一独立的家电负载监测数据流则利用智能插头来对各类家电进行分类。在二元运动识别方面，雷达和热传感算法的宏观F1值表现相近。在四类姿态和活动识别任务中，热传感特征的表现明显优于雷达。经过加权后期融合处理后，性能提升并不明显。另外，智能插头遥测技术通过轻量级的基于树结构的模型，展现了出色的家电识别能力，这类模型非常适合在资源受限的边缘设备上使用。实验结果支持“分层冗余”这一理念：稀疏轨道级雷达负责检测整体运动情况，低分辨率热感测则用于获取姿态信息。智能插头监控功能则使该框架能够实现对日常活动中的工具类操作行为的监测，而在资源受限的边缘环境下，基于树结构的轻量级模型仍能实现高效的识别效果。这些研究结果为构建一种能够保护隐私的日常活动监测系统提供了依据——在该系统中，雷达负责提供对运动的敏感检测，热感测负责提供与姿态相关的空间信息，而智能插头遥测则能为智能医疗和辅助生活环境中的家电行为分析提供数据支持。