检测与修复：在缺失模态条件下实现鲁棒的自监督可穿戴传感器技术 作者：阿布勒·哈桑·西塞（Aboul Hassane Cisse）和 枝丸翔阳（Shoya Ishimaru）

《Sensors》：Detect and Repair: Robust Self-Supervised Wearable Sensing Under Missing Modalities Aboul Hassane Cisse and Shoya Ishimaru

　　

:

。

摘要

。

可穿戴传感器系统越来越多地被应用于现实环境，用于监测人类的活动和认知状态。然而，由于遮挡、能源限制或硬件故障，这些系统常常会遇到传感器模态数据丢失或质量下降的问题。在这项研究中，我们介绍了CognifySSL v2.0，这是一个自监督学习框架，旨在在模拟的现实环境中实时检测和修复缺失的传感器模态数据。该模型结合了多种生理和运动信号（如IMU、ECG、EDA）的对比学习和掩蔽学习方法，并使用融合架构及Dropout模拟技术。在WESAD项目上的评估显示，在缺失模态数据的条件下，该模型能够有效地进行多模态检测和数据重构；而在MobiAct项目上的实验则验证了其在传感器数据丢失情况下的单模态鲁棒性和表示学习能力。我们发布了相应的代码和交互式可视化仪表板，以支持研究的可重复性以及未来关于鲁棒多模态融合的研究。