用于神经认知用户状态评估的多模态人机交互数据集

《Scientific Data》：A multimodal human-computer interaction dataset for neurocognitive user state evaluation

　　

摘要

我们介绍了用于神经认知状态评估的模拟环境数据集SENSE-42，该数据集是在用户与台式电脑交互过程中收集的多模态数据。它旨在研究与电脑用户持续警觉状态相关的神经认知状态的自然波动，数据来自42名参与者在2小时内的测试记录。在模拟的台式电脑环境中，参与者执行各种现实世界的日常任务，包括应用程序切换、文件管理、打字以及网页浏览。该数据集涵盖了生理指标（脑电图、心电图、呼吸频率）以及主观警觉度指标的高分辨率数据。每隔5分钟，参与者需要通过7个问题来报告自己的警觉状态，这些问题涉及困倦程度（卡罗林斯卡困倦量表）、心理和时间压力、自我感知的表现、努力程度和挫败感（NASA任务负荷指数），以及注意力水平。行为数据则包括键盘、鼠标和网络摄像头的操作记录。此外，还收集了参与者的基本人口信息、使用电脑的经验、习惯和偏好。同时，还利用匹兹堡睡眠质量指数和埃普沃思困倦量表来评估个体之间的睡眠质量差异。SENSE-42数据集可为未来在用户状态监测、行为分析和生理计算方面的研究提供支持。