SenseSeek数据集：用于研究信息寻求行为的多模态感知技术

《Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies》：SenseSeek Dataset: Multimodal Sensing to Study Information Seeking Behaviors

信息处理任务涉及复杂认知机制，受个人目标、经验及环境影响。SenseSeek数据集通过20名参与者235次搜索试验，捕捉信息需求识别、查询生成与提交、相关性判断等940个阶段的多模态生理信号（EDA/EEG/PUPIL/Gaze/Motion），提取258个特征，验证了传感器在区分认知意图和交互模式中的有效性，为信息寻求行为研究提供首个多阶段多传感器数据库。

　　

摘要

信息处理任务涉及复杂的认知机制，这些机制受到多种因素的影响，包括个人目标、先前经验和系统环境。要理解这些行为，需要详细且个性化地记录人们与现代信息系统（例如搜索引擎）的交互方式。被动式传感器（如可穿戴设备）能够捕捉生理和行为数据，在这方面具有潜在的应用价值。本文介绍了一个名为SenseSeek的新数据集，旨在评估消费级传感器在复杂信息处理场景中的有效性——具体而言，就是通过系统（如搜索引擎）进行搜索，这是用户常见的信息获取策略之一。SenseSeek数据集包含了来自20名参与者的数据，共235次搜索过程记录，涵盖了搜索过程中的940个阶段，包括信息需求的识别（IN）、查询的构建（QF）、通过输入或语音方式提交查询（QS-T/QS-S），以及通过阅读或听觉方式判断信息相关性（RJ-R/RJ-L）。这些数据通过消费级传感器收集，包括皮肤电活动（EDA）、脑电图（EEG）、瞳孔反应（PUPIL）、注视行为（GAZE）和运动数据（MOTION）。数据集还包含了从传感器数据中提取的258个特征、带有注视注释的屏幕记录以及任务响应信息。我们通过对不同认知意图和交互方式对传感器数据的影响进行分析，并验证了该数据在区分搜索阶段方面的有效性，从而证明了该数据集的实用性。据我们所知，SenseSeek是首个利用多个传感器收集的生理信号来描述信息获取多个阶段的数据集。我们希望这个数据集能为未来关于信息获取行为的研究提供参考。