用于家庭智能音箱主动服务的多模态上下文可中断性数据集

《Scientific Data》：Multimodal-context Interruptibility Dataset for Proactive Services on Smart Speakers at Home

　　

摘要

随着智能音箱越来越深入地融入人们的日常生活，人们越来越希望利用这些音箱来提供个性化的主动服务。为了提升用户体验并提高他们对这类服务的接受度，一个关键挑战在于识别出合适的时机——即用户在最容易被打断的时候，以便提供主动服务。研究人员通过研究不同使用场景下用户的易被打断程度来找出这样的时机，目前也有不少带有易被打断程度标注的数据集被发布出来。然而，目前还没有专门针对家庭环境中的易被打断情况的数据集。为填补这一空白，我们推出了INPROSH，这是一个通过在26名参与者家中进行为期三周的实地研究收集而来的数据集。参与者们在家中通过智能音箱使用各类主动服务。INPROSH包含2,830个案例，每个案例都标注了易被打断程度，并附有丰富的上下文信息，包括时间、空间和行为方面的信息，以及智能音箱周围的图像和声音记录。我们认为INPROSH将有助于更深入地理解家庭环境中的易被打断现象，并实现更准确的检测。