虚拟代理交互中语音人格特质与手势的协同效应：基于眼动追踪的医院导引场景研究

随着扩展现实(XR)技术的普及，虚拟代理在各领域与人类互动日益频繁。针对语音特质与手势协同作用的研究空白，研究人员通过2×2被试内设计，结合主观报告与眼动追踪技术，揭示了医院导引场景下虚拟代理的语音人格特质(活泼型vs平静型)与手势对用户认知及视觉行为的差异化影响。研究发现：活泼语音配合手势显著提升内容理解度，而平静语音下手势无此效应；平静语音延长身体兴趣区(AOIs)注视时长并减少对话内容区注视次数，手势则降低面部区注视频次。该研究为优化虚拟代理多模态交互设计提供了实证依据。

　　

在扩展现实(XR)技术蓬勃发展的背景下，虚拟代理与人类的跨领域交互日趋频繁。尽管拟人化特征对用户认知的影响已有研究，但语音人格特质(voice personality traits)与手势(gestures)的协同效应仍待深入探索。这项研究创新性地采用医院导引场景，通过精巧的2×2被试内设计(within-subjects design)，系统评估了语音特质(平静型vs活泼型)与手势(存在vs缺失)对用户主观感知和视觉行为的复合影响。

眼动追踪(eye tracking)数据揭示出有趣的交互模式：当虚拟代理采用活泼型语音时，手势的引入使内容理解轻松度显著提升(comprehension ease↑)，而平静型语音下该效应消失。更值得关注的是，平静语音会引发用户对身体相关兴趣区(AOIs)的平均注视持续时间(average fixation duration)延长，对话内容区的首次注视时间(time to first fixation)缩短，且注视计数(fixation counts)减少。手势则展现出独立效应——显著降低用户对面部兴趣区的注视频次。

研究还发现某些眼动指标存在有趣的调节效应：手势的影响程度受语音特质调节，反之某些语音特质的作用也依赖于手势的存在。这些发现为虚拟代理的多模态交互设计提供了重要启示——语音人格特质与手势并非简单叠加，而是会产生复杂的协同或拮抗作用。该成果对优化XR环境中人机交互体验，特别是在医疗导引等专业场景中的应用具有重要指导价值。