在虚拟现实中使用瞳孔测量技术作为噪声环境下语音研究的一种工具

《EAR AND HEARING》：Using Pupillometry in Virtual Reality as a Tool for Speech-in-Noise Research

语音感知研究中的VR-HMD瞳孔ometry适用性及虚拟共现效应分析。本研究通过33名受试者的VR双耳语音干扰任务，验证HMD内瞳孔测量对任务负荷变化的敏感性及虚拟共现影响。结果显示，任务负荷显著增加基线瞳孔大小（F=20.24, p<0.01）和峰值瞳孔 dilation（F=93.99, p<0.01），但虚拟共现（ agents存在与否）未对瞳孔指标或主观体验产生显著影响（F=0.27, p=0.60）。证实VR-HMD结合瞳孔ometry可有效评估认知负荷，但需更复杂的VR环境实现共现效应模拟。

　　虚拟现实（VR）技术在听觉研究中的应用，正逐渐成为一种趋势，因为它能够创造出接近现实的环境，从而提高实验的生态效度。听觉研究通常需要在实验室条件下模拟真实世界中的听觉场景，比如嘈杂环境下的语音感知任务，但这些场景往往与真实生活中的听觉体验存在差距。VR提供了一种新的可能性，可以更真实地再现这些场景，同时保持实验的可控性。然而，如何在VR环境中准确测量听觉任务中的努力程度，仍然是一个值得探讨的问题。其中，瞳孔测量（pupillometry）作为一种反映认知努力的客观指标，其在VR环境中的适用性尚未完全明确。

本研究旨在评估VR头戴式显示器（HMD）中瞳孔测量是否能够反映语音感知任务中的努力变化。此外，还探讨了VR是否能够有效地模拟真实生活中他人存在的“共在感”（copresence），即参与者在听觉任务中是否因虚拟人物的存在而产生不同的反应。研究中，参与者在VR环境中完成了一项双耳语音在噪声中的任务，任务负荷通过要求参与者关注并重复单句或双句来调整。同时，参与者在两种不同的共在条件下完成任务：一种是与虚拟人物（agents）互动，另一种是虚拟人物被视觉干扰物（distractors）替代。研究希望通过这种方式，检验VR是否能够像传统实验室一样，影响参与者的任务表现、瞳孔测量和主观评价。

实验中使用了33名正常听力的参与者，他们佩戴HTC Vive Pro Eye HMD，完成了一系列语音感知任务。在实验开始前，参与者进行了四次练习任务，以适应VR环境。任务中，参与者被要求重复由耳机播放的语音内容，这些语音内容被噪声掩蔽，且信号与噪声的比值（SNR）为-3 dB。噪声在语音开始前3秒启动，并持续3秒，以确保能够捕捉到完整的瞳孔反应。瞳孔测量数据包括基线瞳孔大小（BPS）和峰值瞳孔扩张（PPD），这些数据通过内置的瞳孔追踪器采集，并经过数据处理以去除眨眼等干扰因素。

研究结果表明，任务负荷显著影响了基线瞳孔大小和峰值瞳孔扩张，同时也影响了主观评价，如任务难度、努力程度和表现评分。然而，虚拟共在的条件并未对任何结果指标产生显著影响。这一发现表明，虽然VR可以用于模拟真实环境，但当前的VR设置可能不足以完全再现现实中的共在效应。这可能与参与者对虚拟环境的沉浸感（presence）不足有关，因为实验中使用的虚拟环境较为简单，可能未能充分激发参与者的“地方幻觉”（place illusion）和“可信幻觉”（plausibility illusion），这两个概念指的是参与者在虚拟环境中对“身临其境”和“真实感”的体验。此外，问卷调查显示，参与者对虚拟人物的存在并未表现出强烈的共在感或情感反应，这可能进一步解释了为什么虚拟共在条件未对瞳孔反应或主观评价产生影响。

研究还发现，当参与者在前一任务中接收到积极反馈时，基线瞳孔大小有所增加。这表明反馈可能在一定程度上影响了参与者的任务预期和认知准备。然而，由于统计结果的置信区间较大，且包含零值，这一发现的统计意义尚存疑问。尽管如此，这一趋势为未来研究提供了有价值的线索，即反馈可能对听觉任务中的认知努力产生影响，尤其是在VR环境中。

从实验设计来看，本研究并未使用高度复杂的虚拟环境，因此其结果可能无法完全推广到更现实的场景中。例如，参与者被要求始终注视一个固定的点，而现实中人们通常会自由移动视线。这种固定注视可能影响了瞳孔的反应，因为视线变化会导致视觉刺激的差异，从而影响瞳孔大小。因此，未来的实验可能需要采用更生态的虚拟环境，让参与者能够自由探索，以更准确地反映真实生活中的听觉体验。

此外，研究中使用的任务负荷较高，可能并不符合日常生活中常见的听觉需求。在实际生活中，人们很少需要同时关注两个语音源，因此未来的研究应考虑使用更贴近现实的任务负荷，以确保研究结果的普遍适用性。同时，建议未来研究使用更高质量的虚拟环境，例如采用逼真的图像和动态的虚拟人物动画，以提高参与者的沉浸感和共在感。

总的来说，本研究为VR与瞳孔测量在语音感知研究中的结合提供了初步证据，表明VR可以用于研究听觉任务中的努力变化。然而，VR环境中的共在感仍需进一步优化，以更好地模拟现实中的社交互动。此外，反馈对听觉任务的影响也需要更多的研究，特别是在不同类型的反馈（如积极和消极）之间是否存在差异。这些发现为未来的听觉研究提供了重要的启示，也为VR在临床应用中的潜力提供了支持。随着技术的进步，VR有望成为一种有效的工具，用于更真实地评估听力障碍的影响，以及探索听觉任务中的认知机制。