《Trends in Hearing》:Listening Effort in Complex Audiovisual Scenes Under Varying Simulated Room Acoustic Conditions
编辑推荐:
混响会降低言语可懂度和理解力,增加认知负荷,并损害记忆。许多考察混响效应的研究采用仅音频条件和稳态背景噪声,因此尚不清楚这些研究结果能在多大程度上推广到实验室环境之外。本研究在复杂的视听虚拟现实(VR)环境中考察了混响对记忆和行为听音努力的影响。研究人员构建了
混响会降低言语可懂度和理解力,增加认知负荷,并损害记忆。许多考察混响效应的研究采用仅音频条件和稳态背景噪声,因此尚不清楚这些研究结果能在多大程度上推广到实验室环境之外。本研究在复杂的视听虚拟现实(VR)环境中考察了混响对记忆和行为听音努力的影响。研究人员构建了一个具有真实房间声学和时变背景噪声(包括动画虚拟代理)的虚拟现实(VR)开放式办公室。比较了三种模拟房间声学条件:自由场(T30 = 0 s)、声学优化办公室(T30 = 0.5 s)和未处理办公室(T30 = 1.0 s)。在这些条件下,N = 30名参与者执行了双任务。主要听觉文本回忆(HTR)任务测量言语理解和记忆,参与者聆听由两名讲述者叙述的短篇故事并回答内容相关问题;振动触觉次任务测量听音努力。在单任务条件下,自由场中对口语内容的记忆显著优于两种办公室条件,而两种办公室之间无显著差异。在双任务条件下,振动触觉反应时间显示混响的存在增加了听音努力。在单任务和双任务条件下,振动触觉错误率在混响存在时下降,这可能是由于在更困难条件下注意力提高所致。这些发现表明,与自由场环境相比,房间声学影响复杂视听虚拟现实中的记忆和听音努力,并强调在设计用于听力研究的视听环境时考虑混响的重要性。
**复杂视听场景中混响对记忆与听音努力的影响——《Trends in Hearing》论文解读**
**研究背景**
日常聆听通常发生在复杂环境中,房间声学(特别是混响)、时变背景噪声以及视觉线索均会影响声音的认知加工。然而,以往关于混响效应的实验研究大多在简化的纯音频实验室环境中进行,多采用稳态背景噪声和短促的孤立目标词,难以反映真实聆听场景的复杂性。此外,日常聆听往往涉及多模态信息,例如唇部运动等言语伴随线索可显著改善言语可懂度,但多数音频-only研究未将其纳入考量。虚拟现实(VR)技术的发展使在受控条件下构建复杂视听环境成为可能,但目前尚缺乏在具有具身化背景代理和真实时变多说话者噪声的视觉丰富VR环境中考察不同混响时间(RT)对行为听音努力影响的研究。本研究旨在填补这一空白,考察虚拟办公室内房间声学变化是否影响记忆和行为听音努力。该论文发表于《Trends in Hearing》。
**研究概述与关键方法**
研究人员在VR中构建了一个开放式办公室场景,包含动画目标讲述者和背景代理、头部追踪双耳渲染以及时变准随机背景噪声。三种实验条件为:自由场(T
30 = 0 s)、经声学处理的办公室(T
30 = 0.5 s)和未处理办公室(T
30 = 1.0 s)。样本为30名母语为德语的正常听力成年人(15名女性,15名男性;年龄18至33岁,M = 25.1岁),样本量基于先验功效分析确定,参与者均经纯音测听确认双耳听力正常。研究采用双任务范式:主任务为听觉文本回忆(HTR)任务,参与者聆听由虚拟代理叙述的短篇故事并回答相关问题,测量言语理解和记忆;次任务为振动触觉模式分类任务,其正确率和反应时间作为听音努力的行为指标。关键技术方法包括:使用Unreal Engine 5.3构建视觉模型;RAVEN插件创建房间声学模型并模拟双耳房间冲激响应;Virtual Acoustics系统配合KEMAR人工头的头相关传递函数(HRTF)实现空间化双耳渲染;复杂噪声场景生成器(CNSG)预生成类别平衡的时变背景噪声序列;目标语音在已处理办公室条件下校准至60 dB(A),且参与者和目标说话者间的距离超出临界距离以确保混响能量主导目标信号。
**研究结果**
*主任务表现(文本理解与记忆):* 单任务条件下,自由场的任务表现显著优于已处理办公室和未处理办公室,但两种办公室之间无显著差异;双任务条件下三种声学条件间无显著差异。此外,三种声学条件下的单任务表现均显著优于双任务表现,表明双任务代价的存在以及参与者正确优先化了主任务。
*次任务表现(振动触觉分类准确率):* 自由场条件下的次任务准确率显著低于两种混响条件,而两种办公室之间无显著差异;单任务表现显著优于双任务。混响条件下错误率下降可能归因于困难情境下参与者注意力更为集中,而非听音努力降低,因为听音努力主要体现在单任务与双任务之间的表现差异上。
*次任务反应时间:* 单任务条件下三种声学条件间无显著差异,排除了声学条件对非听觉任务本身的直接影响。双任务条件下,自由场的反应时间显著短于两种混响条件,表明混响增加了听音努力;已处理办公室与未处理办公室之间无显著差异。
**讨论与结论**
研究结果表明,与自由场条件相比,混响降低了文本理解和记忆表现,并增加了行为听音努力。在语言理解容易度(ELU)框架下,混响导致时间包络模糊和音位线索保真度降低,引发从快速自动加工向努力的工作记忆依赖加工的转变;一旦显性加工路径被激活,混响时间从T
30 = 0.5 s延长至T
30 = 1.0 s未产生额外的准确率损失。研究还指出,单独使用混响时间可能不是听音努力的可靠预测指标,未来研究应结合清晰度(C
50)或语音传输指数(STI)等多维声学参数。次任务反应时间被证明是比准确率更敏感的行为听音努力指标。研究结论强调,在视听环境中开展听力实验时考虑房间声学的重要性,并为在更接近现实生活的条件下研究听音努力和记忆提供了方法学参考。