《Trends in Hearing》:How Temporal Overlap in Task Processing and Acoustic Load Affect Listening Effort in Adults
编辑推荐:
倾听努力(listening effort)反映了为克服听觉Processing中的障碍而分配的认知资源。虽然已知声学退化(如噪声、混响)会影响倾听努力,但关于任务处理的时间重叠如何影响成人的努力倾听知之甚少。本研究使用序列双任务范式(sequential d
倾听努力(listening effort)反映了为克服听觉Processing中的障碍而分配的认知资源。虽然已知声学退化(如噪声、混响)会影响倾听努力,但关于任务处理的时间重叠如何影响成人的努力倾听知之甚少。本研究使用序列双任务范式(sequential dual-task paradigm),操纵刺激起始异步(stimulus onset asynchrony, SOA;0.05 s、0.25 s、1.5 s、单任务)、噪声条件(静音、0 dB信噪比SNR下的多人谈话嘈杂声multi-talker babble, MTB)和声学环境(消声anechoic、T30 = 0.49 s的房间效应),考察了26名成人的行为和主观倾听努力。通过缩短SOA增加任务难度,显著延长了词语识别的反应时(response time, RT)并提高了主观努力评分,即使在语音可懂度保持较高(~90%)的情况下也是如此。噪声效应仅在较长SOA时出现,但在容量耗竭的极短SOA处消失,表明SOA是比噪声暴露更强的倾听努力预测因子。有趣的是,在静音条件下,轻度混响相比消声条件降低了行为倾听努力。
研究背景与问题提出
倾听努力是理解具有挑战性的声学环境中沟通的关键构念。在"理解努力倾听框架"(Framework for Understanding Effortful Listening, FUEL)中,倾听努力被定义为有目的地分配有限认知资源以克服目标导向听觉Processing中的障碍。现有研究主要采用行为、主观和生理三类测量方式。常见的行为测量方法包括双任务(dual-task)和单任务(single-task)范式。双任务范式基于Kahneman的容量有限理论,即如果增加了倾听努力,则可用于额外任务的资源减少。双任务范式又分为两类:一类是评估双任务表现相对于单任务表现的干扰量(本研究称为并行范式concurrent paradigm),另一类是考察任务Processing的时间重叠导致的干扰,即心理不应期(psychological refractory period, PRP)或序列范式(sequential paradigm)。
目前倾听努力研究主要使用并行双任务范式,仅有少数研究采用序列双任务范式。然而,据研究人员所知,尚无研究使用明确考虑PRP效应的序列双任务范式来研究成人的倾听努力。PRP效应指的是当第二个任务紧接第一个任务时,由于两者的同时认知Processing而导致第二个任务的Processing效率降低。本研究中的第二个任务是言语感知(speech perception),第一个任务是视觉决策任务(visual stimulus detection)。这种序列Processing类似于日常对话被手机通知等竞争性视觉事件打断的情形。
结构瓶颈模型(structural bottleneck models)认为response selection是中央瓶颈(central bottleneck),不能同时并行处理;而容量有限模型(capacity-limited models)如FUEL(单一容量模型single capacity model)和Wickens的多重容量模型(multiple capacity model)认为表现取决于一个或多个认知资源池的量和分配。Kuchinsky等(2024)比较了FUEL与Wickens多重容量模型(经Horrey等扩展,包括听觉、视觉、外周和运动、认知四种容量),当两个任务在一个或多个领域竞争重叠资源时,就会出现双任务干扰。本研究通过操纵任务Processing的时间重叠,旨在探讨结构瓶颈和共享资源限制之间的相互作用如何塑造行为和主观倾听努力。
技术方法概述
本研究招募了26名20至30岁、听力正常、德语流利的成人(最终分析25人),在隔音测听室中开展实验。关键技术包括:采用序列双任务范式,第一任务为视觉决策(圆圈中目标动物"熊"的左右判断),第二任务为词-图匹配(word-to-picture matching)的言语识别任务,通过操纵SOA(0.05 s、0.25 s、1.5 s及单任务)诱发PRP效应。声学刺激通过个体化头相关传递函数(head-related transfer function, HRTF)进行双耳空间化渲染,使用MATLAB和Virtual Acoustics 2022a构建虚拟声学环境,播放设备为Sennheiser HD 650开放式耳机并做个体化耳机均衡。噪声条件为静音与四人MTB(0 dB SNR),声学环境为消声与模拟房间效应(T30 = 0.49 s)。主观倾听努力采用Seitz等(2024)开发的三问题五点Likert量表问卷。统计分析使用R 4.4.1,RT经倒数转换后拟合线性混合模型(LMM),错误率使用二项分布的广义线性混合模型(GLMM),主观评分计算Cronbach's α内部一致性后求和得倾听体验分数(listening experience score, 0–12分),并进行Spearman秩相关分析。
研究结果
3.1 倾听实验结果(Listening Experiment Results)
3.1.1 词语识别任务的反应时(Response Time in the Word Recognition Task)
线性混合模型(LMM)分析显示,任务难度(χ2(12) = 359.57, p < .001)、噪声条件(χ2(8) = 26.03, p = .001)和声学条件(χ2(8) = 18.676, p = .017)均有显著主效应。总体而言,MTB条件下的RT显著慢于静音条件,房间效应条件下RT长于消声条件。任务难度方面,RT随SOA缩短而增加(单任务1.33 s → SOA 1.5 s 1.33 s → SOA 0.25 s 1.47 s → SOA 0.05 s 1.61 s)。噪声条件与声学条件的交互(χ2(4) = 10.03, p = .0399)以及噪声条件与任务难度的交互(χ2(6) = 12.61, p = .0497)均显著。事后检验表明,有房间效应时MTB条件RT(M = 1.52 s)显著长于无噪声条件(M = 1.36 s);在无噪声条件下,消声条件(M = 1.40 s)RT显著长于房间效应条件(M = 1.36 s)。噪声与任务难度交互的分析显示,MTB仅在单任务和SOA = 1.5 s时显著延长RT,而在较短SOA时差异不显著。
3.1.2 词语识别任务的表现(Performance in the Word Recognition Task)
广义线性混合模型(GLMM)分析错误率(error rate, ER)显示,噪声条件(χ2(8) = 195.07, p < .001)、声学条件(χ2(8) = 20.06, p = .01)和任务难度(χ2(12) = 21.49, p = .044)均有显著主效应,任务难度与声学条件存在交互(χ2(6) = 13.15, p = .041)。MTB的错误率显著高于静音,房间效应高于消声。但Bonferroni校正的事后比较均未达显著,且总体可懂度在各条件下均保持在~90%,表明任务难度操纵未显著影响言语理解准确性。
3.1.3 决策任务的反应时(Response Time in the Decision Task)
决策任务RT的分析揭示了任务难度的显著主效应(χ2(12) = 200.78, p < .001)。所有SOA条件(SOA = 1.5 s: M = 1.27 s;SOA = 0.25 s: M = 1.26 s;SOA = 0.05 s: M = 1.26 s)均显著慢于单任务(M = 1.14 s),表明双任务操纵本身增加了决策任务的认知负荷。
3.1.4 决策任务的表现(Performance in the Decision Task)
决策任务的错误率分析未发现显著的主效应或交互(p > .05),平均错误率为M = .02, SD = 0.03,说明双任务操纵未损害决策任务的准确性。
3.2 主观倾听努力(Subjective Listening Effort)
Cronbach's α = .758,表明三个问卷变量具有良好的内部一致性。对于倾听体验分数,LMM揭示了任务难度(χ2(4) = 17.22, p = .002)和噪声类型(χ2(4) = 52.03, p < .001)的显著主效应。具体而言,SOA条件(双任务)的主观评分显著高于无SOA条件(单任务),MTB条件显著高于静音条件。声学条件的主效应不显著。Spearman相关分析显示,在MTB条件下(消声和有房间效应时),行为RT与主观评分显著正相关,而在静音条件下相关不显著。
讨论与结论翻译
4.1 不利声学对倾听努力的影响(Influence of Adverse Acoustics on Listening Effort)
假设一得到部分支持。MTB如预期增加了行为和主观努力,且行为与主观测量在MTB条件下显著相关,这与Holube等(2016)、Seitz等(2024)和Gatehouse与Gordon(1990)的行为结果一致,支持了FUEL模型。然而,静音条件下消声环境的RT显著高于有房间效应条件,这与Picou等(2016)的趋势一致,但与Prodi和Visentin(2019)和Huang等(2022)的发现相反。研究人员认为,一定范围的混响可能有利于轻松的言语Processing,因为消声场景本身是不自然的。这一发现提示未来需要在从技术临界距离到言语识别不再恶化的距离之间,以多种混响时间进行研究,若结果一致,FUEL关于混响影响的表述可能需要修订。
4.2 任务难度对倾听努力的影响(Influence of Task Difficulty on Listening Effort)
假设二被接受。缩短SOA显著增加了词语识别RT和决策任务RT以及主观努力评分,三个汇聚的测量一致表明SOA增加了任务难度和倾听努力。值得注意的是,即使言语可懂度保持高(~90%)且不受任务难度影响,努力仍增加,这与FUEL"倾听努力反映认知资源分配,独立于可听度"的主张一致。由于任务难度操纵同时影响了词语识别和决策任务的RT,数据更支持有限容量模型(limited capacity model)而非中央瓶颈理论(central bottleneck theory)——后者预期只有第二个任务(词语识别)的RT受SOA影响。
4.3 不利声学与任务难度的交互效应(Interaction Effect of Adverse Acoustics and Task Difficulty on Listening Effort)
假设三仅得到部分支持。噪声与任务难度的交互在行为测量中显著,但MTB仅在长SOA和单任务时显著增加RT,在最短SOA时不显著——说明SOA是比噪声类型或声学条件更强的预测因子。在容量耗竭的极短SOA处,噪声的额外效应"消失"了。在多重容量模型框架下,如果噪声和视觉任务竞争不同的容量域(听觉vs.视觉),本预期在短SOA时RT进一步增加;但实际结果更符合单一容量模型(如FUEL),即在最短SOA时多任务情境已逼近参与者的可用容量。这提示在多任务Processing中可能存在对自动注意机制的内在优先化(innate prioritization),超越了对输入相关需求(如噪声)的处理。Beechey和Naylor(2025)扩展了FUEL,将适应容量更广泛地概念化并纳入自愿优先化,未来研究可考虑纳入非自愿优先化机制。
5. 结论(Conclusion)
本研究使用诱发PRP效应的序列双任务范式考察了成人的行为和主观倾听努力。通过系统操纵SOA形式的时间重叠、噪声条件和声学环境,研究瞄准了倾听努力与结构瓶颈及认知资源容量模型之间的相互作用。四项关键发现如下:
第一,MTB显著影响了行为倾听努力(表现为更长的词语识别反应时)并提高了主观努力评分。此外,在MTB条件下行为和主观测量显著相关。
第二,与FUEL预测相反,安静条件下的轻度混响(T30 = 0.49 s)比消声环境的行为倾听努力显著更低。这一发现与Picou等(2016)一致,而与Prodi和Visentin(2019)矛盾,强调未来需要研究多种混响时间对倾听努力的影响。
第三,缩短SOA形式的任务难度显著升高了行为和主观倾听努力,即使言语可懂度保持高且不受影响(~90%),支持了FUEL关于可听度与努力分离的主张。由于操纵任务难度同时影响了词语识别和决策任务的RT,本研究数据更支持有限容量模型而非中央瓶颈理论。
第四,噪声与任务难度在行为倾听努力上出现了显著交互,揭示SOA是比声学负载更强的预测因子。未来研究应进一步探索时间任务需求相对于声学逆境的优先化机制。
本研究发表于《Trends in Hearing》期刊,DOI: 10.1177/23312165261472354。