助听器中的运动引导噪声管理技术通过控制瞳孔大小和心率来降低听觉负荷与压力

《Ear and Hearing》：Motion-Steered Noise Management in Hearing Aids Reduces Listening Effort and Stress Indexed by Pupil Size and Heart Rate

　　目标：头部和身体的运动会影响实际的听力效果，但在助听器的临床评估中这些因素往往被忽视。这降低了评估的生态有效性，并限制了对基于运动特征的评估。为了解决这个问题，本研究引入了一种新颖的实验方法，在无回声室内使用虚拟现实（VR）来模拟自然的人类听觉行为，该环境配备了球形64通道扬声器阵列和自然化的两阶段听觉任务。我们假设通过手腕佩戴的设备非侵入性地获取的心率以及瞳孔测量数据能够敏感地反映听觉难度和助听器技术的差异。

设计：共有32名参与者（N = 32）可以自由移动头部和身体方向以完成两个听觉任务，并在这两个任务之间进行自然过渡。首先，他们需要在15个声源位置中找到目标说话者，然后理解来自该位置的33秒新闻片段。通过引入两个或四个干扰说话者来改变任务难度，这些干扰说话者位于不同的空间位置。记录逐次心跳次数，并根据干扰说话者的数量计算听觉压力（以每分钟的心跳变化来表示）。此外，使用VR头戴设备中的头部摄像头记录瞳孔扩张情况，以估计持续的听觉努力程度。在整个实验过程中跟踪头部的方向和视线方向。参与者使用了两种不同的助听器模型，这两种模型都采用了基于深度神经网络的降噪系统。然而，只有一种模型利用嵌入式加速度计的头部运动信息来调整降噪效果。

结果：在有四个干扰说话者的情况下，言语理解能力下降，而心率和瞳孔扩张增加。比较两种助听器模型时，言语理解能力相似，但没有利用头部运动信息的模型在心率和瞳孔扩张方面明显更高。我们还发现，在同一参与者的不同试验中，瞳孔扩张和心率之间存在显著的正相关关系。

结论：结合非侵入性心率监测的VR是一种有效的评估助听器在自然环境中的方法。这种方法允许头部运动和身体方向的改变，这对于评估通过运动检测来调节的助听器功能是必要的。相对心率对任务难度和助听器技术都很敏感，这与瞳孔扩张的变化一致，表明通过运动调节的助听器降噪功能可以通过减少听觉压力和努力来提高言语理解能力。

引言：头部和身体的运动显著影响现实世界（Borschke等人2024年）和自然环境下的听力效果（Gessa等人2025年）。例如，人们通常会朝说话者的方向调整姿势或以接近说话者的角度调整身体位置，保持头部不动以优化听觉效果（Grange & Culling 2016年；Hadley等人2021年；Higgins等人2023年）。在复杂的环境中，为了寻找对话伙伴，需要更大的头部运动和转向来提高言语接收能力（Slomianka等人2024年）。然而，传统的听觉测试通常要求参与者在听音时保持静止，并面向目标，以便控制声学条件，并能够应用一些客观的测量方法（例如瞳孔测量），这些方法通常较为繁琐且具有侵入性。这些限制阻碍了自然行为的体现。作为解决方案，虚拟声音环境（VSEs）被用来在控制声音场景的同时实现高水平的声学真实性，并允许参与者移动。这些环境使用多个扬声器围绕听众布置，产生高水平的声学真实感。尽管虚拟声音环境和真实声音环境之间仍存在一些差异，但VSEs已被验证为测试助听器的有效方法，并且与常见的测量方法相比具有更高的生态相关性（Cubick & Dau 2016年；Oreinos & Buchholz 2016年；Ahrens, Marschall等人2019年）。为了进一步提高自然感，VSEs与虚拟现实（VR）结合使用了视觉场景（Stecker等人2018年；Ahrens, Lund等人2019年；Hohmann等人2020年）。这些虚拟视听环境可以引入视觉线索，例如与听觉任务和助听器处理功能评估相关的线索（Wu & Bentler 2010年）。将VSE与VR结合已应用于多项研究中，这些研究再现了自然的人类行为和在控制条件下的表现（Hendrikse等人2019年）。Fichna等人（2021年）评估了场景复杂性和场景的视觉表现对心理声学指标（包括声源定位和言语理解）的影响，结果表明虚拟环境在生态上表现恰当。同样，Ahrens & Lund（2022年）通过要求听众在干扰声音源中找到目标故事来研究他们的言语理解能力，发现增加说话者的数量以及回响会使得正常听力者更难以像在真实世界中那样分析场景（Slomianka等人2024年）。因此，结合VR的VSEs对于评估更自然的听觉任务是一种有前景的方法，因为它们允许参与者移动以找到说话者并调整头部方向以优化言语接收，这与传统的言语理解测试不同，在传统测试中，受试者必须保持静止且面向前方。这在评估使用自动运动调节功能的设备时尤为重要。使用限制较少的自然环境可以更突出地展示助听器的功能和降噪效果（例如波束成形和降噪），这些效果依赖于运动识别（Branda & Wurzbacher 2021年；Braendgaard等人2024年）。然而，这种方法仍然没有解决大多数客观评估方法（例如桌面安装的瞳孔测量）的侵入性问题，这些方法要求参与者在听音时保持静止或注视固定物体。这是不幸的，因为之前的研究表明，助听器的降噪功能可以减少听力损失者的听觉努力指标（例如瞳孔扩张）（Fiedler等人2021年），而听力损失者在言语感知过程中通常会经历比正常听力者更大的听觉努力（Ohlenforst等人2017年）。因此，依赖于较少侵入性方式的客观测量方法（例如手环）可能在更自然的环境中成为评估助听器降噪功能的理想选择。特别是在考虑行为表现相同的听觉任务时，通过外围测量的生理反应可以帮助揭示代表压力和努力激活的差异（Mackersie & Cones 2011年；Mackersie & Calderon-Moultrie 2016年）。努力被定义为“在完成任务过程中为克服障碍而有意分配的心理资源”，而听觉努力指的是涉及听觉的任务（Pichora-Fuller等人2016年）。因此，听觉努力的指标有助于在没有行为影响的情况下评估听觉任务的难度。传统上，听觉努力是通过听觉刺激引起的瞳孔扩张变化来量化的，扩张增加反映了认知资源的增加（Zekveld等人2018年）。另一方面，生理压力是一种普遍现象，其特征是在内在或外在触发因素后生理唤醒和激素（皮质醇和皮质酮）的变化（Romero 2004年；Gaidica & Dantzer 2020年）。目前尚不清楚一般压力的测量方法（例如心率变化）在评估与听觉相关的效果时能否替代传统的瞳孔测量。虽然瞳孔大小与蓝斑-去甲肾上腺素系统及心血管系统之间的通路尚不清楚（Papesh & Goldinger 2024年），但已有研究提出，瞳孔大小和心率都受到交感神经和副交感神经系统活动的共同影响（Bradley等人2008年；Finke等人2017年；Jer?i?等人2020年）。在心理生理学中，Wang等人（2018年）记录了在处理情感面孔时心率和瞳孔扩张之间的正相关关系。但在特定情况下，瞳孔扩张和心率甚至直接相关，并且在情绪冲突和价值处理过程中逐次试验都呈现正相关（Chang等人2025年）。因此，在困难条件下持续听音时的唤醒可能同时反映在瞳孔大小（代表听觉努力）和心率（代表听觉压力）上。Sarangi和Johnson（2024年）的研究进一步支持了这一观点，他们表明手环可以作为研究级生理监测的替代方法，用来表示对听觉难度的心理生理反应，即听觉压力。他们的研究中，在不同的信噪比（-4至+8 dB）下重复进行了言语感知任务，并使用可穿戴传感器记录了心率、皮肤电导率和呼吸率，并与实验室级别的记录进行了比较。结果表明，主要是心率（无论是来自可穿戴设备还是实验室级别的设备）对听觉条件的客观难度变化敏感。

本研究结合了最小侵入性的生理唤醒客观测量方法（使用手环测量心率和使用VR头戴设备中的内向摄像头测量瞳孔扩张）与VSE中的听觉任务，以再现生态上有效的听觉实验。VSE设置在无回声室内，配备了球形64通道扬声器阵列，听觉任务通过VR呈现。我们假设客观测量方法（心率和瞳孔扩张）能够确定任务难度和助听器技术，特别是那些通过运动检测来调节功能的助听器。具体来说，我们预计在更困难的听觉条件下，瞳孔扩张和心率会增加，并且助听器技术会对此产生影响。此外，我们假设同一参与者的不同试验中的瞳孔扩张和心率变化之间存在相关性，表明这两种测量都受到自主神经系统变化的共同影响。尽管本研究中使用的瞳孔测量方法可能具有一定的侵入性（例如需要VR头戴设备），但它仍然允许移动，这与桌面安装的瞳孔测量方法有所不同。

材料与方法
伦理：本研究已获得丹麦科学伦理委员会的伦理批准，参考编号为H-16036391。所有参与者在参与研究前都签署了知情同意书，并获得了 hourly 的金钱补偿。

参与者：共招募了32名母语为丹麦语的参与者（13名女性），平均年龄为69.4岁（范围 = [48, 82岁]；标准差 = 7.3岁），都是至少使用助听器6个月的经验丰富的使用者，且患有稳定的双耳性感音神经性听力损失，三个频率的最大值不对称度不超过15分贝。他们的纯音平均听阈（0.5、1、2和4 kHz）为右耳41.33分贝HL（标准差 = 11.10分贝）和左耳39.96分贝HL（标准差 = 11.50分贝）。排除标准包括影响瞳孔收缩或扩张的眼部疾病或状况；眼部手术；影响自主神经系统的药物摄入；手部灵活性障碍；以及活动性耳部疾病。

设备：视觉场景由HTC Vive Pro Eye VR头戴设备再现，该设备包括使用集成摄像头的瞳孔测量功能（图1A）。瞳孔扩张以及头部和眼动的方位角和高度以大约90 Hz的采样频率连续记录。Vive Pro Eye已被证明能够生成适合行为研究的眼部和头部跟踪数据（Niehorster等人2017年；Schuetz & Fiehler 2022年）。此外，参与者佩戴了Empatica E4医疗级手环（Empatica Srl，意大利，见图1A），并通过Empatica的专有软件从连续记录的光电容积图中提取逐次心跳次数。实验任务用MATLAB（版本2020a）编码，VR中呈现的视觉场景用Unity（版本2018.3.5f1）编码。在两种情况下，所有设置都恢复为默认值，并激活了自适应噪声管理功能，同时使用了声波耦合的“功率穹顶”技术。增益根据每位参与者的听力损失情况进行了调整，调整依据是制造商更新后的Voice-Aligned Compression (VAC+)拟合算法，该算法基于Buus和Florentine（2001年）的研究数据，旨在优化语音理解和音质。所使用的助听器模型具有相似的功能特点（例如风噪管理、反馈管理策略、相同的待调谐带宽、64个处理通道），但在自适应噪声管理的实现上有所不同。这两种助听器都采用了快速响应的24通道降噪系统，结合了高分辨率的最小方差无失真响应波束形成器，以及基于深度神经网络的后置滤波器（Andersen等人，2021年），该滤波器通过处理真实声音场景中的跨通道信息来增强语音和噪声的对比度。助听器A利用声音环境的声学信息来调整处理方式，而助听器B还集成了来自内置加速度计的运动信息（Braendgaard等人，2024年）。因此，在相同的嘈杂环境中，助听器B根据运动情况的不同可以提供更高的信噪比（SNR）优势，而助听器A的信噪比则不受运动影响（Braendgaard等人，2024年）。

实验分为两个部分，每个部分包含24次试验，每次试验使用一种助听器模型。助听器模型的顺序在参与者之间进行了随机分配并保持平衡。在完成适配和适应后，参与者坐在一个无回声室的中心（图1A），该房间配备了64个球形扬声器（详情参见Ahrens、Marschall等人，2019年）。随后，虚拟现实（VR）头显（图1A）再现了一个模拟空房间的视觉场景（图1B），房间内铺有木地板并用墙壁板围成（见图1B中的截图）。在正面视角（±105° 视角）内，15个半透明的人形虚拟形象以均匀分布的半圆形排列，其间间隔为15° 视角，与实际的扬声器位置对齐。每次实验大约持续1.5小时，另外还有30分钟用于助听器的适配和测试适应。不同干扰说话者数量（两个或四个）的试验以伪随机方式呈现，每位参与者遇到的干扰说话者数量相同。试验开始时，背景噪声和目标说话者的声音同时出现（图1B中的t = 0秒），随后显示一个视觉符号（t = 3秒），提示目标说话者的故事内容。在参与者点击正确的虚拟形象进行定位响应后，会有一个7秒的倒计时，期间仅能听到前三个数字，之后才开始播放新闻片段以进行语音理解任务。这个倒计时有助于参与者在未能识别目标说话者时重新调整方向。在语音定位任务和语音理解任务之间，场景的视觉内容始终保持不变。整个试验过程中，五种形状类似语音的背景噪声从五个扬声器中播放。目标说话者的音频材料在试验和助听器模型之间随机分配，但在有两种或四种干扰说话者的条件下进行了平衡处理。每个试验块结束后，参与者需要使用中央显示的连续评分量表（范围0到100）来报告他们感知的努力程度、对新闻片段的参与度以及整体音质。

**语音感知与定位任务**
每次试验中，参与者需要从15个虚拟形象中识别出目标说话者的位置。目标说话者的故事内容通过出现在参与者前方（即0° 视角）的视觉图标来提示，该图标象征故事的主题（例如，“吉他”图标表示故事与音乐和吉他演奏有关，见图1C）。同时出现的干扰说话者数量在两个到四个之间变化，所有说话者覆盖的视觉角度范围分别为：两种干扰说话者时为45°至75°；四种干扰说话者时为75°至90°；超过四种干扰说话者时超过90°。目标说话者的绝对位置在正面区域（±60°）或侧面区域（±75°至±105°）内以伪随机方式变化（但对所有参与者来说是统一的）。为了鼓励参与者尽快找到正确答案，实验要求他们尽可能快速地完成任务。正确回答后，相应的虚拟形象会变为绿色。

**语音理解任务**
在完成语音定位任务后，接下来进行语音理解任务，首先会显示一个7秒的倒计时。在此期间，如果参与者在定位任务中回答错误，他们会被提示调整姿势和注意力。在进行语音理解时，参与者需保持静止，目光集中在目标说话者身上，并仔细聆听33秒的新闻片段，同时忽略其他两个或四个干扰说话者的声音。每次试验结束后，会给出关于新闻片段内容的陈述，例如“前往哥本哈根的游轮游客数量正在增加”。参与者需要判断这个陈述是正确的还是错误的（即正确概率为50%）。

**音频材料**
用于语音定位任务的音频材料来自一个包含丹麦语独白录音的数据库（Ahrens & Lund，2022年）。该数据库包含10个故事，每个故事由10位母语为丹麦语的说话者录制，从而形成了100种独特的内容和说话者组合，这些组合在语音定位任务和干扰说话者任务中分别作为目标内容和干扰声音使用。其中5位女性说话者和5位男性说话者参与录音。由于其中一位女性说话者的声音属于测试主持人的声音，因此被排除在本研究之外。每个故事都有独特的内容主题，并配有相应的视觉标识图标。在语音理解任务中，目标说话者的声音被替换为一段时长33秒的、由女性和男性说话者录制的、内容中立的丹麦语新闻片段（Fiedler等人，2021年）。两种任务中说话者的性别保持一致。背景噪声由五个扬声器播放，这些扬声器位于听者背后的不同位置（±120°、±150°和180°）。背景噪声以及所有干扰说话者的声音强度均被单独校准至65分贝（dB）。

**数据预处理与过滤**
瞳孔扩张数据按照文献中的推荐方法进行处理（Winn等人，2018年）。具体来说，选择了右侧眼睛的数据，因为该眼眼部的数据保留较多；通过插值处理去除了每次检测到眨眼时-30至+100毫秒范围内的信号干扰；然后对单个瞳孔信号进行基线校正，以消除每次试验和每位参与者在音频开始前3秒内的平均扩张值；仅保留原始信号的70%以上的部分用于后续处理。最后，将数据下采样至1赫兹（Hz）并进行了低通过滤。为了便于可视化和进行组内分析，心率数据参照了在仅有两个干扰说话者的情况下较容易完成的语音理解任务期间的平均心率值。这一处理方法消除了个体间静息心率差异的影响。

对于瞳孔和心率数据，所有信号都被截取到35秒长，即距离新闻片段开始前5秒的位置。这样做是为了减少运动和反应准备带来的影响。此外，数据按照目标说话者的位置角度进行了合并处理。在瞳孔扩张数据分析中纳入了24名参与者的数据，在心率数据分析中纳入了20名参与者的数据。从瞳孔扩张分析中排除的3名参与者中，有3名是因为原始信号的预处理和过滤问题，1名是因为助听器B的基线瞳孔尺寸异常（见图2A），另有4名参与者因未记录到足够的瞳孔数据而被排除（见“限制”部分）。从心率分析中排除的12名参与者是因为他们的原始数据在预处理后剩余的有效观测值不足。

**统计分析**
瞳孔扩张和心率数据分别作为因变量，在R语言（版本4.4.3）中使用mgcv包（版本1.9，Wood 2017）实现的广义加性混合模型（GAMMs）中进行建模，该模型特别适用于瞳孔测量分析（van Rij等人，2019年）。在模型中，干扰说话者的数量（2个或4个）和助听器模型（A或B）被编码为一个四级别的分类变量“Condition”，并作为参数项纳入模型以解释结果变化的整体趋势。为了考虑瞳孔大小和心率随时间的变化（即时间过程），模型中包含了“Time by Condition”这一平滑项。此外，一些不太重要的实验条件也被作为参数项和平滑项纳入模型（使用bam()函数中的“by”参数），以评估它们对瞳孔扩张和心率变化的影响。随机效应项包括参与者（Participant）和试验次数（Trial number）随时间的因素平滑处理。为了进一步考虑试验内个体行为对瞳孔扩张和心率变化的影响，还加入了注视方向（azimuth和level）以及手部运动（加速度计向量幅度SD）的平滑项。为了消除残差中的自相关，对每个独特的信号数据加入了随机斜率（用分类变量Event编码），并结合了不含自回归项的第一阶自回归误差项（van Rij等人，2019年）。这些步骤有效地将残差中的自相关降低到了可接受的水平（滞后1时小于0.3，滞后1以上快速衰减），同时保持了模型的拟合效果（Porretta等人，2018年）。使用itsadug R包（版本2.4.1）的check.gam()函数验证了每个平滑项所需的结点数量（参数k默认设置为9），并通过可视化检查确保默认分布函数（高斯分布）产生的残差呈正态分布。随后，基于参数项的摘要统计结果以及对基线条件的重新编码，使用itsadug包在R中绘制了不同条件下的时间变化图，从而对瞳孔大小或心率变化的差异进行了统计推断。

为了补充基于模型的分析，我们还应用了基于聚类的排列分析（CPA，Maris & Oostenveld，2007年），这是一种用于时间序列统计推断的非参数方法（Colizoli等人，2025年）。CPA并不是对瞳孔扩张和心率变化差异的独立检验，而是用于增强对这些变化真实性的统计支持（即“联合检验”，Rubin，2021年）。基于混合效应模型的CPA在R语言中通过permutes包的clusterperm.lmer函数（Lee & Braun，2012年）实现。

听力学努力的主观评分、参与度和音质评价使用了线性混合效应（LME）模型，其中助听器模型作为固定因素，参与者作为随机截距进行了建模。在每次试验中，通过广义线性混合效应模型评估了言语理解表现，该模型采用了二项链接函数，并固定了助听器型号、干扰说话者数量及其交互作用的影响，同时还加入了参与者的随机 intercept。通过对方差的分析来评估生理基线，这些分析应用于线性混合效应模型（LME），以检验不同试验之间（例如，不同助听器型号）以及同一参与者内不同干扰说话者数量之间的系统差异。最后，使用 LME 模型对每次试验的平均心率和瞳孔扩张进行了相关性分析。具体来说，该模型根据瞳孔扩张预测心率，并额外考虑了助听器型号的固定效应，以解释不同测试试验之间截距的差异。LME 和广义线性混合效应模型是使用 R 语言中的 lme4 包（版本 1.1-37）实现的，其 p 值近似是通过 sjPlot 包（版本 2.8，Lüdecke 2021）基于 t 统计量得出的，并参考了助听器型号 A 和两个干扰说话者的条件。言语理解表现的成对比较是使用 emmeans R 包（版本 1.11）进行的。在所有情况下，通过视觉确认原始条件残差是否落在直线（y = x）的 95% 置信区间内（即 QQ 图）来验证 LME 模型的适用性。

### 行为表现
在有两个干扰说话者的情况下，使用助听器 A 的言语理解任务正确回答比例为 73.96%（标准差 SD = 14.47%），使用助听器 B 的正确比例为 76.56%（标准差 SD = 15.47%）。当有四个干扰说话者时，这些正确回答比例分别为 63.02%（标准差 SD = 15.69%）和 66.15%（标准差 SD = 17.19%）。使用助听器 A 和助听器 B 的表现没有显著差异（两个干扰说话者：比值比 = 0.868，标准误 SE = 0.147，p = 0.396，Cohen d = 0.144；四个干扰说话者：比值比 = 0.866，标准误 SE = 0.133，p = 0.357，Cohen d = 0.141）。然而，在四个干扰说话者的更困难条件下，表现显著低于两个干扰说话者的情况（使用助听器 A：比值比 = 0.590，标准误 SE = 0.094，z = ?3.305，p ≤ 0.001，Cohen d = 0.527；使用助听器 B：比值比 = 0.589，标准误 SE = 0.097，p = 0.001，z = ?3.231，Cohen d = 0.530）。当仅考虑有有效瞳孔测量数据的参与者（N = 24）或有有效心率数据的参与者（N = 20）时，这种表现模式没有变化。完整模型结果可在补充数字内容中的表 1 中找到，网址为：https://links.lww.com/EANDH/B891。

### 自我报告
在自我报告中，只有助听器型号对听力参与度的评分有显著差异（见表 1 中的统计模型摘要），助听器 A 的听力参与度较低。与理解表现一样，当考虑不同的参与者群体（即所有参与者与有有效瞳孔测量数据的参与者或有有效心率数据的参与者）时，效应模式也没有变化。

### 表 1
下表总结了每次实验块（即每种助听器型号的所有试验）结束后参与者报告的自我感知的听力努力、听力参与度和音质情况：

| | 所有观察值（N = 32） | 有效瞳孔数据（N = 23） | 有效心率数据（N = 20） |
|------------|-----------------|-----------------|-----------------------------|
| 听力努力 | Intercept HA A | Intercept HA A | Intercept HA A |
| | Est. = 88.08 | Est. = 87.30 | Est. = 87.43 |
| | ?5.13 | ?6.35 | ?7.00 |
| | SE = 3.00 | SE = 2.89 | SE = 3.72 |
| | 3.37 | 4.04 | 3.54 |
| | p < 0.001 | p < 0.001 | p < 0.001 |
| | 0.08 | 0.067 | 0.055 |
| | σ2 = 134.08 | σ2 = 130.62 | σ2 = 131.55 |
| ID (intercept) | 148.59 | 110.61 | 10.71 |
| | R2 (%) = 2.3/5 | R2 (%) = 3.1/6 | R2 (%) = 3.5/6 |
| 听力参与度 | Intercept HA A | Intercept HA A | Intercept HA A |
| | Est. = 89.11 | Est. = 89.39 | Est. = 88.19 |
| | ?9.25 | ?11.00 | ?9.14 |
| | SE = 2.96 | SE = 3.42 | SE = 3.76 |
| | 4.03 | 4.32 | 3.89 |
| | p < 0.001 | p < 0.001 | p < 0.001 |
| | 0.009 | 0.015 | 0.001 |
| | σ2 = 187.43 | σ2 = 134.08 | σ2 = 131.55 |
| ID (intercept) | 89.29 | 110.61 | 146.14 |
| | R2 (%) = 7.3/3 | R2 (%) = 7.2/8 | R2 (%) = 8.7/4 |
| | 音质 | Intercept HA A | Intercept HA A | Intercept HA A |
| | Est. = 83.08 | Est. = 81.96 | Est. = 84.14 |
| | ?2.47 | ?5.04 | ?2.62 |
| | SE = 3.32 | SE = 3.53 | SE = 4.22 |
| | 4.33 | 4.33 | 4.33 |
| | p < 0.001 | p < 0.001 | p < 0.001 |
| | 0.487 | 0.008 | 0.239 |
| | σ2 = 199.26 | σ2 = 204.79 | σ2 = 223.17 |
| ID (intercept) | 147.11 | 205.68 | 202.2 |
| | R2 (%) = 0.4/4 | R2 (%) = 2.7/1 | R2 (%) = 8.7/4 |

### 生理基线效应
通过对新闻片段开始前 3 秒内的平均瞳孔扩张值进行减去处理，对瞳孔扩张数据进行基线校正。通过对整个新闻片段播放期间（有两个干扰说话者）的平均心率进行减去处理，对心率数据进行校正。由于更换助听器型号需要重新调整助听器的位置，我们比较了不同助听器的基线值，以评估是否存在系统偏差。有一名参与者在使用助听器 B 的情况下，在两个和四个干扰说话者条件下基线瞳孔扩张值均高于使用助听器 A 的情况（见图 2A），因此该参与者被从后续分析中排除。对于其余参与者，不同助听器型号之间的基线值没有系统差异（瞳孔扩张：F = 0.012，p = 0.915；心率：F = 2.018，p = 0.161），也没有因干扰说话者数量的不同而产生系统差异（瞳孔扩张：F = 0.963，p = 0.330；心率：F = 0.543，p = 0.464），助听器型号与干扰说话者数量之间的交互作用也不显著（瞳孔扩张：F = 0.003，p = 0.958；心率：F = 0.007，p = 0.935）。完整模型结果可在补充数字内容中的表 2 中找到，网址为：https://links.lww.com/EANDH/B892。

### 瞳孔扩张随听觉条件的变化
图 3 根据助听器型号（图 3A、B）或干扰说话者数量（图 3C、D）显示了瞳孔扩张随时间的变化。在所有情况下，新闻片段开始后的 7 秒时瞳孔会收缩，表明听力持续进行（Fiedler 等，2021）。由 GAMM 模型中的参数项量化的整体水平与初始基线条件（使用助听器 A 和两个干扰说话者）与所有其他条件没有差异。然而，重新编码基线条件后发现，使用助听器 A 和四个干扰说话者时的瞳孔扩张显著高于使用助听器 B 以及两个和四个干扰说话者的情况（估计值 = 0.026，标准差 SD = 0.011，t = 2.370，p = 0.018；估计值 = 0.024，标准差 SD = 0.011，t = 2.181，p = 0.029）。与心率类似，使用助听器 B 的情况下，不同干扰说话者条件之间的瞳孔扩张没有显著差异（估计值 = 0.002，标准差 SD = 0.011，t = 0.203，p = 0.839）。时间曲线（图 3）显示，仅在使用助听器 A 的情况下，在试验的早期阶段（大约 12 到 20 秒之间）瞳孔扩张存在显著差异。此外，直接比较不同助听器型号时，使用助听器 A 在两个和四个干扰说话者条件下均表现出更高的瞳孔扩张。对于前者，这种差异仅出现在听力任务的后期阶段（25 到 30 秒），而对于后者，显著性仅在早期阶段（10 到 22 秒）观察到。GAMM 差异曲线和 CPA 的结果一致，即尽管每种方法识别的时间区间不同，但显示的结果有所重叠。

### 效率
#### 助听器型号与干扰说话者数量的瞳孔扩张
表 2 总结了根据助听器型号和干扰说话者数量进行的瞳孔扩张的 GAMM 分析结果：

| | 参数项 | Est. | SE | p |
|------------|-----------------|------------------|------------------|
| | Intercept | ?0.044 | 0.021 | |
| | Talkers, HA A | 0.014 | 0.011 | |
| | 1.27 | 0.203 | |
| | Talkers, HA B | ?0.012 | 0.011 | |
| | 1.12 | 0.262 | |
| | 4 Talkers, HA B | ?0.010 | 0.011 | |
| | 0.011 | ?0.905 | |
| | 0.366 | | |
| | Target gender, male | ?0.008 | ?0.994 | |
| | 0.320 | | |
| | Sparsity, high | ?0.001 | ?0.081 | |
| | 0.935 | | |
| | Performance, correct | 0.004 | 0.009 | |
| | 0.406 | 0.685 | |
| | Smooth Terms | EDF | Ref.df | Fps |
| | (Gaze Az., Gaze Lev.) | 25.84 | 42.82 | |
| | (Time): 2 Talkers, HA A | 5.99 | 7.11 | |
| | (Time): 4 Talkers, HA A | 6.08 | 7.20 | |
| | (Time): 2 Talkers, HA B | 1.00 | 1.00 | |
| | 2.53 | 1.00 | 2.53 | |
| | (Time): 4 Talkers, HA B | 2.34 | 1.91 | |
| | (Time, Gen.): female | 4.41 | 5.48 | |
| | (Time, Gen.): male | 1.00 | 1.00 | |
| | 0.001 | 0.02 | 0.88 | |
| | (Time, Sparsity): low | 0.001 | 0.002 | |
| | 0.001 | 0.137 | |
| | (Time, Sparsity): high | 1.001 | 0.047 | |
| | (Time, Perf.): wrong | 1.91 | 2.28 | |
| | 0.003 | 0.004 | |
| | (Time, Perf.): correct | 0.003 | 0.004 | |
| | Factor Smooth Terms | EDF | Ref.df | Fps |
| | (Time, ID) | 154.82 | 218.00 | 277.54 | |
| | (Time, Trial nr.) | 95.46 | 82.00 | 11.38 | |
| | Random Slope Terms | EDF | Ref.df | Fps |
| | (Time, Event) | 975.45 | 110 | 28.00 | |
| | R2 = 0.61; deviance explained = 61.9%; | | |
| | number of observations = 40,287 | | |

#### 心率的变化
表 3 总结了根据助听器型号和干扰说话者数量进行的心率变化情况：

| | 参数项 | Est. | SE | p |
|------------|-----------------|------------------|------------------|
| | Intercept | 0.30 | 0.364 | |
| | 0.30 | 0.83 | |
| | 0.407 | 0.53 | |
| | 0.27 | 0.27 | |
| | 0.108 | 0.26 | |
| | 0.26 | 0.41 | |
| | 0.68 | 0.26 | |
| | 0.07 | 0.26 | |
| | 0.79 | 0.002 | |
| | 0.18 | 0.18 | |
| | 0.99 | 0.18 | |
| | Sparsity, high | ?0.109 | |
| | 0.109 | 0.57 | |
| | 0.566 | 0.094 | |
| | 0.212 | 0.44 | |
| | 0.657 | 0.212 | |
| | Smooth Terms | EDF | Ref.df | Fps |
| | (SDvec.) | 8.61 | 38.91 | |
| | (Time): 2 Talkers, HA A这意味着，在瞳孔散大程度较高的试验中，心率也有所增加。

图中显示了新闻片段展示过程中平均心率与平均瞳孔散大的关系，不同颜色代表不同的参与者，彩色线段则代表每个参与者和听力辅助设备配置的数据最佳线性拟合。黑色直线代表线性混合效应模型的预测结果，虚线表示截距上下一个标准误差的范围。

**讨论**
我们在一个新颖的自然主义听力实验中评估了言语理解能力，该实验结合了虚拟现实技术来再现视觉场景。在这种设置下，参与者可以自由移动上半身和头部位置，从而产生更自然的行为和过渡，这有助于提升听力辅助设备的测试效果，并增强其生态有效性（即其在实际使用环境中的有效性）。在整个实验过程中，通过可穿戴式手环记录连续的心率数据，并利用VR头戴设备中的内向摄像头测量瞳孔散大情况。

言语理解能力是通过正确回答有关33秒新闻片段的2AFC问题来计算的，这些新闻片段在有两名或四名干扰说话者的情况下播放。有四名干扰说话者时的表现低于只有两名干扰说话者的情况，但不同听力辅助设备型号之间的差异并不明显。因此，干扰说话者数量的调整成功地为两种听力辅助设备制造了相似的任务难度。这也意味着可以使用客观测量方法来比较这两种听力辅助设备的效果。由于达到了相同的 performance 水平，客观测量可以帮助揭示实际的听力努力程度，而不受其他认知过程（如记忆或注意力）的干扰（McGarrigle等人，2014年）。

瞳孔散大和心率对干扰说话者的数量敏感，但这取决于所使用的听力辅助设备型号。具体来说，在有四名干扰说话者的条件下，与只有两名干扰说话者的情况相比，无论是瞳孔散大还是心率都在某些时段显著增加（见图3A和4A）。使用听力辅助设备A时，瞳孔散大不受干扰说话者数量的影响，而心率在有四名干扰说话者的情况下会增加，但仅限于33秒新闻片段的前大约8秒内（而在使用听力辅助设备A的情况下为前14秒），之后心率会降至只有两名干扰说话者时的水平。值得注意的是，在干扰说话者数量较多的情况下，使用听力辅助设备A时的总体瞳孔散大和心率显著高于使用听力辅助设备B的情况（这一点在总体水平差异（参数项）和时间过程差异（见图3D和4D）中均有体现）。

瞳孔散大和心率的变化都使用了GAMMs（Generalized Additive Mixed Models）进行建模。尽管GAMMs之前已被成功应用于瞳孔大小数据的分析（Johns等人，2024年），但它们在听力任务中建模相对心率变化的应用仍然较少。为了确保结果的可比性，我们对瞳孔大小和心率采用了统一的参数化处理，并使用非参数检验来评估可能因模型设定不准确而产生的时间过程差异。从视觉上看，模型预测与观察到的瞳孔散大和相对心率变化轨迹非常吻合（见图3和4）。此外，GAMMs得出的差异曲线与CPA（Conditional Probability Accumulation）的结果揭示了与条件相关的显著差异区域。这种一致性表明GAMMs识别的时间过程效应是稳健的，并未被模型设定不准确所影响。

先前已有研究表明，瞳孔散大与持续的听力努力有关（Fiedler等人，2021年）。特别是在有四名干扰说话者的条件下，使用听力辅助设备A时，瞳孔散大的增加反映了更大的听力努力。此外，使用听力辅助设备B时，这种与努力相关的瞳孔散大增加现象有所减弱（见图3D），这表明听力辅助设备B可能更有效地减轻了复杂听觉环境带来的认知负担。

心率对环境因素的变化通常被解释为压力的指标（Gaidica和Dantzer，2020年）。在这里，我们认为使用听力辅助设备A时，随着干扰说话者数量（即背景噪音水平）的增加而出现的心率提升代表了“听力压力”，这一发现与先前的研究结果一致，即各种类型的噪音（无论是在实验室还是现实世界环境中）都会通过心率调制生理反应（Burns等人，2016年；Shoushtarian等人，2019年；Christensen等人，2021年；Sarangi和Johnson，2024年）。因此，在有四名干扰说话者的条件下观察到的心率增加，无论是在使用听力辅助设备A的整个听力任务过程中持续存在，还是主要发生在使用听力辅助设备B的早期阶段，都反映了听力压力。值得注意的是，使用听力辅助设备B后，这种效应在大约8秒后趋于缓解，因为心率回到了基线水平。

综上所述，客观听力努力和听力压力的系统性变化表明听力辅助设备A和B具有不同的优势。我们认为这是由于听力辅助设备B在自动调节降噪和方向性时考虑了环境因素和佩戴者的运动。也就是说，与听力辅助设备A相比，听力辅助设备B在头部旋转时提供了更宽松的方向性和降噪效果；而在理解任务中，降噪效果会得到增强，方向性会更加聚焦于目标说话者。另一方面，听力辅助设备A仅考虑来自听觉环境的声学线索，因此无论头部如何移动都必须提供平衡的降噪效果。这可能导致在言语理解任务中的降噪效果不够理想，因为不同听屏意图之间的转换没有通过适应性噪声管理得到支持。

有趣的是，对于两种测试的听力辅助设备模型，参与者报告的努力的程度、参与度和音质仅存在显著的差异。具体来说，参与者在使用听力辅助设备B进行言语理解任务时，他们对新闻片段的投入度更高，这与较少的听力努力和压力相符。然而，这些自我报告仅在每次实验结束后进行一次；它们可能无法捕捉到每次试验中任务难度或听力动机的波动。

我们还发现每次试验中瞳孔散大和心率之间存在一致性，这表明可能存在共同的机制影响这两种测量结果（C. A. Wang等人，2018年）。具体来说，在瞳孔散大程度较高的试验中，心率也倾向于更高，这支持了本研究的主要发现。瞳孔散大和心率之间的关联性意味着未来的研究可以在更加自然的环境条件下，甚至是在实地试验中，结合心率测量和听力条件信息来评估现实世界中的听力压力（Andersson等人，2023年）。

以前也有类似的定位实验用于评估听力辅助设备的性能，但这些实验并未使用客观测量方法。例如，Brimijoin等人（2014年）研究了听力辅助设备麦克风模式（全向和定向）对听觉定向任务性能的影响，参与者需要从一些干扰的男性说话者中定位女性说话者。研究发现，使用全向模式时，参与者在任务中的表现更好，因为该模式能更好地识别距离听者前方超过90°的目标声音源。相反，使用定向模式时，声音定位效果更好，尤其是针对靠近中心的目标角度，这与本研究的结果一致。

**局限性**
共有32名参与者完成了实验；然而，由于数据质量不佳，我们不得不排除8名参与者的瞳孔散大数据，12名参与者的初步心率数据。这可能是由于本研究中参与者的活动范围更大，从而引入了更多的噪声和人为干扰，这也表明现有的瞳孔测量数据过滤和处理方法可能对于更生态真实的实验设置来说过于保守（Winn等人，2018年）。不过，被排除的8名参与者中有4人在使用VR眼镜及相关软件时没有进行瞳孔测量，另有1名参与者的数据因基线值异常而被进一步排除（见图2），因此因瞳孔数据不佳而被排除的参与者总数为3名。在心率分析中，被排除的12名参与者的心率信号采样频率过低或质量较差，这可能是由于手部的小幅度运动导致，这种运动可能延续自言语定位任务。尽管被排除的参与者比例较高，但每种测量方法剩余的参与者数量（瞳孔数据24名，心率数据20名）仍与类似研究相当（Johns等人，2024年；Sarangi和Johnson，2024年）。

与客观听力努力对听力辅助设备型号敏感的研究结果相反，自我报告的听力努力并没有表现出这种敏感性。然而，参与者仅在每次实验结束后评估他们的感知听力努力，从而忽略了任务难度变化和听力动机的即时变化。由于在四名干扰说话者的条件下，客观听力努力的差异最大，我们预计这种差异未在自我报告中体现出来的原因是自我报告的敏感性较低。另一种可能是，如Seeman和Sims（2015年）所提出的，参与者在评估感知听力努力时可能依赖于他们对任务难度的感知，而这两种实验条件下的难度是相同的，或者他们可能没有意识到自己的生理反应。

**结论**
结合虚拟现实技术和无干扰的客观测量方法（此处为心率），是评估自然环境下听力辅助设备性能的可行方法，这种环境允许在虚拟声音环境中移动。通过相对心率量化出的听力压力对任务难度和听力辅助技术都很敏感，这与通过瞳孔测量量化的持续听力努力相匹配。手腕佩戴的可穿戴设备可以作为传统生理唤醒和努力测量方法的替代方案，后者通常使用近红外光谱、瞳孔测量或脑电图等侵入性较大的技术，适用于缺乏医疗级设备的纵向研究或临床试验。

**致谢**
作者感谢Rikke Skovh?j和Raul Sanchez Lopez在参与者招募、研究准备和数据收集方面的巨大帮助和支持，同时感谢Shixiang Yan在实验设置编码、开发和验证方面的工作。