《NeuroImage》:Decoding Spatial Attention in the Cocktail Party Problem Using Whole-head High-Density fNIRS
编辑推荐:
空间注意力被证明在复杂多说话人场景中处理和分析竞争性听觉对象方面起着关键作用。然而,支撑鸡尾酒会问题(CPP)中空间注意力的人类大脑网络仍然知之甚少。本研究利用全头高密度功能近红外光谱(fNIRS)系统,在更自然的视听场景中探究了鸡尾酒会问题中空间注意力的皮层
空间注意力被证明在复杂多说话人场景中处理和分析竞争性听觉对象方面起着关键作用。然而,支撑鸡尾酒会问题(CPP)中空间注意力的人类大脑网络仍然知之甚少。本研究利用全头高密度功能近红外光谱(fNIRS)系统,在更自然的视听场景中探究了鸡尾酒会问题中空间注意力的皮层表征。研究人员招募了26名参与者完成一项显性注意力任务,该任务包含来自不同空间位置的竞争说话者的视听刺激,以及一项不包含视觉定向的隐性(仅听觉)任务。通过分类技术,研究人员从测量的皮层反应中解码了空间注意力的位置。研究结果显示,在所有26名受试者中,平均分类准确率达到76.5%,其中21名受试者的解码性能显著高于机会水平(chance level),平均解码潜伏期为2.4秒。基于主成分的贡献分析确定了下顶叶(IPL)区域,特别是双侧角回(AG),作为解码空间注意力的主导区域。仅使用IPL通道子集进行解码时,其性能与全头解码相当,表明IPL区域对注意力解码具有关键贡献。一项定向-等待-注视(orient-wait-attend)控制实验进一步表明,解码性能由眼位/注视方向驱动,而非眼动本身。隐性听觉条件下的解码性能显著低于显性条件(平均55.9%,配对t检验,p < 0.001),表明仅凭听觉注意力不足以对注意方向进行稳健解码。这些发现为人类大脑在更自然条件下解决鸡尾酒会问题的机制提供了见解,并为基于fNIRS的注意力解码在助听器“转向”和增强现实/虚拟现实(AR/VR)环境中的注意力引导资源分配等脑机接口应用提供了潜在可能。
论文解读
一、研究背景与意义
鸡尾酒会问题(Cocktail Party Problem, CPP)描述的是在嘈杂环境中从多个竞争说话者中追踪目标说话者的挑战性任务。这一问题对于听力损失、注意缺陷多动障碍(ADHD)和自闭症等群体尤为困难,而正常听力者却能相对轻松地解决这一问题,表明大脑中必然存在相应的解决方案。然而,支撑这一解决方案的人类大脑区域至今仍未被充分理解。
空间注意力被认为在处理和分析具有竞争性视听对象的复杂杂乱场景中发挥关键作用。以往研究多采用纯视觉或纯听觉范式来探究空间注意力,但在复杂的日常场景中,视觉、听觉和多模态区域协同工作以选择和加工视听对象。已有研究发现注视方向对改善鸡尾酒会聆听有促进作用。脑电图(EEG)已被广泛用于研究该问题,但近年来的研究表明,眼动可强烈影响EEG对听觉注意力空间焦点的解码,当注视方向与注意侧去相关时,解码性能显著下降,提示空间听觉注意力解码(AAD)可能部分捕获了注视相关活动而非听觉选择本身。
功能近红外光谱(fNIRS)相较于其他方法具有多项优势:非侵入性、便携性、以及优于EEG的空间分辨率,能够揭示特定皮层区域。然而,此前一项初步fNIRS研究未采用高密度系统,未监测眼动,也未识别对空间注意力重要的特定皮层区域。基于此,本研究采用全头高密度fNIRS系统,在显性和隐性注意力任务中探究鸡尾酒会问题中空间注意力的皮层表征,并利用分类技术从皮层反应中解码空间注意力位置。该系统有望应用于脑机接口(BCI),用于“转向”助听器等辅助设备至注意位置,以及在增强现实/虚拟现实(AR/VR)环境中实现注意力引导的视听渲染资源分配。
二、主要技术方法
研究人员使用自研的全头高密度连续波fNIRS系统NINJANIRS22,包含56个光源和144个探测器,构成567个通道的双波长(760 nm和850 nm)全头覆盖蒙太奇,采样率为8.988 Hz。实验刺激选自AVSpeech公开视听语音数据集,共360个独特视频,使用KEMAR小耳廓头相关传递函数(HRTF)滤波器将音频空间化至左右各30度。数据预处理在MATLAB Homer3软件包和Python Cedalion工具箱中完成,包括质量筛选、光密度(OD)转换、时间导数分布修复(TDDR)运动校正、0.01至0.5 Hz带通滤波以及修正的Beer-Lambert定律转换。分类方案采用d-prime通道排序选择前20个通道,主成分分析(PCA)降维,以最大振幅和斜率作为特征,使用随机森林(RF)二分类器,采用10次重复的5折交叉验证。样本队列来源为波士顿大学招募的43名主要实验参与者,其中26名纳入最终主要分析,另有8名返回参与者完成控制实验。
三、研究结果
显性注意力任务
在显性场景中,3秒视听电影片段同时呈现在左右各30度位置,每个片段前有2秒空间化白噪声提示配合相应屏幕上的白色十字准线,引导受试者注意方向,允许眼动。共26名参与者纳入主要实验分析。
血流动力学诱发反应
研究分析了覆盖全头表面的所有通道的诱发反应。结果显示,在积极参与鸡尾酒会问题期间,大脑多个区域出现统计学上显著的血液动力学诱发反应。统计显著性通过将2秒基线(t=-2至t=0)与从提示开始(t=n至t=n+2,起始t=0)的2秒窗口进行比较的t检验确定,经Bonferroni校正后p<0.05视为显著。
分类结果
基于血液动力学诱发反应,采用二分类解码注意空间位置,两类分别为“注意左侧”和“注意右侧”。在全通道条件下,26名受试者的平均分类准确率为76.5%(范围:52.3%至100%),其中21名受试者超过置换检验导出的机会水平上界(62.3%)。在高于机会水平的受试者中,平均准确率曲线首次超过峰值准确率95%置信区间下界的时间为2.4秒。
对分类有贡献的感兴趣区
通过基于主成分的贡献量化,右侧角回的平均贡献最高,达15%,左侧角回次之,为12%,两者在组水平上均出现在100%的受试者中。在MNI空间中,左侧角回通道集质心为(-42.8, -54.9, 30.3)mm,右侧角回为(44.0, -58.2, 35.4)mm,每侧各29个通道,共同构成下顶叶(IPL)子集。其他主要贡献区域包括左侧视觉运动皮层、右侧前运动区和辅助运动区、以及右侧颞上回。
听觉成分的贡献
由于刺激为视听刺激,研究人员进一步分析了贡献最大的前5个感兴趣区(ROI),将显性注意力条件与隐性听觉条件进行比较。隐性条件下受试者仅听空间化音频,注视中央屏幕,消除了显性条件中的视觉成分。结果显示,隐性条件下的分类性能显著低于显性条件(平均55.9%,配对t检验,p < 0.001),表明仅凭听觉注意力不足以对注意方向进行稳健解码。
定向-等待-注视控制实验
为确定眼动本身是否能解释IPL中与解码相关的反应,研究人员邀请8名受试者在电影开始前注视提示位置15-17秒。结果显示,IPL对“注意左侧”和“注意右侧”的反应在提示开始时即分离,并在整个注视期间持续,远在眼动结束后仍保持。反应呈对侧模式:左侧角回对“注意右侧”激活,对“注意左侧”失活,右侧角回模式相反。由于反应在稳定注视期间持续存在,并随注视位置而非眼动本身反转,眼动本身不能解释IPL反应,该模式与眼位/注视方向一致。显性条件与定向-等待-注视条件的峰值分类准确率无显著差异(84.59% ± 14.89%对比81.64% ± 12.08%;差异-2.95个百分点,95% CI -15.03至+9.13;Wilcoxon符号秩检验W = 17.0,p = 0.945,n=8)。
仅基于IPL通道的分类
由于ROI分析表明左右角回对分类性能有强贡献,研究人员进一步评估了仅使用IPL通道子集(58个通道)进行解码的性能,发现其与全头解码性能相当。
四、讨论与结论
研究结果表明,显性注意力条件下的解码准确性由眼位/注视方向驱动,这是显性注意力的特征性表现,而非眼动本身。隐性听觉条件下的解码性能显著低于显性条件,表明仅凭听觉注意力不足以对注意方向进行稳健解码。下顶叶(IPL)区域,特别是双侧角回,被确定为主导解码区域,仅使用IPL通道子集即可达到与全头解码相当的性能,平均解码潜伏期为2.4秒。这些发现为人类大脑在更自然条件下解决鸡尾酒会问题提供了见解,揭示了显性与隐性注意力范式中解码注意位置的能力差异,并识别了对使用fNIRS解码注意空间位置有重要贡献的特定皮层区域。该系统在脑机接口应用中具有潜力,可用于“转向”助听器等辅助设备至注意位置,以协助用户在嘈杂多说话者场景中沟通,同时也可实现AR/VR环境中注意力引导的视听渲染资源分配。