注意力对信息加工产生的有益效应可以跨越感觉模态进行扩散,因此当仅注意多感觉物体的视觉成分时,该物体的任务无关的听觉成分也会获得促进性加工(Busse et al., 2005; Molholm et al., 2007),这一显著现象体现了认知经济性原则(Neisser, 1967)。这种跨模态注意力扩散可以以刺激驱动的方式运行,只要任务无关的声音与被注意的视觉刺激在时间上紧密相邻(无论视听语义一致性如何),这被认为是一种自下而上的多感觉整合过程(Busse et al., 2005; Talsma et al., 2007; Fiebelkorn et al., 2010b; Zimmer et al., 2010a, 2010b; Donohue et al., 2011; Chen et al., 2022)。它也可以以表征驱动的方式运行,但仅在任务无关的声音(与视觉刺激配对或单独呈现)与描绘目标物体类别的视觉图像语义一致时才发生,这被认为是自上而下的对高度关联的多感觉表征的共同激活(Molholm et al., 2007; Fiebelkorn et al., 2010a; Zhao et al., 2021b, 2021c, 2024a, 2024b)。此外,如果语义一致的声音与视觉目标物体同时呈现,刺激驱动和表征驱动的注意力扩散会发生叠加效应(Fiebelkorn et al., 2010a; Zhao et al., 2021b, 2021c, 2024a, 2024b),这可以通过事件相关电位(ERP)记录等神经生理技术进行分离和测量(关于如何使用ERP隔离这两种注意力扩散的详情,请参见方法部分)。
迄今为止,视觉到听觉的注意力扩散,无论其类型如何,都被广泛接受为非自愿的、自动发生的(例如,Busse et al., 2005; Molholm et al., 2007; Fiebelkorn et al., 2010a, 2010b; Zhao et al., 2021b;综述见Talsma et al., 2010; Tang et al., 2016)。令人好奇的是,没有先前研究检验过这一基本假设是否成立。检验该假设的一个潜在障碍在于,先前研究中使用的清晰可闻的声音(本应被忽略)在意识察觉后可能获得了某种程度的自愿注意,这可能导致观察到的视觉到听觉注意力扩散被主动听觉注意的效应所污染。以表征驱动的注意力扩散为例,它是通过比较当视听刺激的视觉成分描绘目标物体(如狗)时其听觉成分的ERP与当视觉成分描绘非目标物体(如汽车)时相同视听刺激听觉成分的ERP来测量的(Fiebelkorn et al., 2010a; Zhao et al., 2021b)。由于前者的听觉成分(如狗叫声)与目标物体语义一致,而后者则不一致,因此前者在意识察觉后可能主观上更具任务相关性(因而更易受到自愿听觉注意的影响),从而混淆了所观察到的表征驱动的注意力扩散。
为了避免视听物体的听觉成分被主动注意,从而检验视觉到听觉的注意力扩散是否真正具有自动性,本研究中我们通过在整个实验段落中呈现连续白噪声掩蔽来使所有这些声音变为不可闻,每个声音的客观检测阈值在实验前以个体水平确定。为确保刺激驱动和表征驱动的注意力扩散的测量,我们采用了经典的物体选择性视觉"一次前"任务(Fiebelkorn et al., 2010a)并结合ERP记录。鉴于高度自动的过程应当是非故意的和无意识的(综述见Moors & De Houwer, 2006),且阈下声音携带的信息仍可被大脑加工(例如,Lamy et al., 2008; Kouider et al., 2010; Faivre et al., 2014; Scott et al., 2018; Ching et al., 2019;本研究中通过对阈下声音的ERP进行多变量模式分析也验证了这一先验知识),发现对任务相关的阈下声音存在显著的刺激驱动和表征驱动扩散的ERP相关指标,将提供强有力的证据表明视觉到听觉的注意力扩散具有高度的自动性。