多模态任务无关威胁信息对视觉搜索任务的影响：感官模态与情绪条件的复杂交互

本研究通过创新性地引入多模态（视听、静音视频、图片）任务无关威胁性干扰刺激，探讨了威胁信息在不同感官通道下对视觉搜索任务中注意执行控制的影响。研究发现威胁性图片会延迟首个目标发现时间（初始注意捕获），而威胁性静音视频反而提升任务完成效率，视听威胁刺激则显著损害绩效，揭示了情绪条件与感官模态在注意过程中的复杂交互（ANOVA，η2p = .074–.175），为理解真实环境中动态威胁的认知处理机制提供了重要依据。

　　

引言背景

威胁性刺激相较于中性或其他情绪刺激更具显著性，更难以被忽略，它们更容易捕获注意且难以脱离（attentional disengagement）。既往视觉搜索研究多使用静态图片，但这些刺激难以模拟真实生活中的威胁遭遇。因此，本研究扩展了研究范围，采用多模态刺激（视听、静音视频、图片）作为任务无关干扰项，以探讨威胁性信息对注意执行控制的影响。

注意处理的理论框架涉及注意优先级图谱和偏向竞争模型（biased competition），在该模型中，多个刺激竞争处理资源，选择取决于自下而上（bottom-up）的显著性和自上而下（top-down）的目标。威胁性刺激由于其高进化相关性，在此竞争中往往占据优势。然而，其捕获注意的能力可能受到感知需求或竞争显著性来源的影响。因此，研究认为在威胁研究中应采用任务无关干扰项，以区分其对自下而上（注意捕获）和自上而下（执行注意控制）处理的影响。

自下而上过程对外部刺激做出反应，而自上而下过程涉及认知控制和解释，由先验知识、意识计划和当前目标内部引导。静态图像可能更有效地触发早期定向和延迟脱离效应，而动态或多感官刺激可能由于其增加的负载或显著运动线索而覆盖或抑制情绪内容的影响。此外，双过程模型假定自下而上的显著性（例如运动或强度）和自上而下的控制（例如任务目标）竞争注意资源。在动态条件下，来自运动或视听同步的自下而上显著性可能占主导，从而减少威胁特征引导注意的空间。

快速朝我们移动的刺激（looming stimuli）对注意具有特别强烈和独特的影响。当这些刺激带有情绪显著性或威胁时，这种效应更为强烈。动态刺激即使没有意识努力，也能快速吸引我们的注意，通常优于静态视觉刺激。结合多个感觉系统（视觉和听觉）的逼近刺激导致增加的注意捕获，表明通过多个感觉通道对逼近威胁的敏感性增强。同样，注意的负载理论表明，在高认知负载任务中，干扰项干扰更大。将此理论应用于威胁处理表明，刺激的模态和感觉丰富性（例如视听与静态）可能通过改变感知负载来影响注意捕获。

一个关键问题是，当与动态、多感官干扰项的感知显著性竞争时，威胁的情绪显著性是否仍然有影响。本研究通过调查任务无关的视听和静态威胁信息如何影响视觉搜索绩效，为现有研究做出贡献。它通过研究动态和多模态刺激如何影响注意控制系统，扩展了先前专注于静态刺激的研究。

方法

参与者共有48名学生（11名男性，年龄范围19-24岁）参与研究，所有参与者报告正常或矫正至正常的视力。研究获得匈牙利联合心理学研究伦理委员会批准，并按照世界医学协会道德守则（赫尔辛基宣言）进行。所有参与者提供书面知情同意，研究在OSF预注册。

问卷使用风暴恐惧问卷（SFQ）评估参与者对威胁性天气条件的恐惧程度，该问卷包含15个项目，采用5点Likert量表评分。还使用Spielberger状态-特质焦虑量表短表（STAIS-5/STAIT-5）测量参与者的焦虑水平。

实验刺激和装置视觉搜索任务包括按升序寻找数字，从数字1开始，用鼠标左键点击它们。数字矩阵通过专门程序生成，大小700×700像素。数字范围从1到35，每个数字在给定矩阵中仅出现一次。任务无关干扰项出现在四个可能的空间位置之一（数字矩阵的角落）。

选择天气刺激作为干扰项，因为它们可以跨模态匹配。刺激来源自免版税在线平台，使用Google图片和YouTube，关键词如“风暴”、“闪电”、“洪水”、“龙卷风”、“暴雨”和“恶劣天气”。关键选择标准是排除任何显示人或动物的刺激，以隔离参与者对天气条件本身的反应。

所有来源的刺激随后通过预评分研究验证情绪内容。视听和静音视频刺激是相同的视频，仅区别在于提取视频的声音。独立参与者组（N=46）沿四个维度评分所有材料：积极性、消极性、威胁水平和唤醒度。材料在7点Likert量表上评分。唤醒在本研究中指主观自我报告的唤醒，而非生理唤醒。

程序实验在光线暗淡的安静房间中进行，每组最多八人，每个参与者有单独的计算机隔间。参与者完成所有问卷后开始实验。他们使用耳机，并在实验开始前调整音量至喜好。然后完成练习试验，有机会提问。一旦报告完全理解任务，实验开始。

使用PsychoPy软件呈现刺激和收集参与者响应。行为响应通过计算机鼠标记录。每个试验中，来自一种模态（视听、静音视频、图片）的任务无关干扰项出现在四个可能位置之一（矩阵的角落）。每个试验以白色 fixation cross 开始，显示在黑色背景上（1000毫秒）。然后数字矩阵显示在屏幕中心，刺激出现在四个可能位置之一；背景保持黑色。

参与者被指示按升序寻找数字，从数字1开始，并用计算机鼠标点击它们。每个数字矩阵呈现30秒。实验分为三个区块。检查他们寻找数字1的反应时间（RTs）和总搜索时间（寻找数字1到10所花费的时间）。区块按刺激模态安排，每个区块包含相等数量的威胁性（14）和中性（14）试验（每个条件7个刺激，显示两次）。因此，每个区块28个试验，整个研究84个试验。试验在区块内随机化，呈现顺序通过随机化区块顺序在参与者间平衡。

统计分析分析计划预注册。使用JAMOVI软件进行统计分析。正态性假设未违反，所有使用变量的偏度和峰度绝对值小于2。进行2×3混合ANOVAs，刺激情绪条件（中性、威胁性）和刺激模态（视听、静音视频、图片）作为 within-subject 因素。因变量是行为测量，包括寻找数字1的反应时间（RTs）和寻找数字1到10的总搜索时间。搜索时间计算为第十个数字的RT与寻找数字1的RT之间的差异。

然后使用Pearson相关性查看这些行为测量与问卷（SFQ、STAIS和STAIT）之间是否存在关系。统计结果在表格中呈现，而不是在文本中，以使结果描述更容易遵循。

结果

寻找数字1分析RTs以检验我们的假设，即参与者在威胁条件下比中性条件下需要更长时间来找到数字1，并且这种效应在视听条件下比静音视频和图片条件下更明显。ANOVA结果表明，刺激模态的显著主效应影响参与者检测数字1的速度（F(2,94)=6.66，p=.002，η2_p=.124）。成对比较显示，参与者在视听条件下比图片条件下显著更慢（M_difference=-0.028），在静音视频条件下比图片条件下更慢（M_difference=0.133）。视听和静音视频条件之间无显著差异。情绪条件无显著主效应。然而，情绪条件和模态之间存在显著交互作用（F(2,94)=3.76，p=.027，η2_p=.074），因为威胁与中性差异在每个模态内检查。

后续比较显示，在图片条件下，威胁性刺激导致比中性刺激显著更慢的RTs（M_difference=-0.156）。在静音视频或视听条件下未观察到显著的威胁相关效应。这些结果部分支持我们的假设：威胁性刺激减慢初始注意捕获，但仅当以静态图像呈现时。动态条件下此效应的缺失表明，运动——无论情绪内容如何——可能主导早期注意处理，并覆盖威胁线索在目标检测期间的影响。

总搜索时间接下来检查总搜索时间，以测试我们的预测，即威胁条件与中性条件相比将产生更好的绩效，并且这种效应在视听条件下比静音视频和图片条件下更明显。刺激的情绪条件和模态主效应不显著，但两个因素之间的交互作用显著（F(2,94)=9.984，p<.001，η2_p=.175）。成对比较显示，威胁性与中性视听干扰项导致更差的绩效（M_difference=-0.460），而威胁性与中性静音视频干扰项导致更好的绩效（M_difference=0.243）。图片条件下未观察到显著差异。

这些结果部分支持我们的假设，但方向与预期不符。我们预期威胁性干扰项将导致更好的总搜索绩效，因为它们是唤起性刺激，特别是在视听条件下。然而，观察到相反的模式：威胁性刺激在静音视频条件下改善绩效，但在视听条件下损害绩效。相比之下，静态图像中的RTs在威胁和中性条件之间没有不同的效应，表明情绪影响可能不够强以影响持续搜索的绩效。这些结果总体上表明，威胁对注意绩效的影响不仅由情绪内容决定，还由干扰项的感觉复杂性决定。

问卷最后检查风暴恐惧问卷得分是否与寻找数字1的RTs相关。相关性分析显示，中性视听刺激寻找数字1与风暴恐惧水平以及状态焦虑之间存在弱正相关。然而，未观察到问卷与总搜索时间反应时间之间的显著相关性。

讨论

在本研究中，我们旨在调查任务无关威胁性刺激如何影响参与者在执行复杂认知任务时的注意。我们研究的新颖之处在于，除了（静态）图片外，我们还使用了更多分散注意的运动刺激（即视听和静音视频）。我们使用数字查找任务测量寻找第一个数字的RTs和寻找第一个和第十个数字之间经过的时间。这使我们能够检查注意的显著性和执行控制，这是威胁注意偏见的两个关键组成部分。

总的来说，我们的结果仅部分支持先前关于静态刺激的威胁效应的发现。也就是说，在图片条件下，虽然我们发现了初始注意捕获的证据，但并未随后改善绩效。此外，虽然我们在静音视频条件下发现了威胁性刺激更快的总搜索绩效，但动态模态中第一个目标RT缺乏显著威胁效应，表明情绪捕获可能在更高的感知负载下被抑制。因此，目前没有足够的证据支持动态刺激中威胁驱动的注意捕获；然而，它们提出了关于负载和唤醒跨刺激模态相互作用的重要问题。

我们的结果显示，与图片干扰项相比，运动干扰项存在注意捕获偏见，无论威胁价值如何，而我们在图片干扰项中发现了威胁效应，与先前研究（和我们的假设）一致。这一结果与先前研究一致，表明威胁性干扰图片比中性干扰项更容易捕获注意，导致主要注意任务中的绩效缺陷。然而，这些研究仅使用静态图片作为干扰项。

先前研究表明，刺激的模态可能影响认知功能，表明不同的感觉通道激活不同的大脑机制和记忆功能，进而不同地影响绩效和检测。与我们的预期一致，参与者在存在视听刺激时比图片需要更多时间找到数字1。这表明视频中听觉信息的存在可能增加完成任务所需的分散注意或认知处理水平。这一发现可能得到先前结果的支持，表明声音和任务处理之间的直接干扰产生的听觉分散注意在很大程度上抵抗自上而下的认知控制。

此外，先前研究发现移动的负面干扰项导致更长的搜索时间，表明运动本身为刺激提供了额外的显著性，增强了注意捕获。视听干扰项导致显著更慢的响应，与无干扰项或单感官干扰项相比，特别是在高工作记忆或感知负载下，与认知负载和偏向竞争理论一致。

情绪条件和模态之间的显著交互效应为了解这些因素如何相互作用以影响认知绩效提供了进一步 insight。参与者仅在图片模态中在威胁条件下比中性条件下显示显著更慢的响应。威胁与中性刺激的平均RTs在静音视频条件下没有差异，我们在视听条件下也未观察到任何显著威胁效应。这表明情绪威胁对注意减慢的影响在我们的任务中特定于静态视觉呈现。

这意味着静态威胁性图片可以像运动刺激一样分散注意。快速识别意外威胁的能力显然是人类生存的进化优势，当一个人经历高认知负载时尤其关键，因为注意此时往往更容易 lapse。更重要的是，威胁性和中性运动刺激的注意捕获效应没有差异。基于注意的负载理论，这可能意味着运动产生更强的注意效应，覆盖了威胁效应。

这也与引导搜索理论一致，即刺激的动态特征，特别是运动，可能提供强大的自下而上信号，在确定注意引导时覆盖情绪威胁信号。研究表明，情绪处理需要注意资源，并且可以在高感知负载条件下减少。在我们的研究中，视频刺激中运动的存在可能创造了高感知负载，消耗了可用的注意资源，从而阻止参与者处理威胁性刺激的情绪内容。因此，运动似乎产生更强的注意需求，覆盖了典型的威胁相关注意偏见，与负载理论关于在不同感知需求下资源分配的预测一致。

在总搜索时间方面，我们发现威胁性与中性视听刺激相比绩效受损，而静音视频和图片在威胁条件下绩效更好。对于图片干扰项，这与先前研究一致。对威胁性刺激的更高反应性得到进化压力的支持。威胁被注意过程强调为环境中的潜在危险，从而增加视觉绩效。我们的结果也与唤醒刺激效应一致，即威胁性刺激由于增加的唤醒而改善绩效 compared to 中性刺激。

视听刺激逆转了这种效应并恶化了绩效。这可能是因为威胁性视听干扰刺激太唤起，可能导致对手头任务的过度分散注意，这再次与先前研究一致，表明威胁根据其唤醒水平影响行为。唤醒和绩效之间的倒U形关系也可以用于解释我们的发现。根据该模型，极低或过高的唤醒水平可能具有破坏性，但中等水平可以帮助注意控制并改善绩效。

虽然视听威胁性刺激损害了绩效（可能诱导了过度唤醒），这可能解释了观察到的与静音视频相关的更快搜索时间（可能触发了中等唤醒）。虽然我们的研究未直接评估生理唤醒，但趋势与威胁对注意的影响取决于威胁的显著性和唤醒之间的关系一致。也就是说，干扰项对工作记忆资源的需求随着其唤醒水平增加，而过滤分散信息的能力减少。威胁在整体低认知负载情况下促进注意，但在高认知负载情况下破坏绩效。确实，我们发现最快的响应是对图片威胁条件做出的，而最慢的响应是在视听威胁条件下做出的。然而，在视听条件下，声音的添加可能将唤醒提升到破坏性水平，增加认知负载并损害绩效。

虽然我们没有直接操纵唤醒水平，也没有生理测量它们，但我们的预评分刺激在唤醒上确实有所不同，并且我们在选择过程中使用了最小唤醒阈值。尽管如此，由于唤醒未作为独立变量控制，沿此线的解释仍然是推测性的，应在未来研究中通过直接操纵或测量唤醒响应进一步检查。

本研究中使用的两个RT测量之间的区别，即找到数字1的时间和总搜索时间，暗示了注意处理中的不同阶段。找到数字1的RT用作初始注意捕获或定向的测量——它对具有某种水平显著性或情绪效价的 onset 刺激施加的立即分散注意更敏感。这一初始注意定向过程很大程度上受自下而上过程影响。

相比之下，总搜索RT可能捕获持续视觉注意、执行控制以及可能在执行任务期间唤醒或认知资源可用性的影响。当参与者按序列顺序搜索数字时，他们应维护其目标数字并不断更新工作记忆，同时尝试抑制干扰。这一过程主要依赖于自上而下机制。这一区别至关重要，因为情绪刺激可能干扰早期注意，同时通过促进唤醒增强持续处理。我们的结果遵循该模式——威胁在图片条件下减慢了初始搜索（注意捕获），但有助于在静音视频条件下完成整个任务。

与我们的假设相反，未发现SFQ得分与威胁条件下反应时间之间的显著关系。有趣的是，我们发现在视听中性条件下，风暴恐惧水平和状态焦虑对参与者寻找数字1的绩效存在弱正相关。这可能与先前研究的发现一致，表明状态焦虑与情绪线索相互作用，在中性线索后负面影响绩效，但恐惧不会。在本研究中，参与者的焦虑水平在正常范围内中等，没有参与者对风暴和恶劣天气有恐惧症。先前研究仅在临床人群中发现差异效应。类似地，先前研究未发现恐惧或焦虑得分与健康人群搜索绩效之间的相关性。由于参与者似乎表达相对较低水平的焦虑和恐惧，这可能影响我们的结果。

总之，我们进行了一项视觉搜索任务的实验，使用不同模态的刺激在威胁和中性条件下。我们实验的一个新颖之处是除了先前研究使用的图片外，还包括了视听刺激和静音视频。我们的结果与先前研究一致，即寻找第一个数字需要更长时间用于威胁性刺激。然而，在总搜索时间方面，参与者被延迟，这与我们的假设相反。虽然这些差异被认为与唤醒水平有关，但未应用系统操纵；因此，所有涉及唤醒的说明仍然是试探性的。在进一步研究中，这些假设必须用直接生理或主观测量验证。

结论

本研究具有其相关性；然而，应注意一些限制。这些限制之一是，虽然我们确定唤醒是影响跨刺激模态和威胁水平绩效差异的一个因素，但我们未系统操纵唤醒水平。虽然我们使用具有唤醒得分的评分刺激提供了间接估计，但这种方法无法捕获 trial-by-trial 个体唤醒水平的波动。因此，我们的解释仍然是推测性的。换句话说，威胁条件中的一些刺激可能具有比其他更高的唤醒水平，意味着我们的威胁类别可能包括中等和高度唤起的刺激。因此，我们对与唤醒相关的发现的解释应谨慎对待。我们也没有纳入直接的生理唤醒测量。虽然我们的推理基于已建立的理论模型和先前将唤醒与注意控制和绩效联系起来的研究，但未来工作应旨在包括客观的生理指标以更好地隔离其贡献。因此，未来研究可能受益于控制或系统操纵和测量唤醒水平，以区分威胁和唤醒对视觉搜索任务的影响。

研究的另一个限制是，我们从一开始就专注于反应时间，因此准确性不是原始计划的一部分。也就是说，我们在清理数据时确实检查了数据，错误非常少——大多数参与者没有犯任何错误，当他们犯错时，只是一两个。因此，我们并没有足够的错误数据进行分析。未来研究可以通过增加任务难度或在任务说明中更均衡地平衡速度和准确性需求，将准确性作为计划结果纳入。

此外，未考虑焦虑或对威胁敏感性的个体差异等因素，这些可能影响结果。另外，由于问卷数据依赖于自我报告，参与者看待自己的方式可能缺乏客观视角。未来研究可能包括皮肤电导或心率变异性等焦虑测量。最后，另一个可能的限制是寻找数字1可能太容易，导致可能的天花板效应。可能需要更困难的任务以更好地捕捉威胁的影响，特别是在使用运动刺激时，以观察更明显的威胁效应。