视觉刺激复杂性与语义内容对视听联想等价学习的综合影响

本研究通过开发三种视听联想等价学习测试（SoundFace、SoundFish、SoundPolygon），系统探讨了视觉刺激复杂性（特征数量）和语义内容对多感官整合学习的影响。结果发现人脸卡通 stimuli 在获得性等价学习的所有阶段（获得、提取、泛化）均显著优于鱼类和几何图形（p<0.01），反应时更短。研究表明语义丰富性本身不足以提升学习效果，视觉特征的可区分性和可言语化（verbalizability）才是关键因素。该发现对理解多感官整合的认知机制和神经基础具有重要价值。

　　

引言

获得性等价学习是一种联想学习形式，被试通过将多个刺激与共同结果关联而形成等价认知。罗格斯获得性等价测试（RAET）作为计算机化视觉学习任务，通过反馈式学习建立刺激对关联，并在测试阶段评估记忆提取和泛化能力。该任务依赖基底神经节-前额叶环路（获得阶段）和海马区（测试阶段）的神经完整性。

自然环境中刺激多为多模态形式，多感官整合能更有效地检测生物显著性事件。与等价学习相关的脑结构（基底神经节、海马）同样参与多感官信息处理。本研究团队基于RAET开发了视听版本测试（SoundFace），将听觉前提与视觉结果配对，以更生态效度地研究多感官交互。

本研究创新性地采用三种视觉结果刺激集：卡通人脸（多特征+高语义）、彩色鱼（单特征+中语义）和几何形状（少特征+低语义），保持相同听觉前提（猫叫、人声、车辆声、吉他和弦），系统考察视觉复杂性、语义内容和可言语化对视听联想等价学习的影响。

方法

被试与设计

52名健康成人（25女，27男，平均年龄25.88±10.28岁）完成三项视听测试。采用被试内设计，测试顺序伪随机平衡。通过G*Power事前功率分析确定样本量（f=0.25，α=0.05，power=0.90），实际样本满足统计要求。

视听测试任务

测试在隔音环境中进行，采用联想学习范式。每个测试包含：

1. 1.

   获得阶段：通过试错学习4对听觉-视觉关联（A1:X1, B1:Y1, A2:X1, B2:Y1, A1:X2, B1:Y2），需达到连续正确次数要求（4-12次）才能进阶

2. 2.

   测试阶段：无反馈，包含提取（36试次）和泛化（12试次）测试

视觉刺激集特性：

• •

  SoundFace：卡通人脸（性别、年龄、发色三特征）

• •

  SoundFish：同形色鱼（仅颜色差异）

• •

  SoundPolygon：几何形状（角度、边长等有限特征）

语义内容量化

44名参与者完成语义关联任务，观看12种视觉刺激（人脸/鱼/形状各4），记录每刺激引发的独特概念关联数（排除物理特征描述）。采用重复测量ANOVA分析语义丰富度。

数据分析

关键指标：

• •

  获得试次数（NAT）

• •

  错误率：获得（AER）、提取（RER）、泛化（GER）

• •

  反应时（RT）：获得、提取、泛化阶段

  使用Friedman ANOVA和Wilcoxon配对检验（Bonferroni校正）进行统计分析，计算效应量（r）和事后统计检验力。

结果

行为表现

Friedman ANOVA显示三项测试在所有指标上存在显著差异（p<0.05）：

• •

  SoundFace表现最优：获得试次最少（中位数50），错误率最低（AER=0.038），反应时最短（获得RT=1302.98ms）

• •

  SoundFish与SoundPolygon无显著差异：获得试次（55.5 vs 55.5）、错误率（AER=0.057 vs 0.063）和反应时均相似

配对比较显示：

• •

  SoundFace vs SoundFish/SoundPolygon：所有比较p<0.01，效应量r=0.357-0.669

• •

  SoundFish vs SoundPolygon：无显著差异（p>0.05），统计检验力较低（1-β=0.063-0.319）

语义分析

语义关联任务表明：

• •

  人脸和鱼刺激语义丰富度无差异（M=12.14 vs 12.11）

• •

  两者显著高于几何形状（M=10.02，p<0.001）

  但仅人脸刺激显著促进了视听学习效果。

讨论

本研究首次系统比较不同视觉特征复杂度对视听等价学习的影响。主要发现：

1. 1.

   人脸刺激优势：在所有学习阶段表现最佳，支持特征多样性和可言语化对多感官整合的关键作用

2. 2.

   语义内容的局限性：尽管鱼和人脸具有同等语义丰富度，但单一特征（颜色）限制了其区分度

3. 3.

   神经机制解释：人脸处理涉及梭状回面孔区专门化处理，可能促进显性学习策略；而简单刺激可能依赖隐性学习系统

潜在影响因素：

• •

  刺激-反应相容性：日常声音与人脸的自然关联可能促进编码

• •

  学习策略：多特征刺激支持言语化编码，单特征刺激依赖知觉学习

• •

  统计检验力限制：鱼与形状的差异可能因样本量未能检测

研究局限：

• •

  年龄跨度较大（18-58岁）可能引入变异

• •

  未直接测量学习策略

• •

  语义任务排除物理特征描述可能低估可言语化

结论

视觉刺激的语义内容本身不足以增强视听联想学习效果。特征数量、区分度和可言语化能力的共同作用才是关键。人脸刺激因兼具高语义丰富度、多特征维度和社会相关性，成为最优的多感官学习载体。该发现对理解多感官整合的认知机制和设计有效的多模态学习环境具有重要启示。