音乐和弦与色彩的跨模态对应关系受音调类别感知的调节

本研究通过考察个体对音乐和弦的类别感知程度（而非物理属性）如何影响其与色彩的跨模态映射（crossmodal correspondence），发现仅具有音调类别感知能力的“分类者”会在同一类别内选择相似色彩、不同类别间选择差异色彩，揭示了跨模态对应中感官特征关系的同构性（isomorphism）投射机制，为理解多感官整合的认知基础提供了新视角。

　　

论文解读

你是否曾觉得欢快的音乐像明亮的黄色，而忧郁的旋律透着深蓝？这种声音与色彩的奇妙关联被称为跨模态对应（crossmodal correspondence），但其形成机制始终是认知科学的未解之谜。东京大学的研究团队独辟蹊径，从“类别感知”这一认知特性切入，首次揭示了音乐训练如何通过重塑大脑对音调的分类方式，进而系统性改变人们心中音色对应的“心理调色盘”。

以往研究多聚焦于刺激的物理属性（如声音频率与亮度关联），但Spence等学者提出跨模态对应可能存在结构对应（structural correspondence）、统计学习（statistical correspondence）等多重机制。值得注意的是，Cuskley等人2019年发现语音类别能预测元音-色彩映射，暗示类别可能通过组织感官特征关系影响跨模态对应。然而，音乐这类非语言刺激中类别的作用仍属空白。更关键的是，由于和弦的类别感知（如区分大调与小调）存在显著个体差异——音乐训练者表现为“分类者”（categorizers），而普通人多为“非分类者”（non-categorizers），这为验证跨模态对应是否具有同构性（即感官特征关系的拓扑保持）提供了天然实验模型。

研究人员招募37名音乐经验各异的参与者，采用三阶段实验设计。首先通过色彩选择任务，让受试者为7组平行调式（如C小调至C大调连续体）的28个变形和弦配对色彩；随后采用心理物理学经典范式，用音调识别任务（判断和弦属于大调/小调）和辨别任务（区分相似和弦）将参与者划分为分类者（18人）与非分类者（19人）。关键技术包括：（1）16步音调连续体合成技术，通过调整中间纯音成分（以100/15音分为单位）实现小调到大调的渐变；（2）CIE Lab^*色彩空间分析，确保感知均匀性；（3）信号检测理论计算辨别敏感度d′，结合陡峭的识别函数斜率（>0.39）和边界区d′_{category boundary}＞d′_all的双重标准定义分类者。

3.1 分组结果
分类者表现出陡峭的识别函数（斜率M=2.80）和典型的“边界峰”辨别模式（d′_边界=1.98＞d′_整体=1.43），而非分类者斜率仅0.41且无边界增强效应。分类者平均11.3年的音乐训练远高于非分类者（2.8年），印证类别感知的习得性。

3.2 类别对映射的调控
关键发现出现在色彩选择任务：分类者对跨类别和弦对（如刺激编号5-10）的色彩差异显著大于同类别对（0-5或10-15）（F=21.16, p<0.001, η_p²=0.55），而非分类者无此差异。这证实音调的心理类别边界会“投射”为色彩空间的突变边界，完美诠释了跨模态对应的同构性假说。

3.3 附加分析

• 映射范围：分类者对大调和弦（编号10/15）选择更高亮度（L^*）（p=0.002）和更极端的黄绿色调，符合类别强调跨类差异的特性。
• 时间一致性：分类者两次测试的色彩差异显著更小（t(35)=2.3, p=0.026, Cohen's d=0.77），显示类别能稳定长期映射。

4.3 类别的核心作用
研究首次证实：当大脑将连续音调划分为离散类别时，这种心理结构会“传染”至色彩空间——就像给模糊的色块连线描上了清晰的类别边界。这解释了为何音乐家会有更强烈且稳定的音色对应：他们的音调“心理地图”已被类别标注，而跨模态对应自动保持了这种拓扑关系。

该发现为理解个体/文化差异提供了统一框架：正如日语母语者特有的元音类别导致独特音色映射，任何通过学习获得的感官类别（如品酒师的味觉分类）都可能重塑跨模态对应。团队建议未来采用Mantel检验等量化同构程度，并追踪类别学习过程中映射的演化规律。

这项发表于《Consciousness and Cognition》的研究，不仅为音乐治疗、跨模态设计提供理论依据，更开创性地将“类别”确立为沟通神经编码（如听觉皮层拓扑图）与意识体验（如色彩情绪）的桥梁，标志着多感官研究从现象描述迈向机制解码的新阶段。