与人类和人工伙伴一起唱歌的协调动力学：视觉信息的作用

《Frontiers in Cognition》：Coordination dynamics in singing with human and artificial partners: the role of visual information

　　

引言：本研究考察了当一个人与人类伙伴或由语音合成软件(VOCALOID 6)生成的人工伙伴一起唱歌时，唱歌的协调动力学是否存在差异。研究人员进一步调查了视觉信息的存在与否如何塑造这些协调模式。方法：13名女性参与者通过耳机与伙伴一起齐唱《平安夜》的合唱片段。任务将两种伙伴类型（人类歌手和人工VOCALOID 6歌手）与两种视觉条件（有伙伴视频和无伙伴视频）交叉组合。人工伙伴视频使用AI视频平台(Hedra Character 3)创建，该平台将人工伙伴的合成声音与人类伙伴的静态图像结合。协调通过声音振幅包络的互相关(cross-correlation)和格兰杰因果(Granger causality, GC)分析进行评估，并使用线性混合效应模型(linear mixed-effects models)进行评价。结果：与人工伙伴相比，与人类伙伴唱歌引发了更强的预期同步(anticipatory synchronization)和更大的振幅包络相似性。在与人类伙伴唱歌时，参与者往往比伙伴稍早唱歌，表明存在预期协调。值得注意的是，当视觉信息可用时，这一趋势进一步增强。讨论：这些发现表明人类唱歌声音的时间变化性(temporal variability)以及自然发声过程中特有的精细身体运动为社会性唱歌提供了支持预期和同步的感觉信息(perceptual information)。

### 论文解读：与人类和人工伙伴唱歌的协调动力学——视觉信息的作用

#### 研究背景与问题
音乐互动中的时间同步与协调是社会功能的核心组成部分，被视为内在的社会活动。成功的音乐同步不仅需要感知和响应他人的声音与动作，还需要预测未来事件、持续调整时间节奏以及对自身动作进行前瞻控制。然而，尽管近年来语音合成技术（如VOCALOID）取得了显著进展，能够生成高度类人化的歌声，但真正实现人类与机器之间的协同音乐表演仍面临巨大挑战，原因在于其需要精细的运动协调和精确的时间同步。先前的研究表明，身体运动在人类音乐表演中的交流与表达协调中起着关键作用，视觉信息（如注视、身体姿态）能显著增强人际同步。然而，针对视觉信息在人与人工伙伴互动中是否具有类似影响，尚不明确。本研究旨在回答以下问题：当视觉信息可用时，人类与人工伙伴唱歌的协调动力学是否仍存在差异？视觉信息能否缩小人类与机器之间的协调差距？

#### 研究内容与结论
研究人员招募了13名女性大学生（平均年龄25.2岁，均有合唱经验），要求她们在耳机中听到伙伴声音后齐唱《Silent Night》的合唱片段。实验采用2×2被试内设计：伙伴类型（人类歌手 vs. 使用VOCALOID 6生成的人工歌手）与视觉条件（有伙伴视频 vs. 无伙伴视频）。人工伙伴视频通过AI视频平台Hedra Character 3生成，将合成歌声与人类伙伴的静态图像结合，并自动同步口型和上半身动作。协调性通过声音振幅包络的互相关(CC)和格兰杰因果(GC)分析进行评估，使用线性混合效应模型(LME)进行统计检验。结论如下：与人工伙伴相比，与人类伙伴唱歌时，参与者表现出更高的振幅包络相似性（最大CC值更大）、更强的同步性（零延迟CC值更高）以及更显著的预期同步（参与者倾向于比伙伴略微提前唱歌，且GC值显示参与者对人类伙伴的前瞻性更强）。视觉信息进一步增强了预期时间偏移（延迟主效应显著），但并未消除伙伴类型之间的定性差异——即使看到AI生成的同步运动，与人工伙伴的协调仍达不到人类伙伴的水平。该研究论文发表在《Frontiers in Cognition》。

#### 关键技术与方法
- **声音刺激生成**：使用VOCALOID 6（Yamaha公司）生成人工伙伴歌声；人类伙伴由一名半专业女歌手录制，要求尽可能模仿VOCALOID的音高轮廓，但允许自然节奏波动。
- **视觉刺激生成**：使用AI视频平台Hedra Character 3，基于人类伙伴静态图像与VOCALOID合成音频生成动态视频，包含自然口型同步和上半身晃动。
- **数据分析方法**：对歌唱声音进行希尔伯特变换提取振幅包络，经32 Hz低通滤波和下采样至200 Hz后进行互相关分析（计算最大CC、零延迟CC及对应时间延迟）和格兰杰因果分析（使用MVGC工具箱，基于AIC确定模型阶数），所有统计采用线性混合效应模型处理重复测量。
- **样本队列来源**：日本神户大学人类发展与环境研究生院伦理委员会批准（批准号871），13名女性大学生参与。

#### 研究结果
**（1）最大CC与零延迟CC**
通过互相关分析发现，与人类伙伴唱歌时，最大CC值和零延迟CC值显著高于人工伙伴（伙伴主效应均显著，p<0.0001），表明参与者声音振幅包络与人类伙伴的相似性和同步性更高。视觉条件对这两个指标均无显著影响，说明视觉信息并未改变这种相似性差异。

**（2）最大CC延迟**
当与人类伙伴唱歌时，参与者倾向于提前唱歌（负延迟），且在有视觉条件下这种预期倾向更强（伙伴主效应：p<0.0001；视觉主效应：p<0.0001）。与人工伙伴唱歌时，无视觉条件下参与者倾向于滞后（正延迟），有视觉条件下延迟减小但仍未达到人类伙伴的预期程度。这表明视觉信息增强了预期协调，但无法完全弥补人工伙伴的不足。

**（3）格兰杰因果(GC)分析**
GC结果显示，与人类伙伴相比，与人工伙伴互动时参与者对伙伴的前向预测更强（从参与者到伙伴的方向GC值更高），且存在显著的伙伴×方向交互作用（p=0.0028）。无论视觉条件如何，人类伙伴条件下的GC值在双向上均显著高于人工伙伴，尤其在参与者到伙伴方向上差异更大，进一步证实了人类伙伴激发了更强的预期性协调结构。

**（4）个体差异**
个体间存在稳定策略差异（部分参与者倾向于跟随，部分倾向于领先），但人类伙伴的优势在大多数参与者中一致，表明并非由单一策略驱动，而是反映了与人类伙伴互动时协调质量的普遍提升。

#### 讨论与结论
讨论部分指出，人类唱歌声音的时变特性（自然的节奏波动）以及身体运动（如呼吸、发声相关动作）提供了精细的前瞻性信息，这些信息在机器生成的声音和运动中难以完全复现。即使AI生成的视觉运动能同步合成歌声，仍缺乏人类身体特有的微结构（如吸气声、发声前身体运动），这限制了预期同步的形成。该结果意味着，改善人机协调需要超越音色逼真度和视觉运动真实性，而应重视再现人类发声-身体动态的微结构（^*）。

**研究结论部分翻译**：
本研究考察了当人类歌手与人类伙伴或使用VOCALOID 6生成的人工伙伴一起唱歌时，协调动力学如何差异，以及视觉信息的可用性是否调节这些动力学。通过声音振幅包络的互相关和格兰杰因果分析，研究人员评估了参与者与伙伴歌声之间的相似性、同步性和预期关系。在所有测量指标上，与人类伙伴唱歌比与人工伙伴唱歌引发了更强的耦合。参与者与人类伙伴的声音动态表现出更大的相似性和同步性，以及更显著的预期同步——表明从反应性对齐转向预期协调。视觉信息的可用性进一步增强了预期时间偏移，但并未消除人人与人物互动之间的定性差异。即使提供了与合成歌声同步的AI生成视觉运动，与人工伙伴的协调也未达到与人类伙伴的水平。这些发现表明，唱歌中的有效人际协调依赖于声音和身体动态中微妙的时变结构——当前语音合成和动画技术可能尚未完全捕获这些结构。这一结构似乎提供了丰富的前瞻性信息，支持共同表演中的预期和相互调整。更广泛地，音乐互动为探究人机协调的限制以及识别支撑真正类人社会互动的信息和生物力学约束提供了灵敏的模型系统。