探索音频潜在空间导航中的手势表现能力

《Frontiers in Computer Science》：Exploring gestural affordances in audio latent space navigation

本研究通过设计一个基于AI音频合成模型的数字乐器，让18名音乐家探索两种不同潜在空间的地形，并分析他们如何通过手势调整（如大小、速度、压力）感知和开发演奏技巧。发现音乐家通过激活声音材料、定义声音轨迹、作为XY板控制参数及手势属性调节音色等四种方式与潜在空间互动，并指出主观身体感知对技术设计的影响。分隔符：

　　本文探讨了音乐家在使用生成式人工智能（AI）模型的潜在空间（latent space）时，如何感知与声音生成相关的动作（gestural）可能性，并将其转化为音乐表现技巧。研究重点在于理解音乐家在潜在空间中对声音生成动作的主观感知，以及这种感知如何影响他们在潜在空间中的表现方式。通过设计一个带有触控笔（stylus）和平板电脑（tablet）界面的数字音乐仪器（DMI），研究者邀请了18位音乐家参与一个工作坊，以探索开放性的动作模式并创作音乐乐谱。研究结果揭示了音乐家在潜在空间中如何感知这些动作，以及这些感知如何引导他们发展出新的表现技巧。

在音乐创作中，动作和声音之间的关系一直是一个核心议题。传统的音乐表现通常依赖于乐器的物理结构，如琴弦、鼓面或吹奏口型等，而这些动作的感知和执行往往与身体经验紧密相连。然而，随着生成式AI在音乐和声音领域的快速发展，潜在空间作为控制参数的集合，为音乐创作提供了一种新的可能。这种潜在空间虽然难以直接解释，但其能够将原始音频数据压缩为更少的参数，从而为音乐家提供了丰富的创作空间。通过与潜在空间的互动，音乐家能够发现新的动作可能性，并将其转化为独特的音乐表现方式。

本研究的核心在于从“具身音乐认知”（embodied music cognition）的视角出发，分析音乐家在潜在空间中的动作感知如何影响其表现技巧的发展。具身音乐认知强调身体体验在音乐互动中的重要性，包括身体动作、感官反馈和听觉体验。因此，研究不仅关注音乐家如何使用动作来控制声音生成，还探讨了这些动作如何被音乐家感知，以及这种感知如何塑造他们对潜在空间的理解和使用方式。通过结合访谈、乐谱创作和动作记录，研究揭示了音乐家在探索潜在空间时所经历的复杂心理和身体过程。

研究发现，音乐家在潜在空间中的动作选择和表现方式受到多种因素的影响，包括他们的身体姿势、动作速度、力度以及对声音特性的感知。例如，某些音乐家倾向于使用流畅而有节奏的动作来触发特定的声音效果，而另一些则更关注动作的精确性，以获得更稳定的音乐输出。这些动作不仅反映了音乐家对潜在空间的探索，还揭示了他们如何通过身体体验来调整和优化表现技巧。音乐家在不同区域的移动和停留时间，以及他们对声音特性的主观判断，共同构成了他们在潜在空间中的表现方式。

此外，研究还探讨了音乐家如何利用潜在空间的特性来发展新的表现技巧。一些音乐家在探索过程中发现，某些动作能够产生特定的声音效果，例如快速的点划动作可能带来类似打击乐的效果，而缓慢的线条移动则可能产生更柔和的音色。这些发现表明，潜在空间不仅是声音生成的工具，更是一个可以被音乐家重新定义和利用的创造性资源。音乐家通过尝试不同的动作模式，逐步建立了与潜在空间的互动方式，并在此基础上发展出个性化的表现技巧。

研究还发现，音乐家在使用潜在空间时，会根据自身的经验和技能，对不同的动作进行分类和命名。例如，某些音乐家将特定的线条绘制方式称为“节奏性动作”或“对比性动作”，这些命名不仅反映了他们对动作的感知，也体现了他们对声音特性的理解。通过这些动作的分类和命名，音乐家能够更好地组织和表达他们的音乐创作，从而形成一套独特的表现语言。

在数据收集和分析方面，研究采用了多种方法，包括音乐家的主观记录、乐谱创作以及视频和音频记录。通过这些数据，研究者能够追踪音乐家在探索潜在空间时的交互轨迹，并分析其动作如何影响声音的生成。这种分析方法不仅帮助研究者理解音乐家的创作过程，还揭示了他们在潜在空间中的主观体验和认知过程。

本研究的贡献在于，它为理解音乐家在潜在空间中的动作感知提供了一个新的视角，并展示了如何将这些感知转化为表现技巧。此外，研究还提出了一种新的数据收集方法，即“文档笔记”（documentary notes），这种方法结合了身体感知和音乐表现，为未来研究提供了可借鉴的框架。通过这种方法，音乐家能够在创作过程中记录他们的即时体验，并在后续的讨论中进行回顾和反思。

研究还发现，潜在空间的复杂性和高维特性对音乐家的创作提出了挑战。音乐家需要通过不断尝试和调整动作，来适应潜在空间的响应方式。这种适应过程不仅涉及技术层面的探索，还涉及对音乐感知的深化。通过这种方式，音乐家能够逐渐理解潜在空间的运作机制，并将其转化为音乐创作的一部分。

总体而言，本研究揭示了音乐家在使用生成式AI的潜在空间时，如何通过身体动作和感知来塑造他们的音乐表现方式。这不仅为AI增强的数字音乐仪器的设计提供了新的思路，也为未来的音乐创作研究提供了理论支持。研究强调，潜在空间的探索和表现是一个动态的过程，音乐家的主观体验在其中起到了关键作用。通过结合身体感知和声音特性，音乐家能够创造出独特的音乐表达，这为AI在音乐领域的应用开辟了新的可能性。