基于语义的手环式音乐生成系统设计：与传统基于符号的方法相比，该系统更能提升用户的自我效能感

《Advanced Robotics》：Design of a semantic-based wrist-worn music generation system: enhancing self-efficacy compared to traditional symbolic-based methods

　　摘要
本研究探讨了一种基于语义线索（如情感或主题）的可穿戴音乐生成系统的设计。该系统旨在提高用户创作音乐的能力信心（音乐自我效能感），相比之下，传统方法依赖符号性记谱法，如乐谱或特定音符。原型具有直观的界面、基于手势的控制以及简化的用户体验，减少了学习障碍并激发了创造力。实验结果表明，该设备通过持续互动、积极反馈和一种新颖的音乐生成语义方法有效提升了自我效能感。研究证实了这种创新方法在促进用户动机方面的潜力，并建议进一步研究以优化其可用性和功能性。

关键词：人机交互；音乐生成；基于语义的；自我效能感；可穿戴设备

1. 引言
随着生活节奏的加快，人们在缓解身体和心理压力方面面临着越来越多的挑战 [Citation1]。传统的压力缓解方法（如冥想和锻炼）虽然有效，但往往难以持续且缺乏互动性 [Citation2]。研究表明，音乐在缓解压力方面非常有效；此外，主动创作音乐相比被动聆听，可以显著提高休闲动机和自我效能感，从而促进整体幸福感 [Citation3]。当前的研究主要集中在“基于符号”的音乐生成方法上，这些方法依赖于乐谱或符号，例如五线谱上的音符或MIDI（音乐乐器数字接口）序列 [Citation4,Citation5]。这些方法通常需要较高的音乐知识水平，比如阅读乐谱或理解复杂的音乐结构，这可能导致非专业用户的体验较差 [Citation6,Citation7]。我们在预览研究中的初步实验 [Citation8] 验证了音乐生成设备在提升用户自我效能感方面的潜力，强调了进一步研究的必要性。本研究开发并验证了一种基于语义的可穿戴音乐生成设备，其目标是：（1）创建一种易于使用的设备，实现普遍的音乐创作，无论用户的音乐背景如何都能提高参与度和持续使用；（2）增强用户的音乐自我效能感，促进休闲、放松和幸福感；（3）将基于语义的方法与传统的符号方法进行比较，突出自我效能感和用户体验的改进；（4）为未来的可穿戴设备建立设计原则，展示基于语义的创新在音乐创作中的潜力。

2. 通过语义音乐生成提高自我效能感的方法
2.1. 音乐生成中语义分析的应用
传统的音乐仪器和电子乐器通常遵循基于符号的方法进行音乐生成，基本上是根据乐谱输入特定音符并遵循设定的节奏。虽然符号记谱系统能够传达情感或主题（例如通过使用小调、速度变化或表达性短语），但它们依赖于表演者对音乐理论和表演技巧的了解，才能有效地将情感意图转化为音乐。对于初学者来说，这一要求往往成为进入音乐领域的重大障碍。相比之下，基于语义的方法旨在绕过中间的技术步骤，通过解释用户输入（如手势或上下文信息）直接提取情感状态或意图，并将其转化为音乐元素 [Citation9,Citation10]。语义分析利用特征提取、上下文意识和实时适应性 [Citation11,Citation12] 来最小化用户内部情感与最终声音输出之间的差距。例如，在基于手势的语义分析中，速度、力度、方向和节奏等特征可以映射到不同的音乐表达上，使用户无需高级音乐训练即可直观地生成音乐。
最近的人工智能（AI）进展加速了基于语义的音乐生成方法的发展。深度学习技术，包括循环神经网络（RNNs）[Citation13] 和生成对抗网络（GANs）[Citation14]，使得基于用户输入的音乐创作成为可能。像Google的Magenta [Citation15] 和OpenAI的MuseNet [Citation16] 这样的项目利用大型数据集和复杂模型来生成反映用户定义的参数（如流派和风格）的音乐。然而，许多AI驱动的系统，如SUNO [Citation17]，将用户的参与限制在初始参数设置上，可能会降低创造性和归属感。因此，本研究旨在设计一种基于手势的语义音乐生成方法，结合了传统乐器的高自我效能感和AI生成方法的低操作难度，如图1所示。图1展示了三种音乐创作方法的概念性比较：音乐乐器（左）、提出的方法（中）和AI音乐生成器（右）。两个水平轴表示复杂性，从左边的“困难”到右边的“简单”。音乐乐器位于困难的一侧，而AI音乐生成器位于简单的一侧。提出的方法位于两者之间。垂直轴表示自我效能感，从左边的“强”到右边的“弱”。音乐乐器与强烈的自我效能感相关联，而AI音乐生成器与较弱的自我效能感相关联。提出的方法再次占据中间位置。每个区域的底部，音乐乐器标记为“基于符号的”，而提出的方法和AI音乐生成器都标记为“基于语义的”。虚线垂直边界在视觉上分隔了这三个类别。

2.2. 自我效能感理论和用户体验
自我效能感是指个体对自己执行特定任务的能力的信心，这一概念由心理学家阿尔伯特·班杜拉提出 [Citation22,Citation23]。它在塑造用户动机、参与度和与技术的持续互动中起着关键作用。例如，当人们对使用新应用程序或设备感到自信时，他们更有可能探索其功能并定期使用它。较高的自我效能感激励用户积极参与、深入探索并享受更积极的体验，从而带来更大的满意度、忠诚度和保留率 [Citation24,Citation25]。此外，自我效能感通过减少压力、建立信心和促进成就感来支持情绪健康。在数字环境中，自我效能感高的用户能更有效地应对挑战，促进与技术的持续互动 [Citation26]。具有实时反馈的音乐生成设备可以大大增强自我效能感。即时的听觉和视觉反馈显示了手势如何塑造音乐，增强了控制感和掌握感。这激励用户频繁使用，同时支持技能发展和融入日常生活。研究表明，自我效能感是采用教育软件 [Citation27] 和健康应用 [Citation28] 等技术的关键。传统方法，如跑步，需要付出大量努力并且时间有限。很少有研究探讨音乐生成系统如何提升自我效能感，尤其是对于没有正式培训的用户。大多数现有系统针对的是有经验的用户，限制了初学者的可访问性。我们的研究通过设计允许非专家有意义地参与音乐的设备来填补这一空白。除了自我效能感之外，音乐质量、用户创造力和表现力等因素也极大地影响了音乐生成系统的有效性。汤普森等人指出，高质量的音乐输出对用户满意度至关重要，而创造性控制增强了用户的成就感和自我效能感。瓦格纳和史密斯 [Citation29] 强调的表现力允许用户将情感融入音乐，从而提升沉浸感。通过整合这些因素，如图2所示，系统不仅提高了自我效能感，还提供了更广泛的好处，如压力缓解、习惯形成和创造性表达 [Citation19,Citation30]，确保所有技能水平的用户都能获得包容性的体验。

2.3. 基于语义的音乐生成设备的设计原则
2.3.1. 核心设计概念和研究假设
基于语义的音乐生成设备的核心设计结合了语义分析和直观控制方法，通过实时情感识别和反馈机制来增强用户参与度和创造力。该设备利用这些实时识别和反馈系统来解释用户输入（通过手势）并将其转化为相应的音乐元素。这种方法允许用户通过自然互动直接表达他们的情感和意图，使创作过程更加沉浸和愉快 [Citation31]。本研究假设基于语义的音乐生成设备比基于符号的方法更有效地提升自我效能感。与需要音乐理论或记谱知识的学习方法不同，基于语义的方法使用直观的手势和表达，降低了没有正式培训用户的障碍。通过实现对音乐创作的直观控制，该设备有望提升用户的信心和对创造能力的信念，从而增强整体自我效能感。
2.3.2. 自我效能感增强模型
提出的自我效能感增强模型解释了基于语义的音乐生成方法如何通过相互关联的组件来提升用户的自我效能感和参与度：情感反馈循环、用户满意度和继续使用的更强意愿。为了加强其理论基础，该模型明确与班杜拉的自我效能感理论保持一致，该理论将掌握经验、替代经验、言语说服以及生理和情感状态确定为自我效能感的四个主要来源 [Citation22]。此外，它还包含了音乐质量、用户创造力和表现力等关键元素，这些对于全面讨论技术参与度至关重要。模型包括以下阶段，如图3所示：图3展示了自我效能感增强模型。该模型将自我效能感增强模型呈现为一个无限循环。循环表示用户意图、系统处理、情感反馈和输出之间的连续循环。循环的左半部分显示了输入和处理阶段。它从用户的意图开始，用户被描述为好奇和富有创造力，并连接到输入阶段。相关的自我效能感来源是情感状态和言语说服。循环的中心标记为“模型集成”，表示用户输入通过系统模型进行处理。循环的右半部分显示了反馈和输出阶段。情感反馈被描述为赋权性的，并连接到反馈阶段。相关的自我效能感来源是替代经验和掌握经验。输出阶段导致满意度，从而维持参与度。总体而言，该模型展示了意图、处理、反馈和令人满意的输出如何形成一个重复的循环，以增强自我效能感。

3. 结论
本研究探索了一种基于语义线索的可穿戴音乐生成系统的设计，该系统旨在提高用户创作音乐的能力信心（音乐自我效能感），与依赖符号性记谱法的方法相比。原型具有直观的界面、基于手势的控制以及简化的用户体验，减少了学习障碍并激发了创造力。实验结果表明，该设备通过持续互动、积极反馈和一种新颖的音乐生成语义方法有效提升了自我效能感。研究确认了这种创新方法在促进用户动机方面的潜力，并建议进一步研究以优化其可用性和功能性。这个技术过程确保了所产生的音乐保持高质量，满足用户的期望，从而提供积极的体验。反馈阶段：用户评估并调整生成的音乐，形成一个情感反馈循环。这个循环通过迭代的成功和改进使用户能够掌握技能，而观察系统的反应提供了一种替代体验。尽管替代体验传统上被定义为通过观察他人来学习，在这种背景下，系统生成的响应充当了观察不同动作-结果映射的代理。通过展示不同的输入如何导致不同的音乐结果，系统使用户能够间接学习有效的策略，从而支持替代学习。这个过程增强了他们对创造能力的信心。输出阶段：用户对愉悦且富有表现力的音乐感到更高满意度，这有助于产生积极的生理和情感状态，班杜拉认为这是建立自我效能感的另一个关键因素。成就感和乐趣增强了他们继续使用的意愿，从而强化了自我效能感的提升循环。因此，这个集成模型创建了一个自我强化的循环，通过不断促进自我效能感的四个来源，系统性地提升了系统可用性和用户体验。通过明确地将模型基于班杜拉的框架，语义输入、系统设计和心理结果之间的关系变得清晰。

3. 系统设计与实现
3.1. 硬件：可穿戴多关节腕带
该设备由一个中央控制模块和九个腕带关节组成 [Citation32]。每个关节有十个光反射传感器（每列两个传感器，每列五个传感器，总计2×5×9=90个传感器）以及关节之间的一个光断路器传感器（总共九个），用于测量关节到手腕的距离和关节的弯曲程度。这些传感器捕捉手腕轮廓数据以进行手势识别（图4）。中央控制模块整合了关节组件，并通过内置的蓝牙模块将实时数据传输到PC。图4. 用于测量手势的多关节腕带。
详细阅读该图的描述
该图展示了一个佩戴在手腕上的传感设备及其传感机制的示意图。左侧显示了一个人的前臂戴着由多个连接模块组成的矩形腕带设备，这些模块沿着手腕排列。右侧的简化图示说明了设备如何捕捉动作。手腕肌肉显示在设备下方，关节模块放置在其表面。相邻模块之间的箭头指示了手腕弯曲时距离和角度的变化。图表强调该设备使用嵌入式传感器来测量多个关节的空间（距离）和角度变化，从而捕捉手腕动作以进行进一步处理。

我们使用支持向量机（SVM）方法根据距离和角度数据来识别用户的手腕角度和手部姿势。在这项研究中，我们共分类了九种手势，包括三种手腕手势和六种手掌手势，平均识别率为98.4%。通过将这些手势与相应的语义关联起来，系统将用户的手部动作转换为音乐元素。

3.2. 算法与软件实现
传统的基于符号的音乐制作系统通常具有复杂的图形用户界面（GUI），通常称为数字音频工作站（DAW），要求用户使用键盘和鼠标来调整参数。虽然这些软件应用程序功能强大，但它们对初学者来说并不直观，导致业余用户的认知负担高且自我效能感低 [Citation33,Citation34]。
本研究采用基于手势的、语义驱动的音乐生成方法。通过将手势与用户心理模型中的情感意图联系起来，用户可以直观地表达“意图-手势-音乐”，而无需先前的音乐知识。该研究还引入了一种“半预设”方法，能够在最小化错误的同时实现即兴创作。实时反馈被提供以增强用户体验并提升自我效能感。

3.2.1. 语义分析模块：意图-手势-音乐
要将用户意图转换为音乐元素，我们需要一种易于理解、简单实现并且能够为用户提供控制和满意感的媒介。手势符合这些标准，因为它们在日常互动中非常普遍且容易执行 [Citation35]。它们在沟通中的自然作用使它们成为抽象意图和具体音乐表达之间的理想桥梁 [Citation36]。
使用基于手势的输入的主要目标是与随时何地都能简单访问的音乐生成政策保持一致。具体来说，设备的可穿戴特性使用户能够在日常 routine 的短暂时刻方便地与其互动，例如在通勤或工作短暂休息期间。从理论角度来看，基于手势的输入已被证明可以支持一种具身互动感和即时反馈，这可以增强用户的感知控制感和自我效能感 [Citation22,Citation37]。通过直接将身体动作与音乐表达联系起来，手势可能帮助用户感觉与他们创造的音乐更加紧密相连，与更抽象的符号输入相比，减少了认知负担，从而鼓励参与和信心。虽然该系统中使用手势输入用于简单的UI选择和表达性音乐特征（如动态和节奏），但本研究并不声称确定手势输入与其他输入方式（例如触摸、基于按钮的或语音输入）相比的最优性。未来的工作将系统地比较基于手势的输入与其他输入方法（例如触摸、基于按钮的或语音输入），以检查它们在增强音乐自我效能感方面的相对优势。

为了将意图与手势联系起来，我们使用了一个“心理模型”——用户内部的理解框架，用于理解动作如何导致特定结果 [Citation38]。这种方法帮助用户理解他们的手势如何影响音乐结果。例如，旋转手腕可以将情感基调从悲伤转变为快乐，类似于驾驶汽车。同样，用户可以模仿指挥的手势，向上倾斜手掌来增加音乐紧张感，向下倾斜则减少紧张感，直观地将身体动作与音乐中的情感表达联系起来，如表1所示。
表1. 意图-语义-手势-音乐对应关系。
下载CSV
显示表格

最后一步是将用户的语义意图转换为音乐形式，捕捉情感和紧张度等元素。为此，我们开发了一种全面的音乐生成方法，将在下一节中详细说明。语义分析模型如图5所示。图5. 语义分析模块：意图-手势-音乐。
详细阅读该图的描述
该图展示了一个基于语义的音乐生成工作流程，连接了可穿戴设备、手势输入、语义分析和音乐输出。在左上角，腕带设备捕捉用户动作，并将其输入到一个映射算法中，该算法将手势与音乐元素联系起来。这些元素包括乐器、和弦、节奏、旋律、情感、速度和紧张度，其中紧张度被标为一个可调参数。在左下角，用户表达一个意图（例如，“我想感到兴奋”），通过手势识别转化为直观的控制。一个类似仪表盘的图表显示了从平静到兴奋的手势范围，中间表示了中等水平。在中间，语义分析模块根据心理模型解释手势，将物理动作（例如，更高的手掌运动）映射到抽象的音乐属性（例如，更高的紧张度）。在右侧，原始音乐数据通过预配置的规则进行处理以生成高质量的音乐。输出是个性化的音乐，并附带用户的反馈，表示成功（“我做到了！”）。一个反馈循环将音乐听众重新连接到用户，标记为“更高的自我效能感”和“尝试更多”，表明成功的互动鼓励持续参与和迭代使用。

3.2.2. 音乐生成模块：语义-和弦&旋律
为了平衡用户生成音乐的多样性和稳定性，我们为旋律生成开发了一条“半预设”规则。这条规则要求用户首先创建一个和弦进行，然后根据选择的紧张度类型生成匹配的和弦：
和弦生成规则：和弦结合了同时发出的音符，而和弦进行是形成音乐和声基础的序列，塑造其情感基调。在披头士乐队的《Let It Be》副歌中，和弦进行Am-G-F-C表达了不同的情感：Am小调引发内省，G大调带来乐观，F大调增加平静感，C大调提供结束感。这种进行将基调从内省转变为平静，引导听众经历一种情感旅程，如图6所示。
详细阅读该图的描述
该图展示了和弦进行与音乐短语中情感变化之间的关系。水平箭头表示从左到右的时间进展。顶部显示了一个重复的歌词短语，以指示正在分析的音乐段落。下面依次排列了四个和弦：Am、G、F和C。每个和弦都关联了一个描述性的情感标签：Am对应内省，G对应乐观，F对应平静，C对应结束感。布局强调了与和声进行相匹配的逐渐情感过渡。

在我们的方法中，我们设计了三组八个和弦的进行，每组代表不同的情感：“快乐”、“中性”和“悲伤”，如图7所示。用户可以通过旋转手腕来选择要输入的情感和弦进行，从而通过多种输入创建独特的组合。由于每个和弦都可以从三个不同的情感集合中选择，因此组合的数量非常多（22×35=972种组合）（移除可能在同一小节中出现的重复和弦，总计972种组合，如图7所示），确保几乎每个用户都可以生成独特的“和弦进行”。
详细阅读该图的描述
该图展示了一个由手腕旋转控制的情感基础的和弦选择系统。左侧的圆形界面将手腕方向映射到三个情感类别：快乐、中性和悲伤。右侧的网格表示一个八步的和弦进行。每一列对应进行中的一个位置，每一行对应一个情感类别。用户可以根据所选的情感在每个位置选择和弦。每个位置都有多个和弦选项，由每步可选择的数量表示。行之间的箭头表明用户可以在不同位置之间动态切换情感类别。底部总结了可能的和弦组合总数为972种，反映了所有步骤的组合可能性。

旋律生成规则：旋律是由单个音符组成的序列，通常带有音乐紧张感，传达一种平静或兴奋的感觉。我们设计了十多种不同的旋律类型，分为三个不同的紧张度级别：“平静”、“兴奋”和“高潮”。用户可以通过调整手掌的倾斜度来改变旋律的紧张度。类似于和弦，旋律提供了广泛的组合。通过提供多种旋律类型，我们使用户能够交互式地塑造音乐紧张度，以匹配他们的创作意图。
“半预设”规则涉及每个和弦对应一个音阶（例如，C和弦对应C大调音阶 [C, D, E, F, G, A, B]）。旋律类型由一系列数字定义（例如 [2, 3, 4, 5, 3, 1, 2] = [D, E, F, G, E, C, D]），这些数字从音阶中提取音符来形成旋律。我们通过分析流行音乐中的旋律主题并咨询专业音乐制作人，得出了21种旋律类型。这些21种类型包括从“平静”到“高潮”范围的上升和下降音阶组合，如图8所示。由于很难为这21种旋律提供详细的理论解释，我们使用“平静”到“高潮”的描述性方法对它们进行了分类，使其范围和设计意图更加易于理解。使用4个小节作为一个循环，具有相同紧张度的旋律类型也在不同时间点有所不同，使得旋律组合的数量也非常多（64=1296种组合）（每个循环内的每个小节可能包含六种旋律之一，如图8所示，总计1296种组合）。通过预设这些从平静到高潮的旋律类型，用户可以选择所需的紧张度并完成旋律生成。
详细阅读该图的描述
该图展示了一个基于情感紧张度和旋律轮廓的旋律选择框架。左侧的圆形界面代表不同的情感类别——平静、兴奋和高潮——每种都有上升和下降的变化。指针表明用户可以通过互动选择一个类别。右侧显示了一个四小节的结构，每个列代表序列中的一个小节。每个音条都提供了六种情感轮廓类别下的多种旋律选项。单元格之间的箭头表示选择可以在不同的音条之间流动，从而允许灵活的进展模式。在底部，总结了所有可能组合的总数为1,296种，这反映了通过每个音条选择一个选项所产生的组合空间。与“完全预设”方法相比，在该方法中人工智能预定义了所有音符，我们的方法为用户提供了更大的自由度和参与度。不同于“无预设”方法，后者要求用户手动创建每个音符，我们的方法在保证质量的同时降低了复杂性。它提供了一个既易于使用又富有创造性的平台，使用户能够通过和弦和旋律组合生成多达972×1296=1,259,712首独特的音乐作品。3.2.3. 用户反馈机制在音乐生成过程中，会收集并分析实时反馈，因为音乐是以离散单元或“音条”的形式创建的。用户预先定义音条的数量以确定作品的时长，每个音条包含一个和弦和一个旋律片段。随着每个音条的生成，用户可以立即聆听、评估并根据即时反馈调整下一个音条的计划。反馈机制包括两种主要类型：听觉反馈和视觉反馈。听觉反馈通过即时播放生成的音乐来提供，让用户能够实时听到他们的输入结果。视觉反馈包括屏幕上的指示器，如波形或音乐结构的图形表示，帮助用户在音乐形成过程中进行可视化。这些反馈类型在每个音条完成时同时提供，确保提供及时和相关的信息，以辅助后续决策。反馈机制提供了关键的好处，包括即时的听觉强化，激励用户继续[引用39]。实时响应增强了控制能力，允许做出明智的决策，同时鼓励对音乐创作的反思和参与[引用40]。这些因素提高了动机和自我效能感，创造了更加愉快和满意的体验。3.3. UI系统的设计与实现UI（用户界面）系统的设计对于音乐生成设备的可用性和有效性至关重要[引用41]。良好的UI确保了直观且用户友好的交互以及无缝的用户-设备通信[引用42]。本节探讨了核心设计原则，如直观性、可用性和反馈，以及输入界面、实时显示和个性化设置等关键模块，强调了它们在增强创造力方面的作用。它还讨论了UI与硬件的集成，以实现高效的输入到命令的转换和即时反馈，从而提高响应速度和满意度。3.3.1. UI设计原则和功能模块UI系统的设计旨在确保与音乐生成设备的最佳互动，具有直观性、可用性和实时反馈。清晰的布局使用户能够轻松访问功能模块。例如，在“和弦生成”界面（图9）中，用户通过简单的视觉提示选择和弦情感，如“快乐”、“中性”或“悲伤”，无需先前经验即可快速参与。图9：“和弦生成”用户界面。阅读此图的详细描述该图展示了一个由四个主要功能区域组成的和弦生成用户界面。左侧，一个圆形控件可视化基于手腕的输入，用于选择和弦情感，不同区域对应快乐、中性和社会情感。在其下方，一组控制按钮提供基本播放功能，包括开始、重新播放、重做和保存。右上方，一个状态面板显示当前播放位置（例如，音条编号）、剩余音条数和当前选择的和弦情感。右下方，一个图表可视化了多个音条中和弦情感的时间进展。水平轴代表时间（音条），而垂直轴代表情感类别。彩色标记表示分配给每个音条的情感，其中一个标记突出显示当前播放的位置。总体而言，该界面结合了基于手势的输入、系统状态反馈和时间可视化，以支持交互式音乐生成。UI系统的可用性通过其功能模块得到了增强。例如，在“和弦生成”界面（图9）中，用户通过旋转手腕来选择和弦情感，得到清晰的视觉提示引导。即时听觉反馈让用户能够听到生成的音乐，从而调整参数（如时长和频率）以完善输出。模块化界面设计允许直观地实时操作音乐元素，以实现所需的效果。实时反馈对UI系统至关重要，增强了用户的参与度和控制力。当用户生成和弦时，系统会立即播放相应的音条，使用户能够立即评估和调整。这种反馈通过积极的强化激励用户，促进创造力和改进。这些设计元素确保UI满足了音乐创作中多样化的用户需求。3.3.2. UI与硬件的集成软件和硬件的集成确保了用户输入快速转换为音乐生成命令，并提供实时反馈。该系统的手环配备了ADG Technology的ZEAL-C02无线模块，通过蓝牙将手腕轮廓数据传输到PC。初次使用时需要校准手腕旋转角度（三个角度，图10(a)）和手掌倾斜角度（六个角度，图10(b)）。使用支持向量机（SVM）处理的校准数据实现了精确的手势识别，确保用户动作与命令的准确映射，从而改善用户体验。图10. 旋转和倾斜角度的校准。(a) 三个旋转角度和(b) 六个倾斜角度。阅读此图的详细描述该图展示了佩戴在手腕上的传感设备的校准方案，包括旋转和倾斜配置。左侧，三个离散的旋转角度（0°、90°和180°）说明了设备的参考方向。这些方向为手势解释建立了统一的对齐。右侧，一个圆形图表显示了六个离散的倾斜位置，代表不同的手掌倾斜角度。每个部分对应一个特定的倾斜级别，其中一个部分被突出显示以指示选定的校准状态。这些旋转和倾斜配置共同定义了一组标准化的输入状态，用于可靠的手势感知和解释。在音乐生成过程中，当用户改变手势时，系统会捕获手腕轮廓数据并识别当前的手势。这通过语义分析模块（第3.1.1节）映射到音乐元素。然后音乐生成引擎（第3.1.2节）创建MIDI格式的音乐数据，提供即时听觉反馈以进行实时评估。这种无缝的硬件-软件集成确保了用户输入的有效转换成有意义的音乐输出，提高了响应速度和参与度。4. 原型自我效能感提升表现的评估实验4.1. 实验设计本研究假设基于语义的音乐生成设备比基于符号的设备更能有效地提升用户的自我效能感。该假设基于这样的前提：使用直观控制和实时反馈的语义方法将在音乐创作过程中增强用户的信心和能力。4.1.1. 参与者选择标准和实验设备共有11名参与者，包括8名男性和3名女性，年龄在22至40岁之间。其中6名参与者至少有演奏乐器一年的经验（即他们有能力根据乐谱进行基于符号的制作），4人有公开表演音乐的经验，没有人使用传统乐器之外的工具进行音乐演奏或创作。这个多样化的样本旨在评估设备在不同用户群体中的有效性。每次实验持续60到75分钟，为参与者提供了充足的时间来体验原型和控制设备、完成任务并提供反馈。表2. 参与者的背景。下载CSV显示表格实验使用了两种音乐生成设备：一种是为本研究开发的语义基原型（图11(a)），以及一种控制设备ORBA2[引用43]，它使用基于符号的音乐生成方法（图11(b)）。ORBA2设备依赖于符号交互，要求用户与特定按钮或垫子互动来产生音乐。例如，用户可以选择播放“打击乐”或“贝斯”，然后垫子上的每个按钮对应于该乐器音阶中的一个音符。该设备的操作类似于传统乐器，它整合了各种乐器的声音，允许用户轻松演奏音阶内的音符，使其成为初学者的理想符号基乐器。相比之下，本文提出的设备允许用户通过手势而不是按钮进行输入，通过基于语义的方法，用户无需考虑具体的音符和节奏，而可以专注于更直观的方面，如“情感”。参与者使用这两种设备进行学习、练习和录制音乐生成，以比较它们对自我效能感的影响。图11. 参与者分别使用提出的原型和ORBA2完成音乐生成。(a) 提出的原型和(b) ORBA2。阅读此图的详细描述该图展示了实验中使用的两种音乐生成设备。左侧，一名参与者坐在桌子前，戴着耳机并与笔记本电脑互动，同时使用提出的佩戴在手腕上的设备。设备连接到参与者的手腕，并与笔记本电脑相连，笔记本电脑上显示音乐控制界面。这种设置代表了基于手势的语义音乐生成。右侧，一张特写图片显示了ORBA2设备，这是一个紧凑的手持音乐控制器，具有分隔的触摸敏感区域和标记不同的音乐功能的控件。该图突出了可穿戴的基于手势的系统与传统手持音乐界面之间的区别。4.1.2. 实验步骤实验包括三个阶段：学习、音乐生成和评估。在学习阶段，参与者使用原型设备进行练习。在音乐生成阶段，他们完成了五轮任务，每轮完成后对音乐进行评分，并重新评估之前的作品，以跟踪自我评估和满意度水平的变化。完成原型任务后，参与者进入评估和问卷阶段。他们填写了事后系统可用性问卷（PSSUQ[引用44]以评估设备的可用性，以及音乐自我效能问卷（MSQ[引用45]以衡量他们在音乐创作中的信心。这两个问卷都包含李克特量表（1–7），以评估参与者对给定陈述的同意程度。随后，参与者使用控制设备ORBA2重复了类似的过程，花费10-15分钟使用与原型相同的和弦和旋律创建逻辑进行练习和音乐生成。之后，他们完成了相同的MSQ问卷。实验以简短的访谈结束，以收集关于他们体验的定性反馈。整个实验过程如图12所示。本研究获得了东京大学伦理审查委员会的批准（审查编号：23–503）。图12. 实验流程图。阅读此图的详细描述该图以两阶段流程图的形式展示了提出的原型和控制设备之间的比较。过程从预调查开始，接着是第一阶段，参与者使用提出的原型。在此阶段，交互和自我评估在多轮中重复进行。完成任务后，参与者回答音乐自我效能问卷（MSQ），然后是系统可用性问卷（PSSUQ）。之后，参与者使用控制设备（ORBA2）继续进行第二阶段。在这次会议之后，参与者再次完成MSQ。最后，研究以访谈结束，以收集定性反馈。总体而言，流程图展示了两种交互方法的结构化比较，结合了重复交互、定量问卷和定性评估。4.1.3. 数据收集和分析方法通过定量和定性方法收集数据，以全面评估用户体验。定量数据是使用改进的音乐自我效能量表获得的，该量表评估了用户在使用设备后的音乐练习和表现信心[引用45]。参与者在每次任务后也会立即自我评估他们的表现，提供了关于随时间变化的自我效能感的见解。定性数据通过实验后的访谈收集，提供了关于设备可用性、交互性和其对自我效能感影响的反馈。这些反馈被分析以确定共同的主题和改进领域。对于数据分析，应用了描述性和推断性统计方法。描述性统计总结了问卷的回答，而推断性统计方法（如T检验和Wilcoxon符号秩检验）用于确定两种设备之间自我效能分数的显著差异。来自访谈的定性数据被主题编码，以提取关于用户体验和满意度的模式和见解。这种混合方法提供了关于原型在提升自我效能感方面相对于控制设备的有效性的有力评估。4.2. 定量分析结果本节分析了实验数据，重点关注使用原型时的用户自我效能分数和自我效能提升的自我评估数据。4.2.1.音乐自我效能量表的结果

根据图13所示的问卷结果，与对照组设备相比，使用原型设备后，用户的音乐自我效能得分——包括音乐练习和音乐表演的自我效能——显著提高。音乐练习自我效能指的是参与者认为自己能够有效地参与音乐练习，包括使用设备学习和提高音乐技能。另一方面，音乐表演自我效能是指他们对自己在现场或公开场合成功表演音乐的信心。后者，即对现场或公开表演的信心，通常得分较低。这种差距可以归因于公开表演带来的压力和焦虑，而这些在私人练习时并不存在。图13显示了音乐自我效能量表的结果。

该图表比较了所提出的原型设备和ORBA2在两个维度上的自我效能得分：音乐练习自我效能和音乐表演自我效能。在音乐练习方面，所提出的原型设备显示出更高的平均得分，分别为5.28和4.37，差异具有统计学意义（p = 0.009）。在音乐表演方面，所提出的原型设备同样显示出更高的平均得分，分别为5.12和3.85，差异也具有统计学意义（p = 0.005）。箱形图显示了得分分布，标记表示平均值，水平线表示中位数。

由于李克特量表在统计分析中通常被视为非参数数据，因此使用了Wilcoxon符号秩检验来进行分析。Wilcoxon符号秩检验确认了两种设备之间的得分差异具有统计学意义，表明用户在使用原型设备时在练习和表演两种情境下都感到更加自信。此外，r效应量结果显示，原型设备与对照组设备之间的效应量分别为0.603和0.905，这两个值都表明效应量较大（大于0.5），进一步强调了原型设备对用户音乐自我效能的显著影响。数据总结在表3中。这一发现表明，本研究中开发的原型设备为用户提供了比其他为业余爱好者设计的商业音乐生成产品更高的音乐自我效能。

4.2.2 自我评估结果

图14展示了一个典型的用户自我评估数据示例。在该图中，x轴代表实验中每一轮生成的音乐，标记为A到E，而y轴表示用户提供的自我评估分数。每一轮音乐生成的评估由坐标轴上的(X)-(N)表示，其中(X)表示第(X)轮生成的音乐，(N)表示第(N)轮结束时的评估。彩色圆圈表示同一轮内生成的音乐的评估（例如A-1，B-2）。该图显示了一个散点图，展示了参与者在多轮音乐生成过程中自我评估分数的变化。每一轮包含多个评估点，代表不同的生成结果。纵轴表示自我评估分数，从低到高递增，而横轴表示轮次顺序。一条虚线趋势线连接了各轮选定的点，显示出自我评估分数的整体提升。此外，垂直虚线箭头表示同一轮内生成的音乐与之前轮次生成的音乐之间的比较。总体而言，该图展示了随着参与者与系统的持续交互，自我评估分数的逐渐提高。

结果显示，自我评估分数呈现出明显的上升趋势，尤其是在评估同一轮内生成的音乐时（如图14中的红色箭头所示）。为了分析用户对每一轮新生成音乐的评估变化，我们将每位参与者前五轮生成的第一份自我评估值合并成一个数组，称为EC1（评估变化1）。随着试验次数的增加，用户对早期轮次生成音乐的满意度也持续上升，这一点从灰色圆圈可以看出（图14中的蓝色箭头）。这一结果表明，随着用户技能的提高，他们的整体音乐自我效能也得到了提升，他们对早期作品的评估更加正面，表明对过去表现的重新评估。

4.3 定性分析结果（基于用户访谈）

本节总结了用户访谈中的关键发现，重点介绍了参与者对原型设备的看法、体验和建议。根据用户的反馈，这些结果提供了有关受重视的功能和改进领域的见解。由于篇幅限制，下面总结了主要的访谈问题及最常见的回答：

Q1：你觉得在这个实验中使用这种腕带式音乐生成设备（多关节腕部传感器）有趣吗？如果有，你觉得哪里有趣？
A1：大多数参与者（11人中的10人）认为该设备非常有趣，其中8人表示它使音乐创作过程变得愉快且简单。这表明该设备的直观设计和交互功能有效地吸引了用户，并提供了有趣且易于使用的音乐创作体验。

Q2：你认为用这个设备创作的音乐好吗？如果可以改进的话，你会改进什么？
A2：大多数参与者（11人中的8人）认为他们创作的音乐质量不错。然而，有3人希望不同和弦和旋律的声音能有更明显的区分，表示更明显的区分会使设备在语义上更加直观。这表明虽然整体体验积极，但在增强音乐元素清晰度方面还有改进空间，以更好地满足用户对语义系统的期望。

Q3：你是否愿意在日常生活中继续使用这种腕带设备？如果愿意，你会使用它的频率是多少？
A3：大多数参与者（11人中的10人）表示有兴趣继续使用该设备，特别是在放松和休闲活动中。6人特别提到他们会主要用于放松，使用频率从每周一次到三次不等。这表明该设备可以成功融入用户的日常生活中，特别是用于缓解压力或休闲目的。

访谈表明，该原型设备因其吸引人和愉快的音乐创作体验而受到用户的欢迎。用户赞赏其简单性和交互性，使得音乐创作变得容易且有趣。反馈建议在对和弦和旋律之间做出更清晰的语义区分，以提高满意度。大多数参与者表示愿意将设备融入日常生活中，强调了其在放松和休闲场景中的潜力。

总体来说，这些定性发现支持定量数据，表明该原型设备有效增强了用户的音乐自我效能和满意度，并指出了潜在的改进领域。

4.4 讨论

本节分析了基于语义的音乐生成设备为何能更好地满足用户需求和意图，提供更灵活的情感表达方式，并降低学习障碍。通过以下实验结果初步验证了原型的有效性，原型特征之间的关系如图15所示：图15展示了原型特征与音乐自我效能结果之间的联系。该图表呈现了一个概念流程图，将原型特征与音乐自我效能结果联系起来。在顶层，合格的系统可用性促进了更高的音乐自我效能，进而随着时间的推移提高了音乐自我效能。在较低层次，如易用性、直观控制和专注的功能等因素降低了学习成本，减少了错误并提高了奖励。这些中间因素支持了新颖的交互体验。这些因素共同促进了平衡的难度、基于语义的生成以及通过练习持续的增长，从而支持了音乐自我效能的发展。总体而言，该图示展示了从系统设计特征到用户音乐自我效能持续提升的因果路径。

这些结果表明，原型系统具备令人满意的可用性，使大多数用户在短暂的学习后就能熟练操作它。高可用性得分反映了该设备的直观设计，为用户提供了流畅的体验，并增强了他们有效使用设备的信心。

4.3 定性分析结果（基于用户访谈）

本节总结了用户访谈中的关键发现，重点介绍了参与者对原型设备的意见、体验和建议。根据用户的反馈，这些结果提供了有关受欢迎功能和需要改进领域的见解。由于篇幅限制，下面仅总结了主要的访谈问题及最常见的回答：

Q1：你认为在这个实验中使用腕带式音乐生成设备（多关节腕部传感器）有趣吗？如果有趣，你觉得有趣的地方是什么？
A1：大多数参与者（11人中的10人）认为该设备非常有趣，其中8人提到它使音乐创作过程变得愉快且简单。这表明设备的直观设计和交互功能有效地吸引了用户，提供了有趣且易于使用的音乐创作体验。

Q2：你认为用这个设备创作的音乐好吗？如果可以改进的话，你会改进什么？
A2：大多数参与者（11人中的8人）认为他们创作的音乐质量不错。然而，有3人希望不同和弦和旋律的声音能有更明显的区分，表示更明显的区别会使设备在语义上更加直观。这表明虽然整体体验积极，但在增强音乐元素的清晰度方面还有改进空间，以更好地符合用户对基于语义系统的期望。

Q3：你是否愿意在日常生活中继续使用这种腕带设备？如果愿意，你会使用它的频率是多少？
A3：大多数参与者（11人中的10人）表示有兴趣继续使用该设备，尤其是在放松和休闲活动中。6人特别提到他们会主要用于放松，使用频率从每周一次到三次不等。这表明该设备可以成功地融入用户的日常生活中，特别是用于缓解压力或休闲目的。

访谈表明，该原型设备因其吸引人和愉快的音乐创作体验而受到用户的欢迎。用户赞赏其简单性和交互性，使得音乐创作变得容易且有趣。反馈建议在对和弦和旋律之间做出更清晰的语义区分，以提高满意度。大多数参与者表示愿意将设备融入日常生活中，凸显了其在放松和休闲场景中的潜力。

总体而言，这些定性发现支持定量数据，表明该原型设备有效增强了用户的音乐自我效能和满意度，并指出了潜在的改进领域。

4.4 讨论

本节探讨了基于语义的音乐生成设备为何能更好地满足用户需求和意图，提供更灵活的情感表达方式并降低学习障碍。原型的有效性通过以下实验结果得到了初步验证，原型特征之间的关系如图15所示：图15展示了原型特征与音乐自我效能结果之间的关系。该图表呈现了一个概念流程图，将原型特征与音乐自我效能结果联系起来。在顶层，合格的系统可用性带来了更高的音乐自我效能，这反过来又促进了音乐自我效能的提升。在较低层次，如易用性、直观控制和专注的功能等因素降低了学习成本，减少了错误并带来了更高的回报。这些因素还支持了新颖的交互体验。这些中间因素共同导致了适度的难度、基于语义的生成以及通过练习的持续成长，从而支持了音乐自我效能的发展。这种方法使得音乐制作过程更加直观和易于上手，用户可以轻松地创造性地探索这些元素。通过实践来提升技能：持续使用可以提高用户的熟练度，并使其更符合创意目标，从而增强自我效能感。

5. 结论与未来方向
5.1. 成就
本研究介绍了一种原型音乐生成设备，它弥合了用户操作便捷性与先进音乐生成技术之间的差距，为人机交互（HCI）和音乐生成研究领域做出了新的贡献。该原型以其以用户为中心、直观的设计而脱颖而出，简化了音乐创作过程，同时显著减少了错误以及用户熟悉设备所需的时间。该原型的主要创新之处在于其独特的音乐生成方法，该方法能够无缝融合用户的参与度和创造性探索。通过提供即时积极反馈并消除对音乐知识的预先要求，该设备使得音乐创作的门槛降低，尤其吸引那些没有受过专业培训的人。此外，该原型通过易于使用的控制界面和持续学习与发现的机会，积极提升了用户的音乐自我效能感。

与现有设备不同，我们的方法已经通过实证验证可以有效提高用户的音乐自我效能感并促进用户参与，为如何将HCI原则应用于创意工具提供了实际案例。具体来说，这种设计展示了直观交互、即时反馈以及对非专家的支持如何共同赋予用户力量，为音乐生成领域中的HCI驱动设计提供了有价值的框架。这些发现有助于更广泛地理解如何设计出既易用又引人入胜的创意工具，从而将这项工作视为HCI和音乐生成研究领域的重要进展。

5.2. 研究局限性与未来方向
本研究存在一些局限性需要指出。首先，样本量相对较小，仅有11名参与者。如果样本量更大且更具多样性，将能够更全面地了解该原型在不同人群中的有效性。其次，在实验控制方面也存在不足；参与者之前在音乐和技术方面的经历差异可能会影响研究结果。此外，该研究没有考虑长期使用情况以及自我效能感随时间的变化情况，而这些对于理解设备的持久影响至关重要。

为了解决这些局限性，未来的研究应该考虑扩大样本规模，纳入更多不同背景的参与者，以提高研究结果的普遍性。同时，还可以进一步优化语义生成算法，以提高生成音乐的准确性和相关性，从而提供更加个性化的用户体验。此外，计划开展纵向研究，探讨用户通过持续使用是否能够维持短期内提升的自我效能感，并探索支持或阻碍这种长期可持续性的潜在因素。

尽管在该系统中手势输入被用于简单的用户界面选择和表达音乐特征（如动态和节奏），但本研究并未对其相对于其他输入方式的优劣作出定论。未来的工作将对手势输入与其他输入方式（例如触觉、按键或语音输入）进行系统比较，以考察它们在提升音乐自我效能感方面的相对优势。

基于本研究的优势，未来的开发可以探索多模态交互（如触觉输入）和个人化功能（如自适应学习路径），以增强设备的多功能性和用户参与度。