机器人讲故事中非语音声音对情感诱导和叙事体验的影响：一项实证研究

《Computers in Human Behavior: Artificial Humans》：Multimodal robotic storytelling integrating sound effects and background music

本文针对机器人讲故事中如何有效利用非语音声音（如背景音乐和音效）增强情感诱导和叙事体验的问题，研究人员开展了一项系统研究。通过预实验验证了针对特定情感（悲伤、恐惧、欢乐、英雄感）的音乐创作指南，并在主实验中比较了无附加声音、仅音效、仅背景音乐以及两者结合四种条件。结果表明，背景音乐能有效提升叙事沉浸感（Transportation）和认知吸收（Cognitive Absorption），并降低疲劳感；而音效的单独使用效果相对有限。该研究为优化社交机器人讲故事的情感交互设计提供了实证依据和实用指南，对提升人机交互体验具有重要意义。

　　

在人工智能技术飞速发展的今天，社交机器人正逐渐走进我们的日常生活，从提供信息咨询到陪伴娱乐，其应用场景日益丰富。其中，讲故事作为一种古老而有效的情感交流与知识传递方式，自然成为社交机器人交互能力的重要体现。一个优秀的讲故事者不仅能清晰叙述情节，更能通过语音语调、肢体语言乃至环境声音的巧妙运用，营造氛围、传递情感，让听众沉浸其中。然而，当前的机器人讲故事往往侧重于文本内容的朗读和基础的动作配合，在利用声音元素（如背景音乐和音效）来增强叙事表现力和情感冲击力方面，仍有很大的探索空间。这些非语音声音元素在电影、游戏等传统媒介中已被证明是调动观众情绪、提升沉浸体验的关键手段，但它们如何有效地整合到机器人讲故事的场景中，其效果如何，以及是否存在最佳的组合策略，都是亟待回答的问题。

为了深入探究非语音声音在机器人讲故事中的作用，研究人员在《Computers in Human Behavior: Artificial Humans》上发表了一项系统的实证研究。该研究旨在明确背景音乐和音效对听众的叙事体验（如沉浸感、认知吸收）、情感诱导以及主观评价的具体影响，并试图为创建情感丰富的机器人讲故事体验提供基于证据的设计指南。

研究人员主要采用了实验室控制实验的方法，并辅以初步的在线验证研究。关键技术方法包括：1. 基于文献梳理出针对特定情感（悲伤、恐惧、欢乐、英雄感）的音乐声学特征指导原则（如音高、和声、节奏、速度、发音法、配器），并通过在线研究验证了所选音乐片段的有效性。2. 利用SoftBank的Pepper机器人作为讲故事载体，通过其Python SDK (NAOqi) 编程控制机器人的语音合成（TTS）和预先设计的情感化身体语言。3. 精心选择了四篇Colleen Hoover的浪漫小说片段作为故事材料，并通过预研究确保故事本身在喜好度和情感基调上无显著差异。4. 设计了四种实验条件（无附加声音、仅添加音效、仅添加背景音乐、同时添加音效和背景音乐），采用被试内设计，通过问卷调查（如Transportation Scale - Short Form, 认知吸收问卷, PANAS-X情绪量表）和视频记录分析（如眨眼频率作为注意力客观指标）来收集数据。

研究结果

1. 非语音声音对叙事体验的影响

研究结果显示，背景音乐（Music条件）在提升叙事沉浸感（Transportation）和认知吸收（Cognitive Absorption）的几个维度上表现出最积极的效果。具体而言，与无附加声音（NoAdds）条件和仅使用音效（Effects）的条件相比，背景音乐能显著让听众更深度地融入故事世界，体验到更强的时间扭曲感（Temporal Dissociation）和专注沉浸感（Focused Immersion）。然而，将音效和背景音乐结合使用（BothAdds条件）并未产生叠加效应，其效果介于单独使用音乐和单独使用音效之间。

2. 非语音声音对情感诱导的影响

在情绪方面，背景音乐同样显示出最强的效果，它能有效诱导更高的积极情绪（Positive Affect）。相反，仅使用音效的条件在积极情绪诱导上效果最弱。值得注意的是，背景音乐条件也引发了相对较高的负面情绪（Negative Affect），研究者分析这可能与所选音乐片段为了匹配故事中某些情节的情感强度有关。在注意力方面，背景音乐条件下的参与者自我报告的专注度（Attentiveness）最高，而疲劳感（Fatigue）最低，这表明背景音乐可能有助于维持听众的注意力投入。

3. 主观评价与偏好

尽管在客观测量指标上存在差异，参与者在主观上对不同讲故事形式的喜好度（Presentation Liking）并未表现出统计学上的显著差异。描述性数据显示，无附加声音条件和背景音乐条件获得的喜好度评分略高。在事后询问最偏好的呈现方式时，四种条件的选择分布较为均匀，未出现一边倒的情况。

研究结论与意义

本研究通过严谨的实验设计，系统地评估了非语音声音（特别是背景音乐和音效）在机器人讲故事情境中的作用。核心结论指出，背景音乐是增强叙事沉浸感、促进认知吸收和诱导积极情绪的有效工具，其效果优于单独使用音效或完全不使用非语音声音。而音效的单独使用对提升体验的帮助相对有限。将两者结合使用并未带来预期的协同效应，其效果与单独使用音乐相近。

这项研究的意义在于，它首次为社交机器人讲故事中的非语音声音设计提供了基于实证的、具体的指导原则。研究结果提示，在设计和开发讲故事机器人时，应优先考虑精心选择和编排与故事情感基调相匹配的背景音乐，以最大化提升用户的聆听体验和情感投入。而对于音效的使用，则需要更加谨慎，确保其与叙事内容紧密贴合且不至于干扰主线。该研究不仅深化了我们对多模态人机交互中声音要素作用的理解，也为未来开发更具吸引力和情感表现力的社交机器人应用提供了切实可行的设计启示。未来的研究可以进一步探索不同文化背景、年龄段的用户对声音元素的偏好差异，以及动态自适应音乐生成技术在机器人讲故事中的应用潜力。