与屏幕“对话”：抖音旅行短视频中网红的非语言暗示及用户互动情况观察

《Journal of Retailing and Consumer Services》：Talking to the screen: Influencer nonverbal cues and observed platform engagement in Douyin travel short-form videos

　　摘要
简短的旅行视频已成为重要的数字服务接触点，然而对于影响者背后的听觉和视觉非语言线索如何共同影响累积的观看喜好，我们知之甚少。基于处理流畅性和认知负荷理论，我们从60位影响者发布的495个抖音旅行视频中计算提取了声音和手势特征，并估计了创作者内部变异的泊松固定效应模型。基于谐波噪声比（HNR）的声音信号质量与观看喜好之间存在U形关联，其中最小值出现在中等HNR水平。说话速度更快与较少的喜好数量相关。插画手势没有统一的主要关联，但它们与喜好的关联在较高的音调和更快的说话速度下变得不那么有利，后一种模式在稳健性检验中显示出更大的敏感性。高亮手势在高音量下与喜好有更积极的关联，尽管这一证据相对有限。总体而言，视听调节在不同线索组合中是选择性的，而不是统一的。这些观察结果揭示了非语言线索与累积观看喜好之间的有限关联，并为关于音频-手势组合的受控实验提供了实证基础。

引言
短形式视频平台的普及从根本上改变了数字营销和消费者参与的模式。TikTok、抖音、Instagram Reels和YouTube Shorts等平台已成为内容传播的主要渠道，共同吸引了全球数十亿的日活跃用户（L. Xiao等人，2023年）。在这种背景下，短形式视频已成为旅游目的地营销的核心媒介，通过多感官刺激提供了前所未有的体验旅行机会（Tang等人，2025年；吴和赖，2025年）。与传统的静态图像或文字描述不同，短形式旅行视频整合了视觉、听觉和叙事元素，将观众带入目的地，并与旅行愿望和行为意图相关联（周和焦，2025年）。鉴于旅游本质上是一种以感官愉悦、情感满足和体验象征为特征的享乐消费类别（Hirschman和Holbrook，1982年），理解多模态内容如何与平台互动具有重要意义。
在这项研究中，影响者作为沟通者的角色至关重要。与专业制作的广告不同，影响者生成的视频以其感知的真实性和人际亲密性为特点——这些品质促进了准人际关系的建立和维护（Chung和Cho，2017年）。非语言线索是通过这些伪人际联系建立和维护的重要沟通机制（Rubin和McHugh，1987年）。观众对影响者的温暖、能力和可信度的印象不仅来自于语言内容，还来自于声音质量、面部表情和身体动作的微妙相互作用（黄和陈，2025年）。因此，理解特定听觉和视觉非语言行为如何与短形式旅行视频中的平台互动有关，对于数字营销研究和行业实践都具有重大意义。

关于短形式视频的研究已经确定，视听特征与消费者反应相关，涵盖视觉属性（如颜色和构图，Q. Xiao等人，2025年）、听觉特征（如音乐节奏（BPM，每分钟拍数）和声音韵律（Barnes，2024年；杨等人，2025年）及其组合（张和张，2025年），其中一些副语言特征显示出非线性而非线性的关联（J. Li等人，2025年）。这项工作的两个特点是：它主要逐个特征进行分析，并倾向于假设更清晰、更丰富或更一致的信号会产生更积极的观众反应（周和焦，2025年）。相比之下，信息处理能力有限的理论较少关注另一种可能性，即单独看来有用的线索在其他线索竞争有限注意力资源时会变得不那么有利。因此，视听线索在何种条件下从促进处理转变为给观众增加认知负担，在理论上仍缺乏明确的规定。尽管取得了这些进展，文献中仍存在三个空白。首先，现有关于短形式视频中听觉特征的研究主要集中在背景元素上，如BPM和环境声音特征，将它们视为情境因素，而不是将影响者自身的声音表达作为核心沟通资源。影响者言语中的副语言和低级声学特征（包括音调、音量和基于HNR的声音信号质量）在旅游营销背景下的理论和实证探索仍然不足。其次，虽然手势在面对面和教育环境中的沟通作用已被广泛记录（Hostetter，2011年；Pi等人，2019年），但它们在移动短形式视频环境中的功能尚未得到充分研究。移动视频消费的有限屏幕空间、压缩的时间窗口和高信息密度创造了与人际沟通不同的条件，使得直接从现有手势研究中推断变得困难。第三，听觉和视觉线索大多被单独分析，没有研究当韵律和手势必须在同一时间窗口内处理时产生的跨模态互动，特别是信息流的密度是否决定了这些线索是互补还是竞争。这些问题共同指向了一个问题：在何种听觉条件下，影响者的非语言线索与观察到的喜好更相关或不太相关？

本研究结合了两种互补的理论视角来解释影响者的非语言线索如何与旅行视频中的观看喜好相关。处理流畅性理论认为，处理的主观容易程度以及线索与观众预期的契合度会产生积极的情感（Reber等人，2004年；Graf和Landwehr，2015年）。从这个角度来看，观众的反应更多地取决于线索与类型沟通预期的契合度，而不是信号的数量。认知负荷理论则强调工作记忆容量的有限性，并指出单独处理时有帮助的线索在跨渠道同时呈现时可能会超出可用的认知资源（Sweller，1988年；Kalyuga和Sweller，2014年）。综合这些观点，非语言线索的价值取决于两个条件：一是其与类型预期的契合度，二是它可能带来的额外处理负担。因此，当线索在情境上一致且认知上简洁时，预期观察到的喜好会更高。

本研究有三个贡献。首先，在样本中的抖音旅行视频中，它确定了基于HNR的声音信号质量与累积观看喜好之间的非单调关联，从而为基于流畅性的解释指定了一个候选边界条件，而不是建立对更清晰或更嘈杂音频的普遍偏好。其次，它确定了音调和说话速度是在这些条件下插画手势的关联变得不那么有利的条件，同时将跨模态资源竞争视为解释性解释，而不是直接测量的机制。第三，它将这些观察模式转化为在影响者中介的数字服务接触点中进行受控测试的假设，而不是制定规范性线索管理规则。

处理流畅性和认知负荷在多模态环境中的作用
处理流畅性理论强调了信息处理容易程度对情感判断的作用（Reber等人，2004年）。其核心前提是流畅的处理具有内在的享乐价值：当个体容易感知和解码外部刺激时，他们会随后体验到积极的情感反应，这种反应通常归因于刺激本身而非处理体验。这种拟归因过程有助于解释为什么个体更喜欢某些刺激。

假设发展
在多模态内容研究中，一个常见的假设是更丰富、更清晰和更多模态的信号会改善观众反应：双重编码和多媒体理论认为添加一致的通道可以加深理解（Pi等人，2019年）。处理流畅性理论和认知负荷理论对此假设提出了挑战。流畅性研究表明，积极反应取决于处理的容易程度和预期性，而不是信号的数量（Reber等人，2004年；Graf和…）

数据收集和样本构建
本研究选择了抖音作为实证背景，因为它拥有数亿的日活跃用户，覆盖广泛的年龄组和地理区域。样本包括创作者账户和视频，不包括个别观众。因此，数据无法支持关于抖音用户群体的人口统计或地理构成推断。数据来自第三方分析平台Douchacha。

主要效应
在完整模型（模型10）中，多重共线性不是问题。最大方差膨胀因子（VIF）为2.37， comfortably 在5到10的常规阈值范围内（附录E）。表2报告了模型1至3的结果。基于HNR的声音信号质量具有U形关联。在模型3中，线性的HNR项在统计上无法与零区分（β = ?0.222，????% = [?0.508, 0.064]，p = .129），而平方的HNR项为正（β = 0.188，????% = [0.085,…）

讨论与启示
本研究考察了影响者的听觉和视觉非语言线索是否与样本抖音旅行视频在单一点元数据快照中观察到的累积喜好相关。它还考察了这些关联是否在不同视听情境中有所不同。创作者内部的估计在各种线索之间有所不同。基于HNR的声音信号质量与观看喜好之间存在U形关联，其中最小值出现在中等HNR。说话速度更快与较少的喜好数量相关。

作者贡献声明
童钦奇：撰写——原始草稿、可视化、项目管理、方法论、正式分析、数据策划、概念化。马宝龙：撰写——审阅与编辑、监督、资源协调、项目管理、资金获取、正式分析、概念化。

数据伦理
所有收集的材料在数据收集时都是公开可访问的，没有收集任何私人用户信息或非公开互动记录。数据收集符合抖音为非商业研究用途公开的服务条款。

资金声明
本研究获得了中国国家自然科学基金会的特定资助[72372010]。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文的报告。

致谢
本研究得到了中国国家自然科学基金会的财政支持（资助编号72372010）。此外，作者衷心感谢编辑和匿名审稿人在同行评审过程中的时间、努力和建设性建议。AI辅助工具仅用于提高语言清晰度、语法和可读性。没有使用AI工具生成数据、进行分析、解释结果或开发理论。

致谢
童钦奇 | 马宝龙
中国北京工业大学管理学院市场营销系