影响者在社交媒体零售领域的专业能力认知：基于数据融合的多模态机器学习方法

《JOURNAL OF RETAILING》：Influencers’ perceived expertise in social media retailing: Multimodal machine learning with data fusion

　　**摘要**
随着影响者越来越多地扮演一线销售人员的角色，消费者对影响者专业能力的认知成为决定其销售效果的关键因素；然而，很少有研究利用来自社交媒体零售的视频数据来探讨这种专业能力认知的销售效应。为了填补这一空白，我们开发了一个多研究框架。在研究1中，我们引入了一个预测性AI模型——Memory Fusion Network (MFN)，通过2728个直播视频测量影响者的专业能力认知，准确率达到91.75%。随后，我们运用可解释AI技术（XGBoost和Shapley Additive Explanations，SHAP）来揭示MFN的“黑箱”工作原理。研究结果表明，目光注视（图像）、语速（音频）和专业语言（文本）是预测专业能力认知的最重要指标。在研究2中，我们利用TikTok的销售数据探讨了专业能力认知与实际销售额之间的正相关关系，并进一步证明了基于能力的信任的中介作用。在研究3中，我们使用生成式AI工具生成视频样本，并进行了预先注册的随机在线实验，结果证实了研究2的发现。在研究4中，我们考察了一系列理论和实践上相关的调节变量。研究结果表明，在底层影响者（相对于顶级影响者）、高价产品（相对于低价产品）和非官方商店（相对于官方商店）的情况下，专业能力认知的销售效应更为显著。这些发现为零售商提供了实用的建议，帮助他们利用文本、音频和图像信号来增强影响者的专业能力认知，从而推动实际销售。

**引言**
在当今的社交媒体零售环境中，影响者越来越扮演销售代理的角色。他们不仅为品牌提供支持，还作为产品推广和购买转化的一线销售人员。在这一角色转变的过程中，影响者的专业能力认知成为塑造消费者反应的关键因素。专业能力是来源可信度理论（Hovland, 1953; Ohanian, 1990）中的一个重要维度，指的是一个人提供有效信息的整体印象（Han & Balabanis, 2023; Ohanian, 1990），通常基于来源的可感知知识、技能、资质、履历等因素进行评估（Han & Balabanis, 2023; Sujan et al., 1988）。然而，快节奏的社交媒体零售（如直播购物）与传统零售环境不同，在传统零售中，消费者可以基于上述因素有意识地评估专业能力（Li et al., 2023）。在直播购物中，由于顾客在时间压力下做出决策（Li et al., 2023），他们倾向于从影响者的实时语言和非语言行为（即语音表达和视觉行为）中推断其专业能力。因此，我们关注的是消费者对影响者专业能力的认知，而不是影响者是否客观上具备这些能力。换句话说，我们旨在探讨影响者的言语和非语言行为是否向观众传递了他们的专业能力认知。

由于直播购物不涉及直接的面对面互动，因此缺乏强大的制度信任支撑（Deng & Tian, 2025; O’Reilly et al., 2016）。在这种背景下，作为来源可信度信号的专业能力认知在降低消费者在线购物的不确定性方面起着关键作用（Zhang & Prebensen, 2025）。现有研究也表明，专业能力认知是零售中最关键的“衡量标准”之一，因为它在塑造积极的产品态度（Guo et al., 2022; Reichelt et al., 2014）、促进对销售人员的信任（Kim & Kim, 2021）、增强消费者参与行为（Ladhari et al., 2020; Lee & Theokary, 2021）和提高购买意向（Chen et al., 2022; Zheng et al., 2023）方面起着重要作用。尽管人们对影响者专业能力的兴趣日益增加，但我们仍对消费者如何从视频数据（如直播视频）中推断出这种认知知之甚少；哪些具体的言语和非语言行为会形成这种认知；专业能力认知如何转化为实际销售（营销活动的最终绩效指标，Beichert et al., 2024）；以及这种效应背后的机制是什么。此外，基于来源可信度理论的研究表明，来源可信度信号（如专业能力）的重要性可能因情境而异（Pornpitakpan, 2004）。因此，影响者相关因素（如影响者类型）、产品相关因素（如价格等级）和情境相关因素（如商店类型）可能会影响消费者在做出购买决策时对影响者专业能力认知的权衡（Bai et al., 2026; de Joong et al., 2026; Kim & Yoon, 2023; Wang & Bell, 2015）。因此，进一步探索专业能力认知的销售效应的边界条件变得至关重要。

**方法论**
当前，社交媒体零售的日益普及产生了大量的视频和销售数据（Niu et al., 2024），这为从多模态角度探讨专业能力认知及其对销售的影响提供了机会。一方面，专业能力认知是通过影响者的言语和非语言行为同时传达的（Helfat & Peteraf, 2015）。因此，包含文本、音频和图像模态的视频数据能够全面捕捉这种认知（Imschloss & Kuehnl, 2019）。另一方面，社交媒体零售（如直播购物）还提供了销售数据，使研究人员能够观察到专业能力认知不仅在提高品牌认知和引发消费者参与度方面有效，而且在推动实际购买方面也有效（Liu et al., 2023; Villarroel Ordenes et al., 2019）。基于这些机会，我们提出了以下研究问题：
1. 如何利用社交媒体零售中的视频数据来测量专业能力认知？
2. 每种模态中的哪些具体指标驱动了专业能力认知？
3. 专业能力认知如何影响销售？
4. 为什么专业能力认知能转化为实际销售？
5. 在什么边界条件下，专业能力认知对销售的影响会发生变化？

为了解决这些问题，我们开发了一个多研究框架，该框架结合了预测性AI、可解释AI和生成式AI。在研究1中，我们使用预测性AI模型Memory Fusion Network (MFN)来衡量专业能力认知，不仅考虑了单一模态信息（即文本、音频和图像），还考虑了它们的多模态整合。此外，由于MFN仍然是一个“黑箱”，我们运用了可解释AI技术（XGBoost和SHAP）来解释MFN的预测结果，并识别每种模态中的关键指标。在研究2中，我们利用TikTok的销售数据探讨了专业能力认知对实际销售的正面影响，以及可能的中介变量——基于能力的信任（Connelly et al., 2015）。在研究3中，为了提供超越相关性的因果证据，我们使用生成式AI工具生成具有不同专业能力认知水平的视频样本，并进行了预先注册的随机在线实验，结果证实了专业能力认知的正面效果以及基于能力的信任的中介作用。在研究4中，我们回到实地数据，考察了一系列影响者、产品和情境相关的调节变量。研究结果表明，在底层影响者（相对于顶级影响者）、高价产品（相对于低价产品）和非官方商店（相对于官方商店）的情况下，专业能力认知的销售效应更为显著。

**研究贡献**
这项研究在多个方面丰富了现有文献：
首先，研究1表明专业能力认知可能受到影响者的文本、音频和图像线索及其多模态整合的影响。同时，研究1还确定了每种模态中最具预测性的具体指标。这揭示了在快节奏社交媒体零售中专业能力认知的“风格化”传导方式，扩展了传统的专业能力衡量方法，后者通常依赖于销售人员的知识、技能、资质和教育背景（Han & Balabanis, 2023）。其次，本研究利用实验数据和实地数据验证了专业能力认知的主要效应，表明它不仅塑造了消费者的购买意向，还在现实世界的社交媒体零售中起到了销售促进作用（Guenzi & Georges, 2010）。第三，本研究探讨了基于能力的信任的中介作用，揭示了消费者购买决策背后的心理机制。鉴于社交媒体缺乏强大的制度信任支撑，专业能力认知弥补了这一信任不足。第四，本研究扩展了来源可信度理论，表明消费者对来源可信度信号（如专业能力认知）的依赖性在不同影响者相关（如影响者类型）、产品相关（如价格等级）和情境相关（如商店类型）条件下有所不同（Bai et al., 2026; Kim & Yoon, 2023; Wang & Bell, 2015）。识别这些边界条件有助于在线商家制定更有针对性的影响者营销策略，以提高销售转化率。

**研究方法**
本研究整合了预测性AI、可解释AI和生成式AI来探究社交媒体零售中的专业能力认知。首先，预测性AI模型MFN通过整合单一模态信息和多模态整合来衡量专业能力认知，使其更符合真实世界的商业情境。它还是一种可扩展的自动化工具，能够高效处理大规模视频数据，减少人工编码所需的人力、时间和成本（Farace et al., 2025）。此外，MFN作为一个端到端的轻量级计算工具包，适用于学术研究和工业应用。其次，可解释AI技术（XGBoost和SHAP）识别每种模态中最具预测性的指标，使MFN预测的专业能力认知更加透明。最后，本研究采用的生成式AI模型为社交媒体零售行业提供了生成高专业能力脚本和音频内容的工作流程。

本研究包括四项研究，如图1所示。研究1专注于专业能力认知的测量，介绍预测性AI模型MFN，基于TikTok直播视频数据来建模专业能力认知，并运用可解释AI技术（XGBoost和SHAP）识别每种模态中的最关键指标。研究2探讨了专业能力认知的相关销售效应，并利用TikTok销售数据来研究其背后的机制。研究3进行了预先注册的随机在线实验，以验证研究2的发现。研究4回到实地数据（TikTok销售数据），考察了一系列调节变量。我们在文献综述部分详细讨论了每一项研究的内容。从理论上讲，现有研究表明，信息来源的可信度信号对消费者态度形成和决策过程的影响可能受一系列因素的调节（Pornpitakpan，2004），这些因素包括信息来源的属性（例如，信息传播者的特征）、信息接收者的特征（例如，信息所针对的对象），以及信息传递的渠道（例如，信息传递的媒介）。

**讨论与启示**
本研究通过探讨三个关键问题，提供了关于感知专家能力的见解：(1) 使用基于视频数据的预测性AI模型（MFN）来衡量感知专家能力；(2) 通过可解释AI（XGBoost和SHAP）识别每种媒介中最具预测性的指标，从而解释MFN模型；(3) 研究感知专家能力对销售的影响，揭示其背后的机制，并探讨相关边界条件。接下来，我们将概述相关的理论基础。

**资金支持**
本研究得到了以下机构的资助：
- 中国国家自然科学基金 [项目编号 72302168、72502160、71925003]
- 中国博士后科学基金 [项目编号 2023M732416、2024M752286]
- 四川省哲学与社会科学基金 [项目编号 SCJJ25ND088]
- 四川省科技计划 [项目编号 2025NSFSC1997]
- 四川省博士科研专项基金 [项目编号 TB2025050]
- 四川大学博士后科研项目

**作者简介**
Xin Wen 是中国成都四川大学商学院的 marketing 博士研究生，她的研究兴趣包括基于预测性AI、可解释AI和生成AI的营销领域。

**研究团队成员**
Xin Wen | Teli Xian | Chengcheng Liao | Ziyao Huang
四川大学商学院