一种基于人工智能的多模态框架，通过跨模态注意力与领域自适应技术，用于沉浸式VR购物中的偏好预测

《Electronic Commerce Research and Applications》：An AI-enabled multimodal framework for preference prediction in immersive VR shopping using cross-modal attention and domain adaptation

　　摘要：人工智能正在通过实现沉浸式数字商务中的高级个性化功能，重塑电子商务。由于神经生理反应存在较高的个体差异，要准确预测此类环境中的消费者偏好仍然具有挑战性。为应对这一挑战，本研究提出了一种基于人工智能的多模态神经营销框架，该框架整合了脑电图和眼动追踪数据，用于预测虚拟现实购物环境中的消费者偏好。该框架采用混合深度学习架构，结合卷积神经网络、双向门控循环单元、注意力机制以及对抗性域适应技术，从多模态数据流中学习与个体无关的表征。在涉及30名参与者的虚拟现实购物案例研究中，所提出的多模态模型的准确率高达80.89%，在留一主体评估中优于单一模态方法。研究结果凸显了脑电图和眼动追踪数据的互补价值，同时也展示了该框架在提升沉浸式电子商务中的客户体验个性化及战略性人工智能应用方面的潜力。这项工作解决了人工智能在电子商务中集成所面临的现实挑战与战略问题，推动了数字商务领域负责任且以数据为驱动的创新。

引言：人工智能技术快速融入电子商务，正在从根本上改变数字商务格局，尤其是通过虚拟现实、增强现实以及元宇宙等沉浸式平台的应用（Yadav等人，2024年）。这些新兴技术使企业能够提供远超传统方式的深度个性化购物体验，为个性化服务带来了前所未有的机遇（Fici等人，2024年）。然而，随着电子商务企业采用这些创新技术，如何在沉浸式环境中理解和预测复杂的消费者行为便成了新的挑战。此外，还需考虑依赖敏感生理和行为数据的高级人工智能系统所带来的伦理与社会影响（Magee等人，2024年）。

要应对这些挑战，就需要超越传统的消费者行为理解方法。传统的营销手段，如调查和焦点小组，往往依赖于显性反馈和外在行为，忽视了情感和潜意识过程在消费者决策中的作用（Plassmann等人，2015年；Rasch等人，2015年）。同样，常规的分析方法（如点击率、购买历史）也无法充分捕捉消费者在沉浸式数字环境中的微妙认知状态和偏好（Slanzi等人，2017年）。因此，随着数字商务的发展，需要强大且客观的方法来实时理解和预测消费者的偏好。

神经营销研究通过运用先进的神经生理技术，客观地捕捉消费者的情绪、偏好形成过程及决策机制，从而弥补了上述不足（Kim等人，2022年；Pascucci等人，2022年；Wang等人，2023年；Zangeneh Soroush和Zeng，2024年；Zhu和Lv，2023年）。脑电图、功能性磁共振成像和眼动追踪等技术提供了一种客观的方法，能够揭示消费者的潜在情绪、偏好形成过程及认知决策机制（Alsharif和Mohd Isa，2024年；Golnar-Nik等人，2019年；Kaheh等人，2021年；Qu和Guo，2019年；Toma，2023年）。通过实时获取这些信号，企业可以设计出能够响应用户隐性偏好的人工智能驱动型个性化策略，从而提升客户参与度和满意度。这有助于制定更加个性化的营销策略和定制化的产品推荐，进而提升客户体验并促进互动。

在此背景下，感知效用在偏好形成和主观评价中起着核心作用（Ho等人，2022年；Wang等人，2021年）。尽管感知效用受多种因素影响，包括个人需求、过往经历以及情境限制，但它可以被建模为一个隐含结构，反映在用户的生理和行为反应中。以这种方式处理感知效用，使得人们能够独立于其具体的因果决定因素，研究主观评价的神经和注意力相关因素，这对于沉浸式和动态的购物环境尤为适用。

然而，要充分发挥神经营销在沉浸式数字环境中的潜力，就必须超越单一模态的方法。虽然单一模态能够提供有价值的洞察，但它们往往无法捕捉到在元宇宙电商等动态且交互性强的环境中的复杂消费者行为（Mashrur等人，2024年）。此外，以往的研究大多使用简单的二维刺激，无法充分模拟真实的购物体验，从而限制了对消费者互动和反应的深入理解。相比之下，结合脑电图、功能性磁共振成像和眼动追踪的多模态方法，能够通过同时建模神经和注意力过程，更全面地了解用户体验（Geda等人，2026年；Li等人，2024年；Quiles Pérez等人，2024年；Wang等人，2020年；Zhu等人，2022年）。

尽管已有诸多进展，但大多数脑电图和眼动追踪研究仍集中在静态或桌面环境下，依赖特征级融合或单一模态注意力分析，往往未能充分考量时间上的跨模态交互以及不同个体间的差异。此外，这类模型在沉浸式虚拟现实电商环境中的应用也尚未得到充分探索。为填补这些空白，本研究提出了一种结合卷积神经网络、双向门控循环单元、多头跨模态注意力机制以及对抗性域适应技术的混合框架，用于在沉浸式虚拟现实购物环境中预测消费者偏好。与以往方法不同，该框架明确建模了各模态内的时间依赖性。此外，该模型还能动态捕捉神经注意力信号与视觉注意力信号之间的交互，通过学习与个体无关的表征来提升跨个体泛化能力。具体而言，本研究旨在回答以下研究问题：
•在沉浸式购物环境中，哪些具有区分度的神经和视觉注意力模式能够体现用户对产品的不同偏好程度？
•在神经和视觉注意力反应中，是否存在可识别的跨模态模式，可用于预测偏好程度的差异？
•混合深度学习模型能否有效融合多模态脑电图和眼动追踪数据，从而准确预测多类别的用户偏好评分？

本研究的主要目标是评估用户在沉浸式虚拟现实购物体验中的产品设计感知效用，这一效用体现在他们的生理和行为反应上。虽然由美学和功能性等因素驱动的感知效用在偏好形成中起着核心作用，但它与明确的购买意图有所不同，后者往往需要考虑价格、品牌和个人需求等额外属性。因此，本研究着重解析与感知效用相关的用户偏好形成过程中的认知和注意力机制。本研究的主要贡献如下：
i. 提出一种新的混合深度学习框架，结合卷积神经网络、双向门控循环单元以及注意力机制，有效提取并融合来自脑电图和眼动追踪数据流的神经和视觉注意力特征。
ii. 采用一种与个体无关的多模态学习策略，并结合对抗性域适应技术，以降低个体间差异，提升偏好预测的通用性。
iii. 研究沉浸式购物环境中眼动追踪特征、脑电图特征与用户偏好之间的跨模态关联。
iv. 探讨在电子商务中应用人工智能驱动的个性化技术所带来的伦理、隐私和社会影响，为神经营销和人机交互领域的负责任创新提供理论基础。

本文的其余结构如下：第2节回顾与神经营销及多模态偏好预测相关的研究；第3节阐述用于提取和融合神经与视觉注意力特征、进行域适应以及预测沉浸式购物环境中偏好的混合深度学习框架；第4节介绍实验方案、数据收集过程及结果；第5节讨论研究的贡献、意义及局限性；最后，第6节对整个研究进行总结。

章节摘录：
神经营销中的脑电图：近年来，脑电图在神经营销领域越来越受到重视。原始脑电图信号包含多种振荡，可分解为五个频带：δ波（0–4赫兹）、θ波（4–8赫兹）、α波（8–14赫兹）、β波（14–31赫兹）以及γ波（31–50赫兹）（Harris等人，2018年）。通过对这些频带内的脑电图信号进行时间分析和频谱分析，可以了解与营销相关的各种认知过程，如注意力、情绪、记忆和认知负荷等。

提出的混合CNN-BGRU注意力模型与对抗性域适应：如图1所示，所提出的混合CNN–BGRU–注意力模型包含三个主要部分：（i）针对不同模态的特征提取；（ii）用于多模态特征融合的多头跨模态注意力机制；（iii）用于实现与领域无关的多模态表征的对抗性域适应模块。2D卷积神经网络层用于从脑电图数据中提取空间-频谱特征，而双向门控循环单元则用于捕捉时间动态变化。

实验与结果：本节介绍实验设置、模型训练及结果。4.1节阐述实验方案，包括参与者的人口统计信息、用于在虚拟现实中收集多模态数据的刺激材料以及用于自我评分的问卷设计。4.2节介绍多模态数据收集的具体流程及所用设备类型。4.3节讨论所提取的脑电图和眼动追踪特征。4.4节展示脑电图特征激活情况，4.5节进行对比分析。

讨论：本研究证明了将人工智能驱动的多模态分析技术融入电子商务的可行性和实用价值，尤其有助于解析沉浸式购物环境中用户偏好背后的认知和情感过程。我们的方法能够在较低的硬件要求下同时捕捉神经和视觉注意力信号，便于在数字商务环境中大规模应用。实验结果表明，将脑电图γ波段的频谱功率特征与……相结合，能够提升预测效果。

结论：本研究提出了一种基于人工智能的新型多模态框架，利用脑电图和眼动追踪数据预测沉浸式虚拟现实购物环境中的消费者偏好。我们的混合深度学习方法通过结合基于注意力的特征融合技术与对抗性域适应技术，有效降低了个体间差异，实现了与个体无关的偏好预测。在留一主体评估中，该方法的性能表现十分出色，充分体现了其……的优势。

CRediT作者贡献声明：
M.W. Geda：撰写——初稿、可视化、软件工具、方法论、形式分析、概念构建。
Yuk Ming Tang：撰写——审阅与编辑、验证、监督、研究实施、概念构建。
Carman K.M. Lee：验证、监督、资金申请、概念构建。

利益冲突声明：作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本研究得到了中国香港特别行政区政府“创新科技署研究集群”下的“设计领域人工智能实验室”（项目代码：RP2-1）以及“SPC项目研究人才枢纽”（项目编号：IcP/063/25）的支持。

M.W. Geda | Yuk Ming Tang | Carman K.M. Lee
中国香港香港理工大学工业与系统工程系