"AMuCS:首个大规模多模态电竞数据集揭示《反恐精英》玩家情感与生理反应的关联机制"

【字体: 时间:2025年07月31日 来源:Scientific Data 6.9

编辑推荐:

  本研究通过构建AMuCS数据集(245名参与者),首次在真实电竞赛事环境中同步采集《反恐精英:全球攻势》玩家的ECG(心电图)、EDA(皮肤电活动)、呼吸信号等11种生理行为数据,结合连续情感标注系统,建立了目前规模最大的多模态电竞行为数据库。研究证实多模态融合可显著提升游戏状态预测准确率(f1-score达0.75),为情感计算和游戏自适应系统开发提供了重要数据支撑。

  

在电子竞技产业爆发式增长的今天,游戏体验优化面临关键瓶颈:传统遥测技术仅能捕捉游戏内行为,却无法量化玩家真实情感状态。现有研究多局限于实验室环境的小样本(平均58人)和单一模态(约5种),且缺乏同步多玩家数据采集。这种数据缺口严重制约了情感计算模型在游戏自适应系统中的应用。

瑞士日内瓦大学社会智能与多传感实验室(Social Intelligence and MultiSensing lab, University of Geneva)的Marios Fanourakis和Guillaume Chanel团队突破性地在真实电竞赛事(SwitzerLAN/PolyLAN)中构建了AMuCS数据集。通过Lab Streaming Layer同步采集系统,记录了256名《反恐精英:全球攻势》玩家在10分钟对战中的ECG(心电图)、EDA(皮肤电活动)、呼吸信号、眼动追踪等11种模态数据,结合创新的连续无界情感标注方法(RankTrace),创建了当前规模最大(245人公开数据)、模态最丰富的电竞行为数据库。研究发现危险游戏状态下玩家自评唤醒度显著提升(z-score从-0.36增至0.12,p<0.001),多模态融合使游戏状态预测f1-score达到0.75(Cohen's Kappa=0.52),相关成果发表于《Scientific Data》。

关键技术包括:1)基于LSL的分布式同步采集系统(平均延迟<50ms);2)Bitalino?evolution设备采集生理信号(100Hz);3)Tobii眼动仪(60Hz)与Intel RealSense D435深度摄像头(30Hz)的行为捕捉;4)PAGAN平台实现连续情感标注;5)源游戏日志解析(64Hz)与战斗事件检测算法。

【数据记录】
数据集包含955GB多模态数据:ECG/EDA/呼吸(100Hz)、眼动(60Hz)、座椅压力(10Hz)、深度视频等。创新性地采用音频分离技术保护参与者语音隐私,并开发了屏幕亮度量化算法(CIELAB标准)用于瞳孔反应校正。

【技术验证】
游戏阶段预测实验显示:EDA(f1-score=0.68)和面部动作单元(f1-score=0.67)单模态性能最优,而多模态融合使性能提升11%(p<0.001)。值得注意的是,训练集规模从5人增至64人时,唤醒度预测CCC(一致性相关系数)从0.141提升至0.181(p<0.01),证实大数据量对模型泛化能力的关键作用。

【数据质量】
严格的质量分级(优/可用/部分/不可用)显示:85%参与者具有可用的呼吸信号,78%具有有效ECG,但EDA信号受个体皮肤导电性差异影响较大(58%可用)。这种真实环境下的数据波动反而增强了数据集的生态效度。

该研究首次实现了真实电竞环境中的大规模多玩家同步数据采集,其创新价值体现在三方面:1)突破实验室限制,证明复杂环境下的多模态同步可行性;2)建立首个包含战斗事件标注的电竞数据集;3)验证了"生理-行为-情感"多维关联模型的有效性。数据集特别适用于:1)开发基于生理反馈的游戏难度动态调节系统;2)研究团队协作中的情感传染机制;3)优化电竞选手表现分析工具。研究存在的局限性包括EDA信号单位标准化问题,以及屏幕亮度对瞳孔数据的干扰,这些都为后续研究指明了改进方向。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号