《Intelligent Systems with Applications》：Proposal of a speaker identification method by adding speech bubbles to avatars in social VR
编辑推荐：
在多用户社交虚拟现实（VR）环境中识别说话人仍然存在困难，尤其是当多个用户同时讲话时。本研究提出了一种基于对话气泡的视觉增强系统，该系统在虚拟化身（avatar）上方显示基于关键词或转录本的线索，以支持说话人-虚拟化身关联，研究人员在本文中将其操作性定义为说话
在多用户社交虚拟现实（VR）环境中识别说话人仍然存在困难，尤其是当多个用户同时讲话时。本研究提出了一种基于对话气泡的视觉增强系统，该系统在虚拟化身（avatar）上方显示基于关键词或转录本的线索，以支持说话人-虚拟化身关联，研究人员在本文中将其操作性定义为说话人识别。研究人员开展了一项包含36个条件（对话气泡的有无、形状、内容类型、2D与VR）的受控探索性研究，共有九名参与者参与。结果表明，与无对话气泡和实时转录条件相比，基于关键词的对话气泡在当前任务中提高了说话人识别性能。相比之下，实时转录气泡与较低的性能相关，这可能是由于视觉/文本处理需求增加以及所显示文本的时间不同步造成的。这些发现为社交虚拟现实（VR）通信系统中的轻量级视觉增强提供了初步的设计启示，并为提高沉浸式多说话人环境中的清晰度和社交感知提供了实用的用户界面（UI）指导原则。研究人员还讨论了部署相关的考虑因素，包括延迟、可读性限制、学习效应、与主题相关的混淆因素以及泛化性的限制。考虑到受控的实验环境、规模有限且人口特征狭窄的样本以及推断性分析的探索性质，应对这些发现进行审慎解读。
研究背景、研究内容与意义
随着虚拟现实技术的普及，社交VR平台（如VRChat、cluster）被广泛应用于会议、远程协作和娱乐活动。然而，在多用户同时交谈的密集对话场景中，准确识别说话人成为了一项关键且未完全解决的挑战。在物理世界中，人们自然依赖声音、面部外观和空间位置来识别说话人，但在社交VR中，用户的虚拟化身外观往往与其真实声音不匹配，且构建准确反映虚拟化身空间排列的三维声学环境在技术上具有挑战性。现有系统多依赖语音通信，缺乏视觉识别支持；虽然常显姓名或化身发光等传统方法被提出，但这些方法在多人同时发言时会增加视觉噪音，甚至引发晕动症。鉴于上述问题，研究人员开展了一项研究，旨在提出并评估一种通过在虚拟化身头部上方添加对话气泡作为视觉呈现辅助的方法，以支持社交VR中语音通信时的说话人与语音内容识别。该研究为社交VR通信系统中的轻量级视觉增强提供了初步设计框架和实用UI准则，对于提升沉浸式多说话人环境中的沟通清晰度与社交感知具有重要意义。该论文发表在《Intelligent Systems with Applications》。
关键技术方法
该研究采用了受控的受试者内实验设计，共有9名年龄在20至25岁之间的在校大学生参与，其中6人具备社交VR经验。研究比较了3个主要变量：对话气泡类型（无气泡、基于关键词的摘要气泡、语音转文本（STT）实时转录气泡）、虚拟化身外观（动漫风格、写实风格）以及交互模式（2D笔记本操作、VR头戴式显示器（HMD）操作），组合形成36种实验条件。在内容构建上，关键词摘要应用了词频-逆文档频率（TF-IDF）方法进行自动化提取并辅以人工校验；实时转录则利用IBM Watson Speech to Text API处理预录制的文本转语音（TTS）新闻音频。实验任务模拟了鸡尾酒会效应，要求参与者在30个正在交谈的虚拟化身中找出3个讨论特定目标主题的化身。
研究结果
对话气泡存在性的影响（假设1）
通过对比有 bubbles 和无 bubbles 条件下的识别准确率分析，研究发现对话气泡的存在显著影响了说话人识别性能。基于关键词的对话气泡显著提高了识别准确率，而实时转录气泡的表现则低于无气泡基准。假设1得到支持，表明内容类型对气泡的有效性起决定性作用。
对话气泡形状的影响（假设2）
通过分析四种漫画风格形状气泡的准确率获得了结果。矩形气泡的平均准确率最高且方差最低，指示牌形气泡达到了相似的均值。总体上未观察到显著性差异，矩形气泡的优势有限。假设2仅得到部分支持。
信息格式的影响（假设3）
通过方差分析及事后检验对关键词与实时转录条件的准确率进行了比较。结果表明，基于关键词的摘要条件显著优于实时文本转录条件。关键词展示可能降低了视觉与文本处理需求，而STT显示中的时间不同步可能降低了实时转录的性能。假设3在当前实验语境下得到支持。
虚拟化身穿戴外观的影响（假设4）
通过比较动漫风格与写实风格化身的识别准确率得出结果。方差分析显示化身外观的主效应在统计上显著，动漫风格化身的平均准确率略高。然而，两者均值差异极小（0.595 vs. 0.584），实际意义有限。假设4仅获得微弱的统计学支持。
操作界面与学习效应、交互作用分析
通过追踪36次试验的准确率及建模分析发现，2D与VR界面间无显著主效应，但随试验次数增加，准确率从初期的0.479逐步上升到末期的0.726，表现出显著的学习效应。此外，对话气泡类型与化身外观间存在显著的一阶交互作用。
结论与讨论
研究结论指出，在社交VR中，对话气泡的内容和虚拟化身外观会影响说话人识别任务的表现。特别是基于关键词摘要的对话气泡在当前实现任务中表现出比实时转录气泡更高的准确率，这为减少视觉/文本处理需求的界面设计提供了初步证据。然而，由于研究存在样本量较小、性别分布不平衡、信息格式与主题存在部分混淆、未直接测量认知负荷等局限性，这些推断性统计结果应被视为探索性支持而非总体确认性证据。未来的研究应采用更大且多样化的样本，平衡界面顺序，直接测量工作负荷，并推广至更广泛的社交VR平台与沟通场景。此外，对话气泡的功能不仅限于说话人识别，未来还将探索其对注意力引导、情感表达和信息传递等沟通其他方面的影响。
