《International Journal of Human-Computer Studies》：Towards socially acceptable XR agents: A modular approach for user interaction
编辑推荐：
扩展现实（eXtended Reality，XR）技术的进步为重塑人机交互带来了巨大潜力，尤其是在与人类共享的社交空间中。为了支持这些系统的广泛普及，设计能够提供令人满意、透明、安全且有社会依据的交互尤为重要。在此背景下，研究人员提出了一种用于用户与XR代理交
扩展现实（eXtended Reality，XR）技术的进步为重塑人机交互带来了巨大潜力，尤其是在与人类共享的社交空间中。为了支持这些系统的广泛普及，设计能够提供令人满意、透明、安全且有社会依据的交互尤为重要。在此背景下，研究人员提出了一种用于用户与XR代理交互的模块化架构，以支持在公共环境中部署具有社会可接受性的XR代理。该多模态框架集成了检测模块与通信模块，分别用于用户感知以及上下文感知的言语和非言语交互。通过对具有代表性的前台接待、邮政服务和安全培训部署场景进行模块级和系统级的定量验证，结果证明了该架构的有效性。
近年来，扩展现实（eXtended Reality，XR）技术取得了显著进展，其在重塑人机交互方面的潜力日益凸显，尤其是在与人类共享的社交空间中。为了支持XR系统的广泛和深度普及，理解人们如何感知和接受这些系统变得至关重要，社会可接受性因此成为交互式XR系统设计的核心因素。传统的技术接受度定义往往侧重于个人的使用意图或组织对技术采纳的广泛态度，而现代XR语境下的社会可接受性被更恰当地定义为系统提供令人满意、透明、安全、可靠且符合其所处社会语境的交互能力。尽管XR代理已在医疗保健、博物馆和交通枢纽等特定公共领域得到应用，并展现出提升用户体验和运营效率的潜力，但在动态环境中有效与人类进行符合社会期望的交互方面仍存在显著差距。现有的XR架构大多针对特定应用领域，缺乏支持多模态交互和普遍适用性的模块化和可扩展解决方案，也没有将社会可接受性纳入显式的设计原则中。为了填补这一空白，研究人员开展了旨在构建社会可接受XR代理模块化架构的研究。研究结论表明，该架构能够通过集成基于大语言模型（LLM）的通信和感知模块，支持上下文相关、个性化且具有情感意识的交互，在多种公共场景的部署中展现出强大的可扩展性和适应性，对促进XR技术在日常生活中的广泛接受具有重要意义。该论文发表在《International Journal of Human-Computer Studies》上。
研究人员在开展此项研究时，主要依托欧洲地平线SERMAS项目，采用了模块化设计与多种人工智能关键技术。具体而言，检测模块利用基于深度学习的自监督学习方法结合Azure Kinect深度相机数据，预测远距离下用户基于肢体动作和相互凝视的交互意图；利用图神经网络结合集成学习样本平衡技术检测多用户群体；运用多模态情感分析器通过面部识别CNN、语音处理算法及文本LLM融合分析情感。通信模块中，基于Whisper等实现语音转文本，运用GPT-2、Flan T5等开源LLM并结合包含情感与人口统计学标注的FEDI数据集进行微调，同时采用结合向量量化变分自编码器（VQVAE）与扩散模型的TAG2G架构生成协调的躯干与面部非言语动作。
研究结果部分总结如下：
用户意图检测：研究人员通过序列级交叉验证在包含189个序列的实验室及半结构化人机交互数据集和包含1700多名用户的真实世界数据上进行了评估。结果表明，结合空间位置特征与凝视线索的多模态分类器实现了0.86的意图检测成功率及0.89的F1分数，并使AUROC值提升至0.91。这证明了此方法能在远距离条件下高精度地预测用户交互意图，从而支持系统进行前瞻性与社会感知性响应。
群体检测：研究人员在SALSA等常规基准数据集上验证了基于图神经网络链路预测的GROWL方法及引入集成学习样本平衡的iGROWL模型。实验得出，相较于REFORM和图割方法（GCFF），iGROWL在SALSA海报会议和鸡尾酒会数据集上的F1分数分别提升了高达16.7%和26.4%，且显著降低了重复评估的F1分数标准差。结论表明该技术能有效编码拥挤环境中的个体空间关联，精确识别交互群体，从而优化代理对不同规模群体的服务策略。
用户情感检测：通过包含受控交互环节的研究评估，该系统检测到的每会话情感事件数与生成的面部反应数均达到6次，接近系统预设的7种基本情感最大值。主观评价显示，代理外观与响应的平均社会可接受性得分为4.38（满分5分），超过3.5的基线参考阈值。结论显示，多模态情感分析能够实现用户情感与代理行为的连贯映射，从而增强用户参与度并提升交互的感知自然度。
言语通信：以GPT-2、Llama2和Flan-T5为代表性架构，并在包含人口统计与情感信息的FEDI数据集上进行训练与评测。结果显示，GPT-2任务完成率最高达0.92，而Flan-T5表现最稳定且安全性最佳，其毒性得分范围仅为0.026–0.029。基于Flan-T5的用户反馈得分高达4.33。该研究得出结论，不同的模型在任务完成率、安全性和感知质量方面存在明显权衡，凸显了通过带有用户反馈的细粒度数据驱动适应来提升对话可靠性的必要性。
非言语通信：在GENEA2023等多模态手势生成基准数据集上对TAG2G架构进行验证。评估得出生成动作的Average Position Error约为3.05 cm，而双人交互模型的Fréchet Gesture Distance降至55.51且Dynamic Time Warping相似性增至0.432。结论表明，从单代理向考虑交谈对象行为的双元模型转变，能显著改善生成动作与对话内容的时空一致性及分布相似性，生成更具社交一致性的躯干手势。
系统级评估：集成后的完整系统端到端验证表明，任务完成率为90.1%，远超75%的基线阈值。语音响应延迟为4.6 s，界面响应延迟为3.1 s，均满足小于5 s的实时响应要求。整个研究过程系统故障率为0%，交互检测准确率达86%，检测性能达89%。结论证实，检测与通信模块在完整架构集成后仍能保持有效运作，系统在多变交互条件下具有鲁棒性。
结论部分翻译与总结：
本研究提出了一种模块化架构，旨在增强社交与公共环境中的用户-XR代理交互，该架构整合了言语和非言语通信模态（在Horizon Europe项目SERMAS框架内开发），以支持上下文相关、个性化且具备情感意识的交流。通过解决意图检测、群体动态和情感分析等关键挑战，该架构在多种公共场景中展现出强大的可扩展和适应部署潜力。尽管取得了有前景的成果，但仍存在显著局限。未来显然需要更广泛的验证以评估其在拥挤、噪声、文化多样性和可及性受限环境中的泛化能力；在持续的真实条件下长期应用证据依然有限；缺乏端到端标准化基准测试协议。在可扩展性、边缘处理下的隐私数据最小化方面也需跟进。未来的发展将重点加强架构在对抗条件下的鲁棒性，并引入可解释安全（XSec eXplainable Security）范式，以提高多模态决策的透明度和信任度，支撑在敏感公共环境中的安全部署。
