沉浸式降级训练中的情感和自主用户状态建模：一项面向警察的多模态研究

《Frontiers in Computer Science》：Modeling affective and autonomic user states in immersive de-escalation training: a multimodal study with police officers

　　

摘要
引言：心理健康危机响应要求警察在快速决策的同时调节自身情绪和生理状态，而虚拟现实（VR）为沉浸式降级训练提供了有前景的平台，但情感感知在这些环境中的整合仍有限。本研究探讨了生理测量与补充性体验测量是否能在基于VR的心理健康危机响应（MHCR）训练场景中捕捉有意义的情感反应。方法：研究人员招募了11名加拿大在职警察，完成了一项共同设计的VR交互模拟，涉及一名经历早期精神病症状的虚拟个体，并依据用户与虚拟个体的互动产生两种结局（升级和降级）。参与者佩戴了HTC Vive Pro VR头显，集成了包含多个面部肌电图（fEMG）传感器的Emteq Pro面罩和一个EmotiBit可穿戴设备。研究人员进行了事件相关分析，聚焦于关键场景时刻：开始、门和行动/解决。通过七条面部肌肉通道的fEMG信号、心率、心率变异性（HRV）指标、皮肤电活动（EDA）以及前后主观感知有用性和汇报测量，分析了这些事件在生理指标和情感效价与唤醒度范围上的变化。结果：面部激活存在显著的事件相关差异，特别是眼轮匝肌和颧大肌通道，在“门”事件中相对于基线表现出更强的反应。额肌和皱眉肌的活动在升级和更消极结果路径中显示描述性增加。效价-唤醒度模式表明，在降级场景中拔枪的参与者更紧密地聚集在消极效价区域，而其他人则表现出更广泛、适应性更强的情感轨迹。场景中的心率显著高于基线，基于HRV的比较表明，在降级技能评分高的参与者中显示出更适应性的自主神经图谱。对于大多数参与者，场景中的EDA普遍增加，表明交感神经激活增强。讨论：这些探索性发现支持在沉浸式VR警察训练中使用fEMG来捕捉降级过程中的精细情感动态。事件相关面部分析、自主神经测量和主观评估的结合提供了对警察如何应对高风险心理健康遭遇的更丰富视角。

论文解读文章

**研究背景与问题**
心理健康危机响应是警察工作中最复杂且社会要求最高的场景之一，要求警察在实时管理安全、不确定性和情感紧张的人际互动的同时，调节自身情绪和生理状态。传统训练方法（如课堂讲授、角色扮演）存在场景标准化不足、重复性有限、难以观察真实压力下反应等缺陷。虚拟现实（VR）作为一种沉浸式、可重复、高保真的训练平台，能够模拟不可预测、情感强烈的情境，并整合心理生理传感，为降级技能培养和评估提供了新途径。然而，情感感知在VR训练环境中的整合仍有限，尤其是如何通过多模态生理信号捕捉警察在降级过程中的情感和自主状态变化，尚未得到充分研究。该研究发表在《Frontiers in Computer Science》。

**研究人员开展的研究**
研究人员招募了11名加拿大在职警察，完成了一项共同设计的VR心理健康危机响应模拟场景。该场景涉及一名出现早期精神病症状的虚拟个体，依据警察互动产生升级（使用武力）或降级（和平解决）两种结局。参与者佩戴HTC Vive Pro VR头显、Emteq Pro fEMG面罩（监测七条面部肌肉）和EmotiBit可穿戴设备（记录皮肤电活动），同时使用Polar H10胸带采集心率与HRV数据。研究人员通过事件相关分析，聚焦于场景的三个关键时刻（开始、门、行动/解决），比较了基线期与场景期的生理指标，并结合DePICT降级技能评估工具进行分组分析。关键技术方法包括：1）事件相关fEMG分析，提取30秒窗口内的RMS信号，计算效价和唤醒度分数；2）心血管活动分析，通过HRV时域（SDNN、RMSSD、pNN50）和频域（LF、HF、LF/HF）指标评估自主神经反应；3）皮肤电活动分析，提取tonic成分；4）基于DePICT总分的降级表现分组（高分组与低分组），并比较其生理与情感轨迹。

**研究结果**
- **事件相关情感分析（fEMG）**：研究人员发现，fEMG效价-唤醒度分数在事件间存在差异，但统计上仅唤醒度接近显著（Friedman检验，p=0.053）。参与者整体集中在轻微消极效价和低唤醒度区域，但个体轨迹存在分化：部分参与者在“门”事件后转向高唤醒度消极状态，另一些则保持更受调节的区域。
- **生理反应性：基线 vs. VR场景**：心率显著高于基线（中位数从约80 bpm升至92 bpm，Wilcoxon检验p<0.05）。HRV分析显示SDNN（p=0.0137）和SD2（Poincaré参数，p=0.0098）显著增加，而RMSSD和pNN50无显著变化，表明长期自主神经反应性增强，短期副交感调节未发生可靠改变。EDA分析（6名有效数据参与者）显示大多数参与者的皮肤电水平从基线到场景增加，表明交感神经激活。
- **VR场景中的降级表现**：DePICT平均得分为25.90（SD=7.80），范围10-33。常用策略包括风险管理、口头表达关切和利用外部资源，最少使用的是验证情绪和展示平静肢体语言。两名参与者使用了CED，两名参与者拔枪但未射击，总体使用武力与降级技能无显著相关（r_pb=-0.52，p=0.098）。
- **生理与降级表现的关系**：基于DePICT中位数分组（高分组5人，平均31.20；低分组6人，平均21.67），高分组参与者表现出更稳定、持续的心率和更低的RR间期变异性，而低分组表现出更动态的早期心率上升和更大变异性。fEMG效价-唤醒度图显示，低分组分布更广，有更多向积极效价和中等唤醒度的偏移，而高分组更紧密集中在消极效价和零唤醒度附近。雷达图显示低分组在RMSSD、SDNN和倒置LF/HF上值更高，表明需要更多心血管调节资源。
- **参与者对VR和可穿戴设备的感知**：参与者普遍报告VR体验沉浸且真实，对设备舒适度总体积极，仅少数人提到头显不适或担心绊到线缆。预先感知有用性问卷显示参与者对结合VR和生理传感持开放态度，认为有助于自我意识和压力管理。

**讨论与结论**
研究结果表明，fEMG能够可靠捕捉VR降级训练中的情感动态，尤其是在效价维度上，补充了传统自主神经指标（如心率、EDA）的不足。通过“防御-动态二分法”框架，研究人员发现不同降级表现者的生理轨迹存在差异：高表现者倾向于更稳定、受调节的自主神经和情感状态，低表现者则表现出更动态但可能更耗能的反应。这支持了生理状态建模在自适应VR训练系统中的应用潜力，例如实时调整场景难度、反馈或NPC行为。研究结论指出，情感和肌肉反应对场景结局敏感，能通过特定肌肉群激活反映警察决策时的内部状态；大多数警察以和平方式解决危机，但拔枪者表现出更消极情感；VR场景显著提高了心率并激活交感神经，且降级表现更好的警察表现出更适应性的自主调节。这些发现与“防御-动态二分法”模型一致，并支持将fEMG整合到沉浸式VR警察训练中，以捕捉降级过程中的精细情感动态。虽然样本量小、部分信号缺失，但研究为未来开发自适应闭环训练系统提供了初步证据。