**VIRTUES:一个虚拟现实多模态感知平台,用于量化和支持跨神经类型的协作** Ashwaq Zaini Amat, Mahrukh Tauseef, Deeksha Adiani, Amy S. Weitlauf, Nilanjan Sarkar

《Sensors》:VIRTUES: A Virtual Reality Multimodal Sensing Platform for Quantifying and Supporting Cross-Neurotype Collaboration Ashwaq Zaini Amat, Mahrukh Tauseef, Deeksha Adiani, Amy S. Weitlauf and Nilanjan Sarkar

【字体: 大 中 小 】 时间:2026年05月07日 来源:Sensors 3.5

编辑推荐:

  摘要 有效的工作场所协作对提高生产力和创造力至关重要,然而实现必要的相互理解却颇具挑战性,尤其是在涉及不同神经类型个体时。本研究评估了VIRTUES平台,这是一个虚拟现实(VR)平台,旨在促进自闭症个体与神经典型个体之间的相互理解和协作行为。VIRTUES整合了多种传感技术(眼动

  摘要
有效的工作场所协作对提高生产力和创造力至关重要,然而实现必要的相互理解却颇具挑战性,尤其是在涉及不同神经类型个体时。本研究评估了VIRTUES平台,这是一个虚拟现实(VR)平台,旨在促进自闭症个体与神经典型个体之间的相互理解和协作行为。VIRTUES整合了多种传感技术(眼动追踪、交互日志和转录的语音),以客观量化协作的五个定义维度,同时通过嵌入的基于规则的反馈机制提供实时、情境感知的支持。一项涉及12对自闭症-神经典型个体的用户研究表明,VIRTUES能够评估和支持不同神经类型之间的协作努力。通过同步的传感数据,我们发现信息共享是成功协作表现的关键驱动因素。这些初步发现表明,VIRTUES为探索包容性团队合作奠定了基础,并可能为未来支持神经多样性个体获得社会-技术技能的干预措施设计提供参考。

1. 引言
工作场所正变得越来越包容,强调具有不同认知特征的个体之间的协作价值,包括跨神经类型的协作[1]。跨神经类型的协作互动,如团队会议和涉及自闭症与神经典型同事的团队合作,由于多种视角和包容性,可以提高生产力、创新和工作场所表现[1,2,3]。尽管有其优势,但跨神经类型的协作也面临独特挑战[4,5],特别是由于沟通和协作风格的差异,这被称为“双重共情问题”(DEP)[6]。DEP认为,自闭症个体与神经典型个体之间的沟通和团队合作挑战源于相互误解以及社交期望的不匹配,而不仅仅是其中一方的缺陷。因此,神经典型个体和神经多样性个体都需要开发策略来适应和改进他们的协作互动[7,8,9]。基于模拟的培训(SBT)已被证明可以有效提高协作技能[9,10,11]。SBT使团队成员能够参与涉及社会、认知和行为交流的共同体验,以实现共同目标。大多数SBT项目都是面对面的,并由培训师进行观察,他们在培训过程中或之后提供反馈。尽管SBT在培养团队协作技能方面已被证明有效,但它们通常资源密集,可能无法完全捕捉跨神经类型协作互动的复杂性[12]。另一方面,为神经多样性个体设计的现有培训项目往往侧重于“纠正”他们的行为,从而给这些个体带来不成比例的压力[6,7]。有研究报告指出,神经典型伙伴作为积极参与者,在成功的协作互动中起着关键作用[13]。因此,需要一个对神经多样性和神经典型个体都包容的培训环境,以便他们能够平等地训练和发展他们的协作技能。

协作虚拟环境(CVEs)可以允许多个个体共享一个交互式和自适应的虚拟空间,模拟任何培训环境。通过在受控的、可重复且数据丰富的虚拟空间中模拟真实环境,神经多样性和神经典型个体可以参与基于任务的适应性场景,在其中练习沟通和协调,从而促进更有效的沟通和相互理解[8,14]。基于CVE的SBT将通过公平的协作提供包容性培训体验,增强跨神经类型的协作,确保自闭症和神经典型个体都能发展出成功协作所需的技能。复杂的社交技能(如团队合作)难以评估[11]。现有的评估方法仍然严重依赖于人类观察[15,16]。相比之下,本研究提出了一种多模态传感框架,系统地将多模态传感数据映射到理论上的协作维度,从而实现协作互动的量化。这些多模态传感数据还可以用于构建反馈机制,以支持协作互动[17,18]。最近关于基于CVE的互动的研究显示了有希望的结果。专注于社交沟通技能的研究表明,在CVE中参与结构化社交场景的自闭症用户的情感识别和对话能力有所提高[16,19]。进一步的比较研究表明,在CVE中参与任务的参与者比在面对面环境中进行相同任务时表现出更频繁的言语交流[20]。最近,结合社交沟通和运动技能训练的综合干预措施提高了自闭症儿童的多个领域的表现[21]。虽然现有的基于CVE的SBT已经探索了多个领域的协作互动,但很少有研究专注于跨神经类型的互动。

鉴于明显需要一个跨神经类型的协作技能培训平台,我们提出了一个新颖的协作虚拟环境——团队合作与执行功能技能模拟器(VIRTUES),作为跨神经类型协作互动的虚拟培训工具。VIRTUES建立在我们之前评估一系列适合二元协作任务的可行性和可接受性的工作基础上[22,23]。在这项工作中,我们在设计和系统评估方面取得了重大进展,指导原则如下三个假设:
H1. VIRTUES及其反馈机制将在任务过程中积极促进和支持跨神经类型个体的协作互动。
H2. 多模态传感特征可以客观映射到协作的五个维度,提供比单一模式指标更丰富的二元特征。
H3. VIRTUES的评估任务能够成功测量所有参与者的协作维度的变化。

本研究的主要贡献如下:
(1) 我们定义并实现了五个核心的协作维度,并建立了一个独特的映射框架,将同步的多模态传感器数据转换为这些客观的性能指标;
(2) 引入了基于规则的反馈系统,利用实时传感器数据提供主动的、情境感知的支持,以促进神经多样性个体之间的相互理解;
(3) 证明评估任务能够有效地捕捉自闭症和神经典型个体的协作变化,确立了该框架作为通用且无偏见的包容性劳动力评估工具的效用;
(4) 一项涉及12对自闭症-神经典型个体的用户研究评估了VIRTUES的可行性,并确定了成功协作的关键驱动因素。

本文的其余部分组织如下:第2节介绍了VIRTUES系统的设计,并描述了我们的实验设置和假设。第3节详细介绍了我们的数据分析方法。第4节展示了结果,第5节包括对我们的分析进行讨论。第6节总结了我们的发现,指出了局限性,并概述了未来研究的方向。

2. 系统设计
2.1. VIRTUES系统架构
VIRTUES的系统架构及系统设置如图1所示。图1展示了VIRTUES协作培训和评估任务的系统架构,其中两名参与者在各自的房间里执行虚拟协作任务。硬件方面:VIRTUES设计为在两台规格相同的标准台式计算机上运行,安装了Windows 10 Education操作系统,配备Intel Xeon E5-1650 CPU(3.20 GHz)和16 GB内存,以及分辨率为1920 × 1080、刷新率为60 Hz的28英寸LCD显示器。用于沟通和导航虚拟环境的交互模式包括头戴设备(带麦克风的扬声器)和网络摄像头,用于音视频交流;眼动追踪器用于检测参与者在虚拟空间中的视线;以及任务依赖的控制器,用于操作虚拟对象和导航虚拟空间。通过这些传感器和外围设备,收集了15个参数(见表1),作为量化多模态传感数据。

软件方面:协作任务使用Unity 2021.3.8f1 [24]开发,这是一种多平台游戏开发软件。Player Controller组件使参与者能够通过输入设备与系统交互,同时持续跟踪任务进度和时间。该组件包含三个子模块:
(1) Game Controller,管理用户与虚拟对象的交互并记录任务相关动作;
(2) Speech Manager,使用Microsoft Azure的Speech-to-Text服务实时捕获并转录参与者的口语通信,从而提取话语级特征,如词数和时长;
(3) Eye Gaze Module,利用Tobii EyeX 2.0.4 [26]追踪器监控视线行为,并检测虚拟环境中预定义区域的注视点。所有多模态数据(包括控制器交互、语音和视线)都是时间同步的,并传输到数据同步通道进行后续分析。网络通信模块通过TCP使用Mirror Networking [27]管理实时同步、音频和视频通信,确保可靠和有序的数据传输;音频和视频流通过WebRTC API [28]使用UDP进行传输,以优先考虑低延迟。由于我们的任务不需要即时更新,因此延迟对任务互动影响不大。

为了评估本研究中使用的协作任务,进行了一项可行性研究[22,23]。第2.3节总结了基于第2.2节讨论的协作维度集的每个任务的设计。

2.2. 协作维度
目前还没有标准化的方法来测量小组互动中的协作技能。Meier等人[29]在视频会议系统中确定了九个协作维度,侧重于问题解决、联合信息处理、动机和两组学生之间的协调。在我们之前的分析[22]中,我们发现Meier等人[29]定义的协作维度主要关注口头沟通,忽略了物理协调和空间动态等有用的非语言成分。鉴于这些元素在协作互动中的重要性以及我们的协作互动模拟器VIRTUES的性质,我们重新定义了协作维度集(表2),以更好地反映我们培训环境中的协作互动。

2.3. 协作任务
我们在VIRTUES中设计的协作任务采用了参与式方法,积极邀请了关键利益相关者参与,包括经过认证的行为分析师、两家公司的HR代表、来自两个职业康复中心的职业顾问以及三名自闭症个体。他们的见解和相关文献的回顾为两个跨神经类型培训任务(PC组装[30]和家具组装[31]以及一个LEGO评估任务[32,33,34]的开发提供了信息。

2.3.1. 培训任务
PC组装和家具组装的详细设计在[22]中进行了讨论。然而,在本研究中,我们在表3中总结了任务描述及其中包含的协作维度。

2.3.2. 评估前后的任务
我们设计了评估前后的任务,以衡量培训活动的有效性。这些任务结合了表2中的五个协作维度,并使用了相同的系统架构(图1),但不包括反馈机制模块。评估前任务为参与者的协作表现建立了基线,而评估后任务则测量了培训后的变化。为了防止习惯化效应,开发了两种评估活动的变体。选择基于LEGO的任务进行评估是因为它们在培养协作技能方面的有效性,这已在之前关于LEGO疗法及其适应性的研究中得到证实[32,33,34]。在主要评估活动之前,参与者会先完成一个教程任务。参与者首先独立完成一个简单的虚拟LEGO任务,以熟悉用户界面和游戏控制,然后按照书面和口头说明进行协作,在同步的虚拟环境中共同完成任务。在这个过程中,他们查看两个物体设计选项(图2),并在三分钟内讨论并决定建造哪一个。工作空间允许参与者通过视频流看到对方,LEGO积木均匀分割并由半透明墙隔开(图3)。每位参与者只能移动自己这边的积木,并必须向对方请求特定的积木,从而促进协作。在开始组装之前,他们会先看一分钟完成后的物体图片以记住信息,然后有8分钟的时间凭记忆进行组装,可以选择再次查看完成后的物体图片来获取提示。系统没有提供额外的反馈。

2.4. 培训任务中的反馈机制
反馈机制在技能发展中起着重要作用[35,36,37]。通常,反馈由观察者或治疗师口头提供[38,39]。尽管这可以提高纠正的准确性,但这一过程非常繁琐,且容易受到偏见和不一致性的影响[40,41]。鉴于个性化反馈在促进跨神经类型互动中的技能发展、改善学习体验方面起着重要作用[42],研究人员探索了自动化或嵌入式反馈机制[43,44,45],利用机器学习或人工智能驱动的自适应反馈机制根据单个用户的表现来调整反馈。然而,这些机制在协作互动中的作用仍然有限。VIRTUES中的反馈机制在检测到互动中断时,会根据任务表现和协作行为向双方参与者提供个性化的提示。在本研究中,实时反馈指的是在任务执行过程中提供的反馈,而不是完成任务后的反馈。系统持续监控多模态数据(例如语音、注视和任务动作)以评估参与者的状态。反馈不会立即触发;而是设置了一个30秒的等待时间,以避免干扰自然的协作过程。这个延迟使参与者有时间独立解决挑战,这一时间设置是经过与行为分析师协商后确定的,旨在在提供支持的同时尽量减少干扰[46]。当触发反馈时,系统通过音频和屏幕信息提供中性、非指导性的提示(例如“试着与你搭档沟通一下”)。提示会根据每个参与者的行为进行调整,以鼓励相互参与。例如,神经典型的参与者可能会被提示发起沟通,而自闭症参与者可能会被鼓励与他们的搭档进行交流。这种机制作为协作的支架,促进跨神经类型团队中的平衡互动和相互理解。以下段落将进一步阐述设计过程。

首先,为了在VIRTUES中支持实时反馈,我们定义了一组能够反映不同任务参与度和互动质量的协作行为。通过回顾协作学习文献并与行为分析师和利益相关者进行咨询,确定了三种对团队合作最为关键的典型行为状态:投入、挣扎和等待[22]。选择这些行为是因为它们在协作任务中的普遍性[47],以及它们能够指示正面互动(投入)或需要支持的时刻(挣扎、等待)。表4在与认证行为分析师的协商后定义了这些行为,以指导一致的手动标注和系统级别的分类。为了实现这些行为的实时识别,我们分析了之前研究中的视频数据[22],并与认证行为分析师合作创建了一个基于规则的模型,该模型模仿了人类标注逻辑来对参与者的行为进行分类(图4)。基于规则的模型利用从语音、控制器活动、物体运动和眼动中提取的特征来分类协作行为。如果检测到语音,参与者会被标记为“投入状态”。如果没有语音,系统会检查控制器输入;如果存在控制器输入,则会评估物体运动:远离目标的运动表示“挣扎”,而朝向目标的运动表示“投入”。如果尽管有控制器输入但物体保持静止,该行为会被标记为“等待”。当语音和控制器输入都缺失时,系统会检查眼动;眼动的存在表明“等待”,而缺乏眼动则表明“挣扎”。这种顺序逻辑使得实时行为分类简单易懂。

接下来,反馈机制被建模为一个有限状态机(FSM),如图5所示。我们选择FSM是因为它提供了一个结构化的社会行为规则模型,状态的模块化设计,并且能够基于实时输入提供实时反馈[48,49,50]。FSM是一个四状态模型,包括观察、重定向、协助、干预和正面反馈,可以根据参与者的行为动态调整。表5总结了FSM的状态。图5. 基于参与者行为的反馈机制状态转换图。表5. 反馈机制、FSM定义和描述。FSM中的30秒等待时间是根据行为分析师的指导以及之前关于反馈机制的研究结果[46]选择的。这个时长在自主性和支持之间取得了平衡,使参与者有足够的时间处理情况并独立协作,同时避免了由于过度延迟导致的脱节或挫败感[51]。

2.5. 实验设计

本研究共有24名成人参与者,其中包括12名自闭症患者和12名神经典型个体(NT),他们被配对成12对ASD-NT组合,以反映现实世界中的工作场所互动。自闭症参与者来自范德比尔特大学肯尼迪中心的自闭症登记册。自闭症参与者和NT参与者通过口碑传播和传单招募。为了控制偏见,这些组合按性别匹配,结果有11对男性和1对女性,这与自闭症的性别诊断差异一致[52]。6对被分配到实验组,6对被分配到对照组。

当前研究设计为单次会话的可行性试验,每对参与者大约需要一小时的时间。选择这个紧凑的时间框架是为了评估VIRTUES平台的即时可用性和参与者对多模态反馈的即时响应能力。因此,分析重点在于观察协作行为特征的即时变化和平台的效果,而不是长期的协作技能发展。研究遵循了结构化的流程(图6)。在获得知情同意后,参与者完成了教程,熟悉虚拟环境和控制措施。然后他们进行了预评估任务,以确定基线协作表现。实验组完成了两个带有实时反馈机制的虚拟任务(PC组装和家具组装)。对照组则玩了Drawize[53],这是一个基于网络的Pictionary游戏,没有实时反馈或视听交流。这种设计选择主要是为了建立不受VIRTUES平台新颖感官环境影响下的真实协作行为基线。如果先向对照组介绍带有反馈机制的VR任务,可能会导致练习效应的混淆,即评估后的改进可能归因于对任务的熟悉程度,而不是反馈的存在与否。通过保持一个无处理的对照组,我们分离出了VIRTUES干预(环境+实时反馈)对标准互动的全面影响。

3. 方法

本小节描述了处理多模态感知数据的步骤。本研究采用基于维度的框架,系统地分析VIRTUES内的互动模式。多模态感知特征被映射到这些维度上(表2),以便对协作行为进行结构化的解释。

3.1. 数据处理和处理

所有多模态数据,包括语音、注视和任务相关日志,在分析之前都进行了预处理。日志文件使用时间戳进行同步,以确保不同模态之间的对齐。基本的清洗步骤包括删除无效或损坏的条目,并过滤掉与任务无关的部分。对于关键变量(如任务得分、积极参与)出现间歇性缺失的数据,采用了保守的处理方法:这些数据被排除在相应分析之外。对于会话内的短暂缺失值(例如,在注视追踪中的短暂信号丢失),没有进行插补;而是使用可用数据进行分析,以避免引入偏见。鉴于研究的探索性质和样本量有限,这种方法优先考虑了数据完整性和透明度。

3.2. 语音数据分析

尽管语音数据仅占总体互动的10%到15%,但提取的语音片段为评估团队合作的沟通方面和执行功能提供了宝贵的见解。ASD和NT参与者的实时语音通过Microsoft Azure的Speech-to-Text服务转录,并通过Unity的连续监听器功能集成[25]。选择Azure是因为其高性能和低词错误率,尤其是在有口音或残疾的个体中,这一点已通过现有文献得到验证[54,55,56]。下面我们描述了分析中使用的两个关键特征。API根据静音检测或15秒的阈值将单词分割成一组语句[25]。
(1) 发起次数:两位研究人员制定了一种编码方案,将语音记录标记为发起,如果它们:(1) 引入了一个新的话题;或 (2) 在30秒的沉默后说出话来。我们使用了30秒的时间,让参与者有机会口头或非口头地与他们的搭档交流,然后再将其视为新的发起。研究人员分别对日志文件进行标记,并通过讨论解决了分歧。他们达到了96%的一致性,剩余的4%通过协作解决了差异。
(2) 对话行为分类:在之前的可行性研究中[22],设计了一种从口头行为编码[57]改编的标注方案,将转录的语音分类为表6中列出的八种对话行为(DA)之一。例如,“它希望你把它放入CPU”这样的句子将根据其语言结构被客观地归类为“告知”。这种方法的可靠性得到了两位人类标注者的验证,他们最初的标注者间一致性为95%,随后通过协作解决了所有差异,最终达到100%的一致性。然后,标记的数据被用来训练双向变换器表示(BERT)模型[58]。被标记为“Out”的噪声数据被排除在我们的分析之外。

3.3. 注视和其他非语言数据分析

本研究使用了Tobii Unity Eye Tracking SDK [26] 来 (i) 持续捕捉注视点,以及 (ii) 在预定义的兴趣区域(ROIs)或虚拟对象上检测到的大约200毫秒的注视固定[59]。选择TobiiEyeX是因为其验证过的准确性、低延迟和采样频率,这些特性适合评估3D虚拟环境中的主动注视[60]。在实验开始之前,我们使用Tobii Eye Tracking for Windows应用程序[26] 对参与者的注视进行了校准。

实验结束后,注视数据被分为三类:(1) 与任务相关的注视,即参与者注视虚拟对象或感兴趣的区域;(2) 社交注视,即参与者注视虚拟环境中的视频流窗口;(3) 与时间相关的注视,即参与者注视计时条。

另一方面,在评估VIRTUES时,我们也使用了输入控制器中的关键参数(如表1所述)。这些参数包括:总分、个人得分、共享部分和主动努力。

3.4. 多模态感知特征与协作维度的映射

定量和可扩展的评估对于准确测量协作互动至关重要。客观评估补充了传统的评估方法,提供了数据驱动的见解,有助于减少偏见和错误[61,62,63]。此外,有些定量指标是人类通过观察无法测量的,但可以通过传感器和系统计算轻松获得,例如注视持续时间和频率、操作时的握力强度以及按钮按压的频率。Echeverria等人[64]开发了一个协作矩阵,将多模态测量与医疗保健环境中的团队合作动态联系起来,发现多模态分析可以通过提供客观见解来增强团队互动评估,这些见解补充了人类观察的结果。最近的研究还强调了在虚拟混合现实设计中嵌入人类价值的重要性,以确保体验在伦理上基于真实情况,特别是在协作和治疗环境中[65]。

为了建立我们分析的多模态感知特征与定义的协作维度(表2)之间的直接联系,我们开发了一个结构化的特征到维度映射框架。这些特征包括我们在VIRTUES中捕获的参数(表1)以及3.1和3.2部分分析的结果。表7总结了多模态感知特征与协作框架统一维度内的对话行为之间的映射。

3.5. 统计分析

进行了统计分析,以评估VIRTUES在实验组和对照组中的效果,并通过定量多模态感知特征来理解协作行为。为了处理双向数据的嵌套性质以及多模态感知设备的使用,我们对数据应用了广泛的统计框架。使用Shapiro-Wilk检验(p > 0.05)[66] 来评估数据的正态性[66]。线性混合效应回归模型(LMM)[67] 用于考虑参与者在组合中的层次结构以及任务前后传感器重复测量的影响。接下来,使用MANOVA [68] 来评估任务前后以及对照组和实验组之间多模态感知特征的综合效应,考虑了它们的相互依赖性。然后,使用标准的多重线性回归[69] 来识别任务表现的行为预测因子,重点关注多模态特征与表现结果之间的关系。最后,进行了配对t检验和独立t检验作为补充分析,以提供描述性比较并便于解释效应大小。对于每个结果,我们计算了p值、平均差异的95%置信区间(CI)以及Cohen’s d效应大小,以量化训练收益的程度。Cohen’s d被解释为小(0.2)、中等(0.5)和大(0.8)。此外,为了控制由于多种感官数据比较而导致的I型错误率,使用Benjamini–Hochberg程序[70]进行了调整后的p值计算。由于研究规模相当小且只进行了一次会话访问,还使用任务得分作为主要特征进行了事后功效分析。**结果** **4.1. 概述** 结果展示了VIRTUES中协作表现的统计评估,特别是训练范式的即时效果。此外,我们还探讨了在预定义的协作维度内的多模态感官特征的潜在含义:(1)对话管理、(2)信息汇集、(3)互惠互动、(4)任务分配和协调以及(5)时间管理。**4.2. VIRTUES的总体效果** 使用线性混合效应模型分析了VIRTUES训练范式对协作效果的影响。该分析考察了组别(训练组与对照组)和时间(前测与后测)对任务表现的影响,其中将二元组(ASD—NT)作为随机效应,以解释配对参与者之间的相互依赖性。表8总结了这一混合效应模型。分析显示,时间在前测和后测任务之间存在显著的主效应(β = 14.17,p值 = 0.016,CI = [2.69, 25.64]),表明参与者在后测任务中的表现有所提高。还观察到了神经类型(β = ?13.75,p值 = 0.001,CI = [?21.86, ?5.64])的显著主效应,这意味着ASD参与者的得分与NT参与者有显著差异。然而,组别效应(β = ?14.17,p值 = 0.153,CI = [?33.61, 5.28])或组别和时间效应(β = 14.17,p值 = 0.087,CI = [?2.06, 30.39])均不具有统计学意义。这表明,尽管参与者随时间有所改进,但训练组并没有比对照组有显著更大的进步。表8. VIRTUES的混合效应模型结果。表9汇总了关键感官特征以及任务得分的平均值和标准差。结果显示,虽然训练组在前测任务中的得分较低(M = 59.17,SD = 23.92),低于对照组(M = 73.33,SD = 20.60),但训练组在后测任务中达到了与对照组相当的表现(M = 87.50,SD = 17.12)。图7通过训练组更陡峭的轨迹展示了任务得分的改善,对比了对照组。表9. 不同组和时间下的任务表现和多模态感官特征的平均值和标准差。图7. 前后测任务中对照组和训练组的总分比较。**t检验结果** 比较了参与者随时间、神经类型、组别以及组别和时间之间的线性变化。表10支持了表8和表9中的LMM结果。根据结果,训练组中的ASD参与者(p值 = 0.014,d = 1.72)在后测任务中表现出显著改善,尽管训练组中的NT参与者没有显示出显著变化,但效应仍然很大(p值 = 0.084,d = 1.56)。表10. 比较组内和组间任务得分表现的t检验。为了评估二元样本量(n = 12个二元组)的适当性,对任务得分进行了事后功效分析。对于训练组内的改进,分析显示效应大小非常大(Cohen’s d = 1.92),观察到的功效为0.93,超过了推荐的0.80阈值。对于训练组和对照组之间的得分比较,观察到了较大的效应大小(Cohen’s d = 1.00);然而,统计功效为0.35,反映了这项可行性研究的试点性质。这些结果表明,尽管干预的影响是显著的,但需要未来的大规模试验来提高训练范式的普遍性。**4.3. 协作维度的多模态预测因子** 接下来,我们进一步研究了多模态感官特征与协作表现成功之间的关系。进行了多重线性回归(MLR)分析,以建立这种关系并确定能够预测任务成功的关键特征。表11列出了统计上显著的回归模型结果(F(4,43) = 6.84,p值 < 0.001)。模型显示,信息汇集(通过共享部分测量)是一个显著的正面预测因子(β = 7.87,p值 = 0.009),表明增加的共享部分和信息共享与任务表现的提高密切相关。相反,任务协调(由主动努力表示)是一个显著的负面预测因子(β = ?10.67,p值 < 0.001,d = ?1.195),表明较高的努力水平可能反映了任务难度或无效的互动,而不是有效的协作。对话行为“Inform”也观察到了类似的模式(β = ?8.46,p值 = 0.028,d = ?0.704),表明随着二元组与任务的同步性提高,对口头指令的需求减少了。注视和言语发起并不是协作成功的预测因子。图8提供了该模型的可视化表示。表11. 显示驱动任务表现的关键特征的线性回归模型。图8. 多元线性回归曲线,作为协作成功的关键预测因子。**4.4. 协作维度的多变量效应** 进行了多元方差分析(MANOVA),以比较不同时间、组和神经类型之间的协作表现差异。表12汇总了这项分析的结果。观察到时间的主效应显著(= 0.672,F(5,39) = 3.80,p = 0.007),表明所有二元组的协作表现在前测和后测会话之间发生了显著变化。没有观察到神经类型的显著多变量效应,这表明在同时考虑所有协作维度时,ASD和神经典型(NT)参与者的行为特征在多变量结构上没有根本差异。组别的多变量效应也是如此,表明训练干预在不同的条件下没有产生差异效应。为了可视化不同组和时间下的协作维度,特征被聚合成五个协作维度。通过平均组成特征的绝对Cohen’s d来计算平均效应大小。图9并排比较了前测和后测任务中各组之间的协作维度。训练组和对照组之间每个协作维度的模式非常相似,支持训练组和对照组之间不存在显著差异的结果。表12. 不同时间、组别、神经类型以及组别和时间组合的MANOVA比较。图9. 不同组和时间之间协作维度的并排比较。**4.5. 基于神经类型、组和时间的对话行为分类** 为了更深入地了解两组以及前后测任务中对话行为模式的变化,我们生成了图10a所示的组和时间的对话行为平均频率热图。热图比较了训练组和对照组从前测到后测的沟通变化。两组中最常见的对话行为是“Inform”,代表了协作任务的核心——共享和交换信息。在训练组的后测任务之后,我们可以看到“Ques”、“Acks”和“Inform”对话行为的转变,表明协调性有所提高。此外,还生成了按神经类型划分的对话行为平均频率的热图(图10b)。这突出了ASD和NT参与者之间的基线和总体沟通差异。然而,神经类型之间没有统计学上的显著差异。图10. (a)组和时间比较以及(b)神经类型比较的对话行为频率热图。**4.6. 与任务相关的注视数据分析** 对注视行为的描述性分析(表13)显示,从前测到后测任务中,所有目标的注视次数都呈现出一致的下降趋势。值得注意的是,训练组中注视伙伴的次数显著减少(ASD组从MPre = 21.50降至MPost = 4.33,NT组从MPre = 25.17降至MPost = 6.17)。这种减少在训练组中比对照组更为明显(ASD组:MPre = 21.50降至MPost = 9.00)。同样,注视物体的次数在所有组中也有所下降,对照组从较高的基线(MPre = 262.00,SD = 28.73)降至后测水平(MPost = 204.33,SD = 41.47)。这种变化在图11中可视化了。表13. 按研究组、神经类型和会话时间分类的三个主要类别的平均注视次数。图11. 对照组和训练组从前测到后测任务中的注视行为变化。**5. 讨论** 本研究探讨了多模态感官特征如何映射到协作的关键维度上,以及这些维度如何与协作环境中的任务表现相关。研究结果表明,通过有针对性的设计元素支持的结构性虚拟协作可以促进不同神经类型之间的平衡和互惠团队合作。通过使用LMM、MLR和多变量分析,我们能够考虑每对参与者之间的内在“二元化学反应”,为VIRTUES平台提供了更严格的验证。在我们的分析中,我们一致观察到参与者随时间的显著改进,而训练组和对照组之间没有观察到显著差异。先前的研究也显示了虚拟环境在捕捉自闭个体的细微生理和行为反应方面的实用性,特别是在情绪识别和参与度方面[71]。**5.1. 多模态感知表示协作维度** 本研究的一个核心贡献是将客观的多模态感知特征映射到定义的协作维度上。对话管理被映射到对话行为“Acks”、“Ques”和发起次数。尽管这些特征对任务完成没有产生显著影响,但它们形成了支持协作的稳定互动结构,而不是独立驱动表现。例如,随着二元组变得更加协调并熟悉任务,他们需要的口头交流次数减少。这些发现表明,口头交流在任务成功中起的是促进作用,而不是因果作用。信息汇集被映射到“Inform”对话行为和“共享部分”特征,作为信息交换发生的指标。“Inform”对话行为没有产生显著效应;然而,“共享部分”却有显著效应。这表明,当信息汇集嵌入到协调的任务行动中时最为有效,而不仅仅是体现在沟通频率中。这支持和扩展了Meier等人的框架,表明信息汇集在与任务执行紧密结合时最为有效[29]。互惠互动被映射到“主动努力”和“发起次数”。随着时间的推移,“主动努力”显示出显著增加(p < 0.001)。然而,回归分析显示“主动努力”与任务得分呈负相关(β = ?10.67,p < 0.001,CI = [?0.27, ?0.08])。这些发现表明,增加的参与并不一定转化为有效的协作。较高的努力可能反映了效率低下、困惑或任务难度,突出了参与度和生产力贡献之间的区别。任务分配和协调作为基于“共享部分”效应的最强任务表现决定因素。混合效应建模显示“共享部分”随时间的显著改进,而回归分析表明“共享部分”是表现的良好正面预测因子。这些发现表明,有效的协作从根本上基于协调任务相关行动的能力。这是意料之中的,因为协作任务严重依赖于虚拟对象的协调移动。时间管理被映射到任务得分。在这项研究中,从前测到后测任务中,时间对任务得分有显著影响。我们可以将这解释为当二元组能够在任务得分上取得显著改进时,意味着他们具有良好的时间管理能力。**5.2.美德对双向协作质量和数量的影响

尽管两组参与者的任务得分都有所提高,但多元线性模型(LMM)提供了关键的绩效衡量标准。例如,从表8可以看出,“共享成果”、“积极努力”和“提供信息”这些对话行为对协作绩效的贡献最大。“共享成果”的显著提升是协作行为的直接体现,也是对绩效的强烈正向预测因素。与此同时,“提供信息”和“积极努力”与绩效呈负相关,这表明增加的努力可能反映了效率低下、困惑或在完成任务时遇到困难。这一发现强调了与任务相关的协作行为在团队合作中的重要性,而不仅仅是沟通的数量。传统的社交技能培训通常侧重于增加社交行为的数量。然而,最近的人机交互(HCI)相关研究表明,在协作任务中,参与者较少依赖明确的口头表达,更多依靠共享的环境线索[72],这与我们的发现一致。

5.3. 减少的注视次数作为熟悉度和效率提升的指标
注视数据显示,参与者对伙伴的注视和对物体的注视次数都有所减少。这可能表明任务掌握程度提高了,他们花费更少的时间观察周围环境,只专注于自己正在工作的对象和区域。在协作初期(预测试阶段),两种神经类型类型的参与者都会更频繁地注视,以熟悉虚拟空间和对象。然而,后测试时注视次数的下降表明,这些双人组合已经形成了对虚拟空间的共同认知模型。这一发现与其他与任务相关的特征结果一致,特别是“积极努力”的结果。它表明美德使参与者能够适应虚拟环境,并减轻了社交认知负担。

5.4. 反馈机制对协作绩效的支撑作用
本研究没有直接测量反馈机制的使用情况,如提示频率、用户反应或定性反馈。相反,我们通过绩效结果进行了间接评估。在不同感知特征和统计分析中看到的一致结果表明,反馈机制促进了从个体任务工作向集体团队努力的转变。组间比较显示,训练组在绩效上没有显著下降(p > 0.05),表明基于规则的提示没有对双向互动产生负面影响,也没有造成过重的认知负担。此外,训练组在前后测试任务中的协作得分有显著提高(p < 0.01,d = 1.92),这种效果在对照组中未观察到。鉴于研究时间和样本量的限制,这些发现应谨慎解读。未来的工作应详细记录反馈的使用情况,并进行定性用户评估,以更好地理解参与者如何使用和感知这些提示。任务结果的这种一致性反映了向更公平贡献的转变,很可能反映了互动过程中的相互影响。这些发现强调了理解并解决不同神经类型个体之间沟通挑战时“双重同理心”问题的重要性,强调了促进跨神经类型相互理解的需求[73]。通过向双方提供中立、非指导性的提示(例如,“试着与你的伙伴沟通一下”),美德鼓励了相互适应,而不是将“纠正”的负担完全放在自闭症参与者身上。这些结构化的支持与之前的研究结果一致,有助于促进协作和相互适应[74,75]。

5.5. 行为模式分析
对多模态感知特征的详细分析显示了强烈的协作协调迹象。从对话行为分析来看,“提供信息”是最频繁的口头交流,属于信息积累和任务协调维度。这种口头分享与身体动作紧密相关,“共享成果”指标成为任务成功的主要预测因素(p < 0.05,d = 0.836),而“积极努力”则是负向预测因素,且影响显著(p < 0.05,d = ?1.195)。综合的注视数据证实,参与者在这些交流过程中始终关注共享的虚拟对象。这些标志共同定义了一种模式,其中口头、视觉和身体通道相互结合,促进了隐性的协作协调。这再次支持了Butchibabu等人的最新研究成果[72]。

5.6. VIRTUES作为协作训练工具的可行性和局限性
由于本研究是一次性的可行性及可用性试验,我们的分析结果展示了VIRTUES训练范式和反馈机制效果的有限性。尽管我们无法证明训练范式的显著贡献,但根据其他发现,VIRTUES能够在短时间内可靠地捕捉和支持细微的社会行为变化。口头(对话行为)和非口头(注视、积极努力等)模式的一致性表明了多模态架构的稳健性。未来的工作将探索更大样本量的纵向培训,以确定这些双向效率提升(如减少“提问”和“否定”对话行为)是否可以推广到现实工作场所的互动中。虽然某些指标(如任务得分和积极努力)显示出显著改善,但其他沟通行为(如“发起对话并作出回应”、“注视视频”)尚未达到统计显著性。这可能是由于接触时间有限;单次一小时的访问不足以让参与者完全内化并自动化新的协作策略。虽然缺乏负面效应表明该平台是安全且被良好耐受的,但我们不能确定反馈机制在这一时间段内显著“重新训练”了双向互动。未来的研究应采用多阶段的纵向设计,以捕捉这些行为稳定并显示出任何显著改善所需的潜伏期。

我们需要承认的局限性包括:样本量较小,仅有12对ASD-NT(自闭症-非自闭症)双人组合,这限制了结果的统计功效和普遍性。需要更大的样本群体来验证这些初步发现。如果能够引入ASD-ASD双人组合并比较结果,类似于参考文献[74]中的电话研究,也将有助于研究。培训时间较短(20分钟),可能限制了干预的潜在影响。更长或重复的课程可能会揭示更持久的行为变化。前后评估任务之间的相似性可能导致参与者产生熟悉效应。未来的迭代应考虑平衡或多样化任务类型,以减少潜在的学习效应。反馈机制基于基于规则的有限状态机,缺乏对复杂、动态团队互动的适应性。更灵活的方法,如概率模型或基于机器学习的模型,可以提高反馈的响应性和个性化[76]。

这些局限性指出了未来研究需要改进的领域,以提高系统的可靠性、可扩展性和适用性。尽管如此,这些发现为开发可扩展的、数据驱动的工具奠定了基础,以支持和评估研究和应用环境中的神经多样性团队合作提供了依据。

5.7. 伦理考量
虽然这项工作展示了基于计算机视觉娱乐(CVE)的技术增强跨神经类型协作的潜力,我们在开发VIRTUES时仔细考虑了关键伦理问题。实时反馈机制旨在避免强化可能使神经多样性特征边缘化的规范沟通模式。为此,我们咨询了两位经验丰富的行为分析师,制定了一种不具偏见的支持性反馈机制协议。为保护参与者隐私,所有行为数据都得到了安全存储,并获得了所有参与者的知情同意。重要的是,神经多样性个体也参与了设计过程,以确保VIRTUES对所有神经类型都包容且尊重。

6. 结论
协作和团队合作是能够提高生产力和团队绩效的重要技能。然而,关于跨神经类型协作的研究相对较少,这种协作本身具有独特的挑战。本研究介绍了VIRTUES,这是一个专门针对支持跨神经类型协作的基于CVE的训练系统。VIRTUES旨在支持和评估跨神经类型互动中的协作绩效。通过结合结构化的协作评估任务、多模态感知数据和基于规则的反馈机制,VIRTUES提供了一个新颖的、可扩展的虚拟框架,用于促进和评估协作互动。在这项工作中,我们:(1)定义了五个可测量的协作维度,包括口头和非口头方面;(2)基于这些维度设计了一组训练和评估任务;(3)将这些维度映射到可测量的多模态感知数据上,以实现协作绩效的量化分析;(4)开发了基于多模态感知数据的基于规则的反馈机制,整合到虚拟环境中以支持VIRTUES中的双向互动;(5)进行了包含12对ASD-NT双人组合的受控用户研究,评估了反馈机制的即时效果。研究结果表明,尽管样本量较小,但VIRTUES框架在支持和量化跨神经类型双人组合的协作流畅性方面是可行的。通过采用多模态感知架构,我们超越了传统的基于结果的指标,揭示了团队合作的潜在行为机制。我们的发现,特别是资源共享中的显著互动效应以及身体努力与任务成功之间的反向关系,表明虚拟环境中的有效协作是由从高努力口头协商向协同共享对象的转变所驱动的。虽然这项可行性研究受到单次会话设计和样本量的限制,但ASD-NT双人组合所取得的平等性表明,结构化的CVE可以为跨神经类型的社交桥梁。这些结果为未来旨在促进包容性和高效团队合作的纵向干预奠定了基础。

未来的工作将包括扩大样本群体和延长培训时间,以研究长期学习效果。另一个重点可能是通过结合定量感知特征和观察者或培训者的定性评估来扩展协作维度的客观测量。最后,评估培训范式中的自适应反馈机制可以为我们提供有关如何最佳支持跨神经类型协作的重要数据。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号