可解释的多模态融合技术在乳腺癌诊断中的应用：系统综述、存在的问题及未来发展方向

《Computer Methods and Programs in Biomedicine》：Explainable multimodal fusion for breast carcinoma diagnosis: A systematic review, open problems, and future directions

本研究通过虚拟现实（VR）环境下的“伸手-点击”任务，探究了实时运动与虚拟化身动作不同延迟（200、400、600ms）对主体身体拥有感（embodiment）和准备电位（RP）的影响。结果显示，延迟增加导致RP峰值前额叶区域显著降低，且主体身体拥有感评分显著下降（p<0.01）。sLORETA源定位分析表明，前额叶皮层（如BA24、32）和扣带回（BA24）在NA延迟条件下激活最强，而随着延迟增加，这些区域激活减弱。研究首次证明RP可作为评估VR环境中主体控制感和身体拥有感的神经生物标志物，为优化虚拟交互系统提供理论依据。

　　### 研究解读：虚拟现实中的身体感与准备势的神经标记

本研究探讨了虚拟现实（VR）中用户与虚拟化身（avatar）之间的运动延迟对主观身体感和准备势（Readiness Potential, RP）的影响。研究采用了一种沉浸式的“伸手按下”任务，以评估延迟对用户在虚拟环境中控制感和身体感的干扰程度。RP是一种神经电生理指标，通常出现在自愿动作之前，被认为与运动准备和执行相关。此外，研究还对比了VR组与现实组在无延迟条件下的神经活动差异，以更全面地理解身体感的神经基础。

---

### 背景与研究意义

身体感（embodiment）是人类自我意识和控制感的核心组成部分，它决定了个体是否感觉自己的身体属于自身。随着虚拟现实技术的发展，研究者能够通过虚拟化身和数字环境的交互来探索身体感的神经机制。研究者发现，运动延迟是影响VR中身体感和控制感的重要因素。即使是在毫秒级别的延迟，也可能导致用户对自身动作的感知减弱，进而影响其在虚拟环境中的体验。

以往的研究已经表明，VR中的延迟会降低用户的任务表现和身体感。例如，研究发现超过125毫秒的延迟会削弱用户的控制感和身体感，而超过300毫秒的延迟则会导致更显著的体验下降。尽管这些研究揭示了延迟对身体感的负面影响，但它们主要关注的是用户对错误的反应，而对延迟对准备过程的直接影响却较少涉及。

因此，本研究的创新点在于，通过引入准备势这一更直接和前瞻性的神经指标，探索了VR中延迟对身体感和神经活动的影响。RP作为一种反映运动准备的神经电活动，能够提供关于用户控制感的客观数据。通过结合VR与脑电图（EEG）技术，研究者可以更深入地理解延迟如何影响用户的主观体验，并揭示这些变化背后的神经机制。

---

### 方法与实验设计

研究招募了25名参与者，他们被要求在VR环境中执行“伸手按下”任务，任务包括四个条件：无延迟（NA-delay）、200毫秒延迟、400毫秒延迟和600毫秒延迟。为了提供非VR环境下的对照，还有一组17名参与者在现实环境中执行相同的任务。

实验中，参与者坐在椅子上，双手放在桌面上的按钮上。当红色和白色的目标出现在桌面上时，他们需要抬起手并快速伸手触碰目标中心，然后将手放回按钮准备下一次任务。在整个实验过程中，研究者通过VR头显和EEG设备记录神经活动，确保任务的同步性和数据的准确性。

为了减少实验中的干扰因素，研究者在VR环境中使用了Unity实现的虚拟手部模型，并通过反向运动学（Inverse Kinematics, IK）确保手部动作的自然性和生物力学合理性。此外，研究者还通过问卷评估了参与者的主观身体感，问卷包含四个问题，分别对应身体感的不同维度，如失身感、动作影响、身体所有权和控制感。

---

### 结果与分析

研究结果显示，随着延迟的增加，主观身体感显著下降，特别是在400毫秒和600毫秒延迟条件下，身体感评分明显低于无延迟条件。这表明，延迟对用户在虚拟环境中的控制感和身体感具有显著的负面影响。

在神经活动方面，研究发现RP的峰值和达到最大幅度的时间在延迟条件下均有所下降，尤其是在前额区域。这表明，随着延迟的增加，用户的运动准备过程可能发生了变化，从单纯的运动执行转向了更复杂的认知过程，如错误监控和决策。此外，sLORETA（一种基于线性逆问题的源定位技术）分析表明，延迟条件下，背侧前扣带回（dACC）和前额叶皮层的活动显著增加，这些区域通常与错误监测和认知控制相关。

在VR组与现实组的对比中，研究发现VR组在前额区域的RP峰值更高，且达到最大幅度的时间更长。这可能是因为在VR环境中，用户的动作需要更多的认知资源来整合和处理虚拟与现实之间的差异，从而导致RP的延迟。相比之下，现实组的RP更集中于中央运动区域，表明其运动准备过程更直接和高效。

此外，研究还发现RP达到最大幅度的时间与主观身体感评分之间存在显著相关性。这一发现表明，RP不仅反映了运动准备的神经活动，还能够作为用户控制感和身体感的客观指标。这种关联性为未来研究提供了新的视角，即通过RP的测量，可以更准确地评估用户在VR环境中的感知体验。

---

### 神经机制与理论意义

研究揭示了RP在VR中的变化与身体感之间的关系。在延迟条件下，RP的峰值和达到最大幅度的时间均显著下降，尤其是在前额区域。这一结果可能表明，随着延迟的增加，用户的运动准备过程从直接的运动执行转向了更复杂的认知过程，如错误监控和意图评估。这些认知过程的激活可能与用户感知到的延迟有关，从而影响其在虚拟环境中的身体感。

进一步分析表明，背侧前扣带回（dACC）和前额叶皮层的活动在延迟条件下显著增加，这些区域通常与错误检测和认知控制相关。这可能意味着，当用户感知到延迟时，大脑会启动这些区域以评估和纠正动作与感知之间的不一致。这种机制可能与用户在VR中的自我意识和控制感有关，表明延迟会削弱用户的自我感知，进而影响其在虚拟环境中的行为和体验。

此外，研究还发现，VR组的RP峰值和达到最大幅度的时间显著高于现实组。这一结果可能与VR环境中的任务复杂性有关，因为在VR中，用户的动作需要更多的认知资源来整合虚拟和现实之间的差异，从而导致RP的延迟。这一发现为理解VR中的神经适应机制提供了新的证据，表明大脑在VR环境中可能会调整其运动准备过程以适应虚拟与现实之间的差异。

---

### 应用价值与未来方向

本研究的发现对虚拟现实和人机交互（HCI）领域具有重要的应用价值。首先，RP可以作为一种客观的神经标记，用于评估用户在VR中的控制感和身体感。这种客观指标能够提供更准确的实时数据，从而优化用户体验。例如，在VR中，如果RP的峰值和达到最大幅度的时间显著下降，可能意味着用户感知到的延迟影响了其控制感，从而需要调整系统延迟以提升沉浸感和交互体验。

其次，本研究的结果可以应用于神经康复领域。在VR康复训练中，用户的控制感和身体感是影响康复效果的关键因素。通过实时监测RP，可以评估用户的控制感是否受到影响，并调整训练内容以确保用户在康复过程中保持较高的控制感和参与度。此外，RP的测量还可以帮助优化虚拟化身的设计，使其更符合用户的实际动作，从而增强用户的身体感和任务表现。

此外，本研究还为脑机接口（BCI）技术提供了新的思路。BCI技术通常依赖于用户脑活动的实时监测，以实现对设备的控制。然而，传统的BCI系统往往存在延迟，这可能导致用户感知到的控制感下降。通过优化RP的测量，可以设计出更高效的BCI系统，使用户感觉自己的动作能够被系统准确捕捉和响应，从而提升控制感和使用体验。

---

### 研究局限与未来展望

尽管本研究提供了有价值的见解，但仍存在一些局限。首先，本研究仅使用了四种延迟条件（0、200、400、600毫秒），未能对中等延迟（如200毫秒和400毫秒）进行更细致的分析。未来的研究可以进一步分解延迟条件，以更准确地评估RP与身体感之间的关系。

其次，尽管EEG能够提供高时间分辨率的数据，但它在空间分辨率上存在不足。这可能导致对大脑活动区域的定位不够精确。因此，未来的研究可以考虑结合其他神经成像技术，如功能性近红外光谱（fNIRS）或功能性磁共振成像（fMRI），以更全面地理解RP和身体感的神经基础。

此外，本研究未考虑任务执行中的运动时间或速度因素，这可能影响RP的测量结果。未来的研究可以纳入这些变量，以更准确地分离运动准备和执行相关的神经活动。最后，本研究未直接测量VR系统中的总延迟，这可能影响对延迟对RP影响的准确评估。因此，未来的研究应包括对VR系统延迟的详细测量和分析，以确保结果的可靠性。

---

### 总结

本研究通过结合虚拟现实和脑电图技术，揭示了延迟对用户身体感和准备势的影响。研究发现，随着延迟的增加，用户的主观身体感显著下降，同时RP的峰值和达到最大幅度的时间也受到影响。这些发现不仅深化了我们对VR中神经机制的理解，还为提升VR体验、优化神经康复和改进脑机接口技术提供了重要的理论和实践指导。通过实时监测RP，可以更准确地评估用户的控制感和身体感，从而为未来的VR应用提供更可靠的神经基础。