具有超声波触觉反馈的3D-MOT对认知能力和运动-认知表现的影响

《Ultrasonics》：Effects of 3D-MOT with ultrasonic haptic feedback on cognitive and motor–cognitive performance

本研究通过将超声触觉反馈整合至三维多物体追踪（3D-MOT）训练系统，探究其对健康成人认知与运动认知的转移效应。实验显示，实验组在第六天清除红色球数量多26%，学习稳定性提前3天达成，实验室和场域认知控制任务中均显著提升反应时（p=0.003）。证实体感交互技术可增强空间认知训练效果，为认知康复提供可扩展的解决方案。

　　

陈博涵|黄志春|陈英荣|史秦伟|王春豪|黄志贤

台湾台南国立成功大学电气工程系

摘要

本研究探讨了将超声波空中触觉反馈整合到三维多物体跟踪（3D-MOT）中的有效性。我们定制了一个超声波相控阵，在8×8×10厘米的区域内生成空中触觉刺激，并与基于Unity的互动训练游戏同步，该游戏包含动态接球任务。研究将20名健康成年志愿者分为实验组（使用触觉反馈）和对照组（不使用触觉反馈）。此外，我们通过实验室和现场认知控制任务（例如侧翼任务）在干预前后评估了他们的认知和运动认知表现，以考察潜在的转移效应。结果显示，实验组在第6天的学习进度显著加快，识别出的红色球体数量增加了26%，并且比对照组提前3天达到了性能稳定。混合设计方差分析证实了训练趋势（p=0.035）和水平分数（p=0.051）存在统计学上的显著差异，效应量为中等到较大。此外，尽管两组在实验室任务中的认知控制表现都有所提高（即反应时间中的侧翼效应减少），但只有实验组在基于现场的任务中进一步降低了侧翼效应（p=0.003）。这一发现表明，利用模拟体感皮层活动的触觉反馈进行认知训练可能对运动任务中的认知控制处理更有益。研究表明，整合超声波触觉反馈能够显著提升视觉空间训练效果，并为认知康复提供了一种可扩展的、无需手持的设备解决方案，突显了多感官方法在优化认知健康方面的潜力。

引言

随着全球人口老龄化，认知健康已成为一个重要的公共卫生问题。认知能力下降，尤其是在老年人中，与衰老过程密切相关，是阿尔茨海默病等神经退行性疾病的前兆。在众多预防措施中，认知训练被认为是一种相对经济有效的方法，可以促进认知功能的改善[1]。研究还表明，终生参与认知训练可以有效防止认知能力下降[2][3]。特别是在老年时期，参与各种认知活动有助于保持大脑功能[4][5]。在各种认知训练中，视觉空间训练被认为是一种有效的方法，旨在提高参与者的空间感知和定位能力，例如驾驶时的空间判断能力和整理房间时的空间利用能力。

然而，传统的视觉空间训练要么是二维的，要么成本过高。例如，纸质迷宫只能提供二维刺激，而建造实际迷宫不仅成本高昂，而且缺乏灵活性[6][7]。因此，一些研究人员使用沉浸式计算机化3D技术来刺激大脑在空间记忆和深度感知等方面的发展。由于计算机化3D视觉空间训练的灵活性，用户可以在家中或任何有基本设备的地方进行训练。例如，Mariana Medeiros Assed的团队研究了结合记忆和三维多物体跟踪（3D-MOT）使用计算机化注意力刺激对认知能力的影响[8][9][10]。此外，虚拟现实（VR）可以创建高度可控且安全的环境，模拟现实生活中难以实现的场景或任务[11][12][13][14][15]，例如为创伤后应激障碍患者创建沉浸式治疗环境[16]。它可能会引发强烈的情绪，如焦虑和恐慌，这有助于治疗师识别患者的障碍来源。因此，沉浸式计算机化3D视觉空间训练最近已成为更好的选择。

此外，沉浸式计算机化3D视觉空间训练还可以整合多感官刺激。一些研究人员指出，涉及多种感官的刺激比单一刺激产生更显著的学习效果[17][18]。例如，在一项语音识别研究中，当配对过程同时包括声音（听觉）和面部（视觉）时，准确率比仅配对声音和名字时高出14%[19]。此外，Rogers和他的同事开发了一种用于中风后康复治疗的交互式VR系统[20]，使用实时视觉和听觉反馈来加强参与者对正确动作的记忆。接受VR治疗的参与者的认知恢复率是仅接受传统物理治疗的参与者的2到3倍。然而，目前人们更多地将多感官刺激用于非视觉空间训练，而在视觉空间应用中的使用较少。尽管人类感官系统包括视觉、听觉、嗅觉和触觉，但后者在VR技术中很少被讨论。Timo Torsten Schmidt的研究表明，触觉反馈可以显著影响认知训练。由于大脑的后顶叶和前运动皮层区域保留了关于触觉刺激的空间信息，触觉引发的感觉可以在大脑中形成特定的空间记忆表征[21]。此外，Guo Ting及其团队证明，触觉训练可以改善视觉空间记忆，因为视觉和触觉信息在工作记忆中有共同的处理机制[22]。他们要求一组参与者在通过指尖感知和记忆一系列左右触觉刺激之前和之后进行视觉空间记忆测试。结果发现，接受触觉训练的参与者比对照组能够记住更多屏幕上点的颜色和位置。这些结果揭示了通过提供触觉反馈来增强现有视觉空间训练效果的潜力。

目前，人们使用接触式或非接触式方法创建3D触觉反馈。前者包括佩戴振动带或使用依赖与皮肤接触的物理设备的触觉手柄来模拟触觉[23][24]。然而，这种方法存在明显的缺点，如触觉感觉的位置取决于设备的设计，以及卫生问题。相比之下，非接触式触觉技术，如超声波、空气喷射或涡流，可以在不直接接触的情况下在空气中提供触觉刺激[25][26][27][28][29]。与空气喷射或涡流相比，超声波不依赖于空气动力学，受环境气流的影响较小，稳定性更高。此外，超声波触觉感觉的分辨率可以达到毫米级别，可以在空间场的任何位置创建精确的力场。因此，超声波技术应该是添加视觉空间训练中触觉交互的良好候选者。

2019年，Hirayama Ryuji的团队提出了一种结合视觉、听觉和触觉的多模态声学陷阱显示器[30]。他们利用超声波创建3D全息图像并通过操纵粒子来刺激皮肤的机械感受器产生触觉反馈。2014年，Monnai Yasuaki的团队提出了一种带有浮动虚拟屏幕的空中触觉交互[31]。他们使用角反射技术生成在空气中可见的浮动图像，并叠加超声波触觉反馈。2015年，Inoue Seki的团队使用八面体圆柱形超声波相控阵技术创建了模拟虚拟物体触感的3D触觉全息图[32]。这些工作展示了将超声波空中触觉整合到交互式视觉技术中的潜力。

然而，关于在视觉空间认知训练中添加空中触觉反馈的改进尚未进行讨论。因此，本研究开发了一个基于3D-MOT范式的视觉空间认知训练系统，整合了超声波触觉反馈来评估将其整合到视觉空间认知训练中的效果。首先，我们构建了一个超声波相控阵和驱动电路来创建超声波触觉反馈。然后，我们使用3D交互式游戏引擎设计了视觉空间认知训练软件。接下来，我们将硬件和软件结合起来，在视觉空间认知训练期间提供空中触觉。

为了评估训练的有效性，我们招募了健康成年人，并将他们分为实验组和对照组。实验组接受了带有触觉反馈的视觉空间认知训练，而对照组接受了没有触觉反馈的相同训练。鉴于最近的证据表明3D-MOT训练可能提升包括注意力、工作记忆和执行功能在内的广泛认知领域[33]，本研究采用了实验室中的侧翼任务来考察对认知控制的潜在转移效应。此外，因为将训练效果转移到更符合实际情境的结果（例如，运动中的双任务表现或认知-运动协调[33]）对于实际应用至关重要，我们还进行了一项基于现场的侧翼任务（即运动-认知整合任务，MCIT），参与者在完成任务的同时进行并发的运动活动。这种方法使我们能够评估视觉空间认知训练的实验室和基于实际情境的转移效应。

总的来说，这项研究可以提供重要见解，了解空中触觉反馈是否能够增强视觉空间认知训练并促进认知转移的改善。这些发现有望为针对认知能力下降个体的干预措施提供有价值的基础。

方法部分

方法

A：超声波触觉反馈理论和系统硬件架构

超声波是一种频率超过20 kHz的声音波，可以在介质中传播。当超声波遇到物体（如人的手）时，会在物体表面产生声辐射压力。当声压的切换频率落在人类机械感受器的敏感频率范围内时，触觉感觉会更加明显。

结果与讨论

A：超声波触觉反馈系统硬件架构

图6展示了为本研究开发的定制超声波触觉反馈硬件。每个换能器的频率为1厘米，换能器被拧入插座中，以避免焊接过程中的过热，并便于维护。该设计仅在背面使用了两个金属支柱来支撑上下阵列，为用户提供了更多的操作空间。Unity软件与触觉反馈硬件进行通信。

结论

总之，本研究介绍并评估了第一个结合空中超声波触觉反馈的视觉空间认知训练平台。主要发现表明，整合触觉刺激不仅加速了学习进度，还在MCIT（即基于现场的侧翼任务）期间提高了认知控制表现。然而，在仅涉及运动相关组件的测量中并未观察到这些好处。

CRediT作者贡献声明

陈博涵：撰写——原始草稿、可视化、验证、软件、方法论、调查、正式分析、数据管理。黄志春：软件。陈英荣：项目管理。史秦伟：资源。王春豪：撰写——审阅与编辑、监督、资源、概念化。黄志贤：撰写——审阅与编辑、监督、资源、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。