综述：视觉增强型可穿戴界面：基于生物启发的方法实现逼真的AI-人机交互

《Advanced Materials Technologies》：Vision-Augmented Wearable Interfaces: Bioinspired Approaches for Realistic AI-Human-Machine Interaction

　　摘要

近期在生物启发式视觉系统方面的进展扩展了可穿戴传感器和电子产品的功能，使得人类感知与数字健康界面之间的整合更加紧密。本综述探讨了如何将受复眼、弯曲视网膜和光适应机制启发的视觉增强技术转化为灵活、贴合皮肤且能够机械适应的医疗保健平台。这些生物启发式系统不仅提升了视场（FoV）、深度感知和动态适应能力，而且当嵌入到软传感器、光学皮肤和外骨骼框架等可穿戴形式因素中时，还能够实现交互式和智能化的功能。我们进一步分析了实现这种整合所需的材料、结构架构和感知模式，并强调了它们在人工智能（AI）辅助康复、远程健康监测和人机协作系统中的应用。尽管取得了显著进展，但在确保长期生物相容性、实时数据处理的系统级稳定性方面仍存在挑战。本综述最后指出了推进生物启发式光学、神经形态感知和基于AI的数字健康融合走向下一代人机增强技术的新兴机遇。

1 引言

元宇宙和AI的快速发展推动了视觉增强技术的发展，改善了个体对物理世界和虚拟世界之间的感知和互动方式[1-4]。具体来说，视觉增强是通过包括人工视觉系统和可穿戴接口在内的多种方式来增强人类视觉感知的技术手段。这种增强不仅包括提升视觉保真度和沉浸感，还包括促进人机互动和数字医疗应用的反馈驱动互动。AI驱动的计算机视觉技术和基于元宇宙的沉浸式虚拟环境可以通过视觉器官单独实现，但附着在身体各部位的传感器可以进一步增强视觉沉浸感[5-7]。此外，各种生物启发式的视觉系统模仿了诸如苍蝇的广角感知、章鱼的偏振敏感性和猫的夜间视觉等能力，从而克服了人类眼睛的动态范围和光谱感知限制[8-13]。诸如人工视觉系统、软可穿戴传感器和外骨骼可穿戴机器人之类的视觉增强传感器具有提升视觉沉浸感的潜力，并可作为元宇宙应用（包括虚拟现实（VR）、增强现实（AR）和混合现实（MR）中的有前景工具[14, 15]。人类视觉在从物理世界获取数据方面存在固有限制，包括动态范围有限、低光敏感性和光谱感知能力受限[16, 17]。自然界中的许多生物以其惊人的效率、速度和精确度来辅助视觉，每种动物或昆虫都具备适应其生态需求独特的视觉优势[18-20]。生物启发式的人工视觉系统可以通过多光谱成像、超广角视场（FoV）和自适应焦点等特性来克服人类眼睛的局限性[21-24]。这些进展改进了AR、VR、医疗保健和机器人技术应用，使得感知能力超越了自然人类的能力。为了通过数字表示（如化身）建立人类实际动作与虚拟环境之间的无缝连接，人们付出了大量努力[25-28]。可穿戴电子设备，包括软可穿戴传感器和外骨骼可穿戴机器人，可以增强沉浸感[29-32]。安装在身体多个部位的装置可以监测和获取动态生物力学数据，包括手势输入、眼动活动和姿势动态[33-37]。与元宇宙框架相连的生理和运动学数据有助于实现扩展现实（XR）系统，结合了多模态感官反馈和个性化视觉渲染[38-41]。这些数据可以通过AI算法的复杂优化过程获得，从而提升用户体验中的感知保真度和认知参与度[42-45]。本综述报告了视觉增强传感器的最新进展及其在元宇宙和AI中的潜在应用，以改善视觉沉浸感。已经开发出了多种传感器系统来克服人类视觉的空间限制，并通过与AR、VR和MR等虚拟环境的整合应用于各个领域。本文综合了来自广泛研究的见解，探讨了视觉增强传感器在元宇宙和AI应用中的潜力。本文的主要内容如图1所示。它介绍了模仿人类、动物和昆虫视觉能力的人工视觉系统（表1）。由于个体和物种之间的视觉特征存在差异——通常动物和昆虫具有更优越的能力——这部分重点介绍了利用这些生物优势来增强视觉的研究。接下来，探讨了可以与人体不同部位（如手、臂、脸、脚和眼睛）集成的传感器系统。各种研究展示了这些传感器如何增强视觉沉浸感。然后讨论转向可穿戴机器人，探讨了它们在元宇宙中的应用。还回顾了使用可穿戴机器人来增强康复和体育等领域视觉体验的研究。最后，本文介绍了利用视觉增强传感器的元宇宙和AI应用的当前状态和未来展望，以及实施这些技术所面临的挑战。

2 人工视觉系统

2.1 模拟人眼的人工视觉系统

人眼是一个单腔视觉系统，由角膜、晶状体和弯曲的视网膜等光学组件组成，在可见光谱范围内高效运作。人类视觉系统还可以通过围绕视网膜和晶状体的各种肌肉适应不同的光照条件[46-48]。为了复制生物人眼中的复杂视觉感知机制，已经开发了模拟人眼结构的人工视觉系统，从而提高了视觉处理和图像解释的技术能力[49-52]。受人类视觉系统的启发，开发了一种弯曲的神经形态图像传感器阵列，能够高效捕获图像并进行预处理（图2a）[53]。人眼中的晶状体作为一个单一透镜，导致图像平面表现出Petzval曲率。因此，这项研究不仅实现了弯曲图像传感器配置，还结合了MoS2-pV3D3光电晶体管来模拟突触可塑性。使用制造的弯曲神经形态图像传感器阵列获得的成像结果表明，可以通过单次读出操作有效地从噪声光学输入中提取预处理后的图像（图2b）。该设备通过消除冗余的数据存储、处理和通信，同时避免了复杂光学系统的需求，从而提高了成像效率。

2.2 模拟其他动物眼的人工视觉系统

除了人类之外，大多数动物的视觉结构与人眼相似，但其光学元件（如瞳孔、视网膜和晶状体）的形状有所不同。其他动物独特的视觉结构突显了需要人工视觉系统来模仿它们多样的视觉特性，例如宽视场（FoV）、伪装穿透能力和多光谱成像。这一需求促使开发了模拟各种动物视觉特性的人工视觉系统，这些系统的卓越性能可以提升各种应用中的视觉系统[8, 56]。某些鸟类（如猛禽和燕子）的眼睛在视觉结构中具有深中央凹，这与人眼不同，后者会显著折射入射光。这种独特的结构实现了聚焦视觉，实现了放大和目标跟踪。基于禽类眼睛的钙钛矿光电探测器阵列的成像系统已被开发用于聚焦和多光谱成像应用[57]。仿照游隼视网膜中的高斯分布结构制造了人工中央凹，并构建了成像模块来验证人工中央凹的效果。该人工中央凹模块根据入射光线的角度表现出不同的放大倍数，并且可以根据中央凹区域聚焦近处和远处的物体。该模块还具有多层钙钛矿光电探测器阵列，带隙在1.73到3.05电子伏特之间，能够不使用滤光片选择性吸收特定光线。模仿鸟类眼睛的人工鹰眼基于3D打印技术制造，实现了聚焦成像[58]。这种方法通过调整透镜间距实现了多个视场，并提供了更高分辨率的中央聚焦图像。蛇类拥有一个称为“凹坑器官”的特殊红外感测结构，该结构通过无透镜的针孔孔径机制进行感测。在这种结构中，含有数千个热感受器的弯曲凹坑膜将入射的红外辐射转换为神经信号，随后通过神经束传递到大脑进行整合（图3a）。通过模仿蛇的红外感测凹坑器官，开发了一种半球形的生物启发式红外成像设备，实现了无冷却、自供电的中长波红外（IR）视觉[59]。该设备集成了基于锗的红外透镜和高密度离子热电（i-TE）纳米线阵列以及集成电极，用于同时多通道信号读取（图3b）。利用其弯曲结构，该传感器提供了大约135°的宽视场，具有625像素的阵列，在环境条件下能够清晰、高对比度地成像温暖目标，包括人类手势（图3c）。图3 在图查看器或PowerPoint中打开

受其他动物眼睛启发的人造视觉传感器。(a) 蛇坑器官的详细眼睛结构。(b) 锗透镜、红外（IR）吸收层、纳米线和背接触镍线的照片及横截面电子显微镜图像。(c) 通过仿生热电传感器拍摄的人手图像。版权所有2022年，美国科学促进会（AAAS）[59]。 (d) 猫眼结构和功能特性的示意图，展示了其在不同光照环境下的伪装破坏能力。(e) 受猫眼启发的人造视觉模块的爆炸视图。(f) 使用垂直瞳孔和圆形瞳孔在不同距离拍摄的图像。(g) 使用垂直瞳孔和圆形瞳孔拍摄的图像及其梯度图。版权所有2024年，AAAS [60]。在明亮的环境中，猫的瞳孔可以变为垂直裂缝形状，以减少强光的眩光并帮助伪装检测（图3d）。在低光条件下，猫的瞳孔最终会扩大成圆形，以便充分检测光线并破坏伪装。一种受猫眼启发的人造视觉相机已被引入，以增强在不同光照环境中的敏感性[60]。该设备包括光学透镜、可变光圈、外壳和半球形排列的硅光电二极管阵列，与图案化银反射器（HPA-AgR）集成，使硅的吸收率提高了58%（图3e）。使用小圆形瞳孔拍摄的图像在所有距离上都产生清晰的十字形图像，因为具有深度焦距；而通过垂直瞳孔拍摄的图像在特定距离上显示精确的结果，在其他距离上则出现垂直模糊（图3f）。使用垂直瞳孔的演示结果提供了高对比度成像，能够清晰地区分目标与背景，从而实现伪装破坏（图3g）。水生动物的视觉特征是单个球形透镜和半球形排列的视网膜，两者都具有高灵敏度。它具有在低光水下环境中的广角清晰视觉感知能力。一种受水生视觉启发的相机采用单焦点透镜结构，与硅纳米棒光电二极管阵列集成，表现出61.2 dB的动态范围和0.34 A W?1的光响应性[61]。该设备采用紧凑设计，包括单焦点透镜和弯曲的光电二极管阵列。它还具有独特的光学特性，包括宽视场（FoV）、提高的光敏感度和最小的光学像差。此外，在渐晕条件下，由于硅纳米结构光电二极管的改进的光电检测能力，光电二极管阵列实现了高分辨率的广角成像。总体而言，受动物启发的人造视觉系统通过将仿生设计与先进的光学和光电检测技术相结合，模仿了多样的生物视觉结构，如中央凹视网膜、适应性瞳孔和半球形感知架构。因此，这样的系统可以通过实现广视场、多光谱感知、伪装破坏和适应性感知，将人造视觉扩展到人类的极限之外，从而为增强视觉提供新的技术框架。

2.3 模拟昆虫眼睛的人造视觉系统

大多数昆虫种类具有独特的视觉结构，由多个孔径和透镜阵列组成，使它们能够在相对较小的视觉器官下提供足够的视觉信息以维持生存[62-64]。昆虫的复眼展现出几个显著的特征，包括宽视场（FoV）、广阔的景深、高运动敏感性和低像差[65-67]。这些特性一直吸引着开发紧凑成像系统的研究人员的注意，促进了各种人造复眼的进步，以模仿它们独特的视觉系统[9, 68-73]。自然界的复眼具有半球形结构，其小眼（ommatidia）以弯曲的配置排列，能够实现广视场和快速检测接近的捕食者。半球形排列的微透镜阵列主要使用复制模塑技术制造；然而，这一过程需要弯曲柔软材料，这在实现精确曲率方面带来了挑战[71, 74]。为了精确实现更复杂的形状，引入了一种使用飞秒激光双光子聚合的人造复眼制造方法，以创建具有对数曲率的3D结构，模仿小眼[75]。使用780纳米飞秒激光器、物镜、伽利略仪和压电平台进行3D扫描制造。制造的透镜与互补金属氧化物半导体（CMOS）图像传感器集成，成像系统允许空间位置识别和轨迹跟踪，具有90°的视场（FoV）[4b,c]。人造复眼采用类似于蚊子眼睛的独特表面轮廓设计，以解决由于焦点位置差异引起的散焦问题。

受昆虫眼睛启发的人造视觉传感器。(a) 蜻蜓复眼的显微图像和示意图。(b) 平面图像传感器中散焦挑战的示意图。(c) 人造复眼制造过程的示意图和照片。版权所有2022年，Nature Portfolio [75]。 (d) 受昆虫深度感知机制启发的示意图。(e) 多功能超薄微透镜阵列相机的示意图和照片。版权所有2022年，Nature Portfolio [76]。 (f) 光敏突触器件表现出双向行为，这是通过果蝇视觉系统的原理模仿的。电活动触发突触处神经递质的释放，然后这些神经递质与突触后受体结合，引起突触后电流的变化，如兴奋性突触后电流（EPSCs）和抑制性突触后电流（IPSCs）。版权所有2025年，Wiley [79]。 (g) 自然Xenos peckii及其眼睛的显微照片。(h) 受Xenos peckii眼睛结构启发的超薄视觉系统的示意图。版权所有2018年，Nature Portfolio [80]。昆虫具有多功能成像能力，这种能力随目标距离的不同而变化，有助于执行捕食者识别、飞行中的安全着陆和猎物检测等功能。通过模仿昆虫立体视觉的原理，开发了一种多功能成像系统，集成了微观成像、三维深度测量、高动态范围（HDR）成像和高速识别等功能[76]。一种超薄相机通过间隔器与图像传感器和反向微透镜阵列集成，根据目标距离实现多种成像能力[77]。在近距平面，超薄相机能够分辨6.96微米的各种微观结构。利用中间平面阵列图像的像素差异成功进行了3D深度重建。该相机在远距平面提供HDR成像，通过组合多通道图像来增强色彩对比度，并实现低运动伪影的高速成像。成像系统可以使用滚动快门图像传感器沿着透镜阵列的垂直轴捕捉不同时刻的图像，并且比单透镜系统更快地获取目标图像。同样，通过偏移微透镜阵列实现了超高速成像，能够通过通道分割、时间积分和图像重建在9120 fps的速率下捕获信息[78]。一项研究引入了一种受果蝇视觉结构启发的双极性有机场效应晶体管（OFET），能够快速准确地检测环境光的变化，同时具有高能量效率和适应性[79]。果蝇视觉系统通过“开”和“关”通道的合作来处理视觉信息。为了模拟果蝇视觉系统的并行处理通道，制造了两个不同的20 × 20 OFET阵列，实现了一种光学控制的双向光响应突触器件。该器件采用p型戊烯和n型C60作为双极性OFET，并使用近红外量子点作为电荷捕获层。使用该器件区分运动方向和动态手势的实验结果显示，识别性能分别为94.8%和98.1%。这种器件可以应用于智能监控系统和人机交互（HCI）中，通过运动检测和动态手势识别。另一项研究引入了一种受纸黄蜂寄生虫Xenos peckii视觉结构启发的紧凑型视觉系统[80]。与其他昆虫不同，Xenos peckii在一个透镜中集成了数百个光感受器，实现了比其他昆虫更高的分辨率成像能力[81, 82]。Xenos peckii采用色素杯结构来减轻透镜之间的光学串扰[83]。这种独特结构通过微棱镜、微透镜阵列和吸光材料复制[84h]。光学组件使用球形透镜压印和光刻技术制造，黑色SU-8用于形成光阻结构。使用这种相机拍摄的图像捕捉了目标对象的不同部分，这些多个通道成功组合成单一图像。总之，受昆虫眼睛启发的人造视觉系统利用微透镜阵列实现广视场、高速运动检测和多功能成像，同时保持紧凑的外形。最终，这些仿生设计通过将视觉感知扩展到传统的单透镜系统之外，为增强视觉提供了可扩展的技术框架。

3 软质可穿戴传感器

3.1 软质可穿戴触觉传感器

软质可穿戴触觉传感器模仿人类皮肤的机械特性，同时提供精确的触觉反馈。精确的感官感知和响应性是实现沉浸式界面的核心，是下一代界面技术（如VR/AR、可穿戴医疗和远程机器人操作）的关键组成部分[84-87]。传统的触觉设备通常体积庞大且僵硬，难以适应皮肤，且常常在触觉反馈再现方面精度较低。因此，开发高性能的软质触觉传感器至关重要，这些传感器需要具有生物相容性，并能够提供高分辨率、精确的触觉信号[88-90]。最近的研究开发了在VR环境中增强触觉和触觉反馈的可穿戴传感器[84]。所提出的传感器，增强触觉感知和触觉反馈环（ATH-Rings），使用自供电的摩擦电和热电传感器检测手指运动和温度，同时提供振动触觉和热反馈。该设备集成了无线物联网（IoT）模块，以实现低功耗操作、手势识别和通过机器学习进行物体运动分析。为了促进用户间的互动，关于物理环境中检测到的物体的信息被投影到虚拟空间中，允许远程用户通过触觉和热反馈来体验它们。这项技术有多种应用，包括基于元界的虚拟社交网络、远程协作和康复训练。

图5 在图查看器或PowerPoint中打开

软质可穿戴手部传感器。(a) 摩擦电纳米发电机（TENG）触觉传感器的架构和机制示意图。版权所有2022年，Nature Portfolio [84]。 (b) 用于虚拟抓取的触觉反馈实现。虚拟环境中抓取行为对应的反馈以物理压力形式提供。版权所有2025年，Wiley [91]。 (c) 人类触觉神经系统的示意图。 (d) 滴状电子皮肤（DES）设计的详细结构。版权所有2024年，Nature Portfolio [92]。 (e) 驱动器阵列的顶视图和底视图与织物集成。插图显示了在施加电压时带有压力放大结构的驱动器。 (f) 未施加电压时在弯曲、扭转和拉伸状态下驱动器的照片。版权所有2023年，Nature Portfolio [88]。 (g) 紧凑型触觉反馈手套的概念。版权所有2020年，Wiley [93]。 (h) STH设备的简化示意图和爆炸视图。版权所有2023年，Wiley [94]。传统的触觉可穿戴设备在适应结构变化和单个手指的动态运动方面存在局限性，其触觉反馈范围也有限。最近的研究通过辅助设计实现了高适应性触觉效果，能够适应个体之间手指大小的差异[91]。该设备通过激活超结构形状记忆合金（mSMA）线提供基于压力的皮肤反馈和高分辨率的触觉感觉。在虚拟环境中进行各种抓取动作时有效提供皮肤反馈的能力已经得到验证[5b]。此外，通过人机交互，用户可以感知机器人的感觉。另一项研究开发了一种具有多方向液体滑动检测能力的仿生电子皮肤（e-skin）[92]。这种自供电的电子皮肤使用了复杂的电极网络设计和过桥互连策略制造[5c]。该设备能够检测水滴的动态运动，并将滴液运动转换为实时电信号以提供视觉反馈。因此，该系统能够实现方向流动警告和智能泄漏关闭控制，模仿人类神经调节功能[5d]。研究表明，这项技术可以增强机器人系统的环境感知和自主调节能力。一种集成在皮肤中的可拉伸触觉传感器已应用于人机界面（HMIs）中的触觉反馈[88]。该研究采用了与人类皮肤机械感知兼容的弹性软执行器[5e]。执行器采用电诱导的液压放大机制产生超过皮肤触觉感知阈值的压力，即使在高度敏感的区域（如 fingertips）也能有效操作。一个柔软的硅胶支柱被纳入设计中，以增强输出压力，从而提高了传递到皮肤表面的触觉反馈的清晰度（图5f）。此外，还应用了一种基于多孔材料的高灵敏度压力传感器，构建了一个双向触觉系统，该系统能够将机器人检测到的表面纹理和物体形状信息传递给用户。实验结果表明，该系统能够在不同的皮肤区域有效提供触觉反馈，表明其在机器人技术、假肢、远程医疗和虚拟环境中的应用潜力。研究人员开发了一种新方法，通过集成有机执行器和增材制造技术来制造可穿戴的触觉传感器[93]。利用各种有机材料和数字打印技术，这种研究提出了对结构设计和连接技术的改进，以解决通过多材料打印集成电子和机械功能的挑战。制造了两种类型的触觉接口——一种触觉表面和一种本体感觉手套，每种都包含一个基于液晶弹性体的柔性电子电路和执行器（图5g）。该设备证明，打印出的触觉设备重量轻且形态可塑性强，比传统的基于振动的触觉技术提供了更精确的触觉和本体感觉反馈。这项研究还指出了未来的研究方向，包括提高响应速度、降低工作温度以及提高安全性，这些都有助于开发全身可穿戴的触觉系统。当与基于视觉的渲染或计算机视觉衍生的环境信息结合使用时，柔软的可穿戴触觉传感器可以作为多模态感知接口，实现视觉-触觉的整合，从而增强虚拟环境中的感知一致性和沉浸感。另一项研究开发了一种可伸缩的、类似皮肤的冷却/加热设备，可以在虚拟环境中再现人工热感觉[94]。这种设备可以在单一结构内进行冷却和加热，并具有高达230%的可伸缩性。通过使用热电材料和可伸缩电极，可以实现快速的温度调节，它可以与手指运动追踪手套结合使用，以提供广泛的热感觉（图5h）。这使用户能够在虚拟环境中体验到诸如触摸冷啤酒瓶或热咖啡杯等交互。这样的技术对下一代可穿戴触觉传感器具有前景，并可以应用于创建更真实的虚拟体验和医疗热疗应用。

3.2 软质可穿戴手臂传感器

传统的人机界面（HMI）系统依赖于笨重且坚硬的电子设备，这限制了佩戴者的活动，并在长时间使用过程中造成不适[95]。相比之下，软质可穿戴手臂传感器由于其类似皮肤的机械灵活性，能够以高分辨率捕捉细微的手臂动作，同时具有出色的佩戴性[96, 97]。结合无线通信、实时反馈和低功耗电路系统，这些传感器扩展了其在远程控制、康复治疗和VR/AR等领域的应用范围[98, 99]。预计软质可穿戴手臂传感器将在下一代HMI中发挥核心作用，推动以人为中心的界面发展。除了运动捕捉之外，这些传感器还可以与来自虚拟角色的视觉反馈或基于视觉的意图识别系统结合，形成一个多模态感知循环，连接运动意图、视觉感知和触觉反馈。已经开发出可附着在皮肤上的软质可穿戴传感器，能够在较大的表面积上提供可编程的热感觉[98]。该系统包括薄型柔性电子设备、低功耗加热器、冷却凝胶和温度传感器（图6a）。该系统无线运行，并能与云端数据交互，实时调节温度，同时产生图案化的热感觉。实验结果表明，与传统的热反馈设备相比，该系统具有更高的能源效率和更广阔的皮肤覆盖范围。这项技术在游戏、远程感官交互、医疗治疗和物理康复等领域具有巨大的应用潜力。图6展示了软质可穿戴手臂传感器：(a) 描述了具有独立控制的热感应阵列的软质可穿戴传感器，每个模块包含柔性电路、低功耗加热器和冷却凝胶以及温度感应装置。版权所有2023年，PNAS [98]；(b) 用于机器人虚拟现实（VR）控制的柔性电子皮肤传感器的示意图。版权所有2022年，AAAS [100]；(c) 用于传输虚拟空间信息的电触觉（ET）传感器的示意图。版权所有2021年，AAAS [101]；(d) 使用PI、Ag和石墨烯墨水通过气溶胶纳米粒子打印方法构建多层结构的示意图。版权所有2020年，Nature Portfolio [95]；(e) 观察手指运动中心、实际附着方式和系统流程图的示意图。版权所有2022年，Nature Portfolio [102]；(f) 通过表面肌电图（sEMG）信号展示的高度灵活的神经肌肉传感器的照片。版权所有2025年，Wiley [103]。最近的一项研究提出了一种专为无线HMI应用设计的电子皮肤技术[100]。该系统将柔性皮肤附着传感器与软执行器结合，以实现机器人VR控制和触觉反馈（图6b）。传感器附着在手臂和手上，检测身体动作，然后通过蓝牙和Wi-Fi将这些动作转换为机器人控制信号。此外，一个利用压力传感器的反馈系统将机器人的触觉信息传回给用户。这项技术在医疗机器人的远程操作、康复辅助和VR环境控制方面显示出潜在的应用前景。一项研究开发了一种自供电的电触觉（ET）系统，强调了其作为软质可穿戴手臂传感器的适用性[101]。该系统基于摩擦电纳米发电机（TENG）和直径为0.5毫米、电极间距为15毫米的球形电极阵列，通过静电放电提供触觉刺激，而无需直接刺激皮肤（图6c）。与需要高电流和侵入性电极的传统电触觉设备不同，该系统通过非接触式放电机制提供无痛的触觉体验。可穿戴电极阵列可以附着在手臂上，设计用于检测用户动作，提供虚拟触觉感觉。这项技术在VR/AR基础上的触觉反馈、盲文学习辅助工具、智能防护服装和医疗神经刺激器方面具有潜在应用。使用纳米材料和纳米微制造技术，开发了一种软质可穿戴手臂传感器[95]。与依赖传统复杂且昂贵的微制造工艺不同，采用完全打印的方法制造了一种多层、无线且灵活的混合电子系统（图6d）。一项关键技术创新是使用了生物相容的导电石墨烯来增强皮肤粘附性和改善信号质量。这种传感器可以实时获取肌电图（EMG）信号，能够在分类手指动作和无线控制机器人手或无人机方面达到99%以上的准确率。还利用机器学习进行了电生理分析，以确定最佳传感器位置并实现高精度运动追踪。另一项研究提出了一种可附着在皮肤上的软质可穿戴传感器，能够精确检测人体运动[102]。这种超灵敏传感器利用激光诱导的裂纹结构，可以附着在手腕上，实时解析所有五个手指的动作，并且无论位置如何都能可靠地工作，这要归功于深度学习算法。当附着在骨盆上时，该传感器还可以提取步态信息，适用于健康监测、运动追踪和软体机器人技术。与需要广泛传感器网络的传统方法不同，这种方法可以使用单个传感器精确测量复杂动作。这项技术在可穿戴触觉系统、辅助机器人、人机界面和VR方面具有关键作用。开发了一种高度灵活的神经肌肉传感器，可以通过表面肌电图（sEMG）检测微妙的拇指动作[103]。该系统安装在手腕上，包含一个16通道的可伸缩传感阵列和微型无线数据采集模块，能够无线传输采集到的信号（图6f）。从手腕收集的信号通过轻量级的一维卷积神经网络（1D-CNN）进行分类，成功识别了九种不同的拇指动作。此外，还实现了用于游戏交互和照片调整的数字界面，展示了其在VR/AR平台中的潜在应用。

3.3 软质可穿戴面部传感器

软质可穿戴面部传感器可以精确检测面部表情、肌肉运动和生理信号，从而应用于医疗诊断、情感识别和人机交互（HCI）[104, 105]。传统传感器由于环境因素、佩戴时的不适以及长期使用的限制，常常面临精度下降的问题。相比之下，柔软的面部传感器能够温和地贴合皮肤，允许舒适地长期佩戴，并提高信号质量[106]。当与无线数据传输和基于AI的实时分析结合时，这类可穿戴面部传感器有望促进个性化医疗解决方案和创新界面的发展[107-109]。特别是，将面部生物信号与视觉虚拟角色和沉浸式显示器相结合，代表了多模态感知的一个典型例子，在这种结合中，视觉、生理和情感线索被共同解析，以增强人机交互。一项研究开发了一种个性化的皮肤集成面部接口（PSiFI），实现了用于情感识别的高性能多模态传感器[104]（图7a）。PSiFI利用一种可伸缩、透明且自供电的摩擦电传感器来检测面部表情和声音振动（图7b）。该系统通过结合基于蓝牙的无线数据处理和基于CNN的机器学习算法，实现实时情感识别。即使用户在佩戴口罩时也能保持高识别精度，并在VR环境中通过数字礼宾应用程序展示了其潜力。这项研究将通过情感识别增强人机交互，并推进个性化数字服务。图7展示了软质可穿戴面部传感器：(a) 代表人工皮肤集成面部接口（PSiFI）和基于卷积神经网络（CNN）的面部表情和语音识别分析流程的示意图。(b) PSiFI的无线通信方法和细节。版权所有2024年，Nature Portfolio [104]；(c) 皮肤可附着嗅觉接口的结构和应用的示意图。(d) 两种嗅觉设备的 exploded view 图解。设备1适用于皮肤集成格式，设备2适用于柔性面罩。版权所有2023年，Nature Portfolio [110]；(e) 软质头皮电子系统的示意图和照片。版权所有2021年，Wiley [107]；(f) 无线脑电图（EEG）耳机的照片及其组件的详细视图。版权所有2022年，Nature Portfolio [111]；(g) 表示灵活摩擦电水凝胶传感器（FTHS）的附着位置和基于深度学习的分类过程的示意图。版权所有2025年，Wiley [112]。VR和人机界面的最新进展推动了软质可穿戴面部传感器的研究[110]。这项研究开发了一种无线可控的、可附着在皮肤上的嗅觉接口，使用户在VR环境中体验各种气味（图7c）。该系统将超紧凑的气味发生器集成在薄而灵活的电子片上，实现快速响应时间和稳定控制气味强度（图7d）。设计用于面部或集成在类似口罩的装置中的嗅觉接口，可以应用于VR/AR、医疗治疗和情绪调节等多个领域。通过在指定距离和不同气流条件下使用商用气体检测器测量乙醇浓度，评估了气味发生器的性能。此外，还进行了基于用户的感知测试，分析在不同工作温度、距离和呼吸条件下的香气识别准确性和消散时间。实验结果表明，它在增强诸如4D电影观看、情绪调节、为残疾人士提供嗅觉信息以及沉浸式虚拟环境等体验方面非常有效。还开发了一种无线软质头皮电子系统，并应用于基于运动想象的脑机接口（BMI），允许用户通过想象特定动作来控制（107）。该系统设计用于使用高度为800 μm、基部宽度为350 μm的弹性微针电极从头皮获取准确的脑电图（EEG）信号，并通过柔性无线电路（图7e）。通过集成VR环境，该系统可以增强运动想象的信号检测并提供实时反馈。基于CNN的机器学习模型被用于实时分类EEG信号，实现对VR游戏的精确控制。实验结果显示，该系统的分类准确率达到了93.22%，优于传统的凝胶基电极。另一项研究提出了一种可穿戴脑机接口系统BACLoS，旨在增强AI驱动的决策制定[111]。该研究通过结合无线耳环式EEG传感器（e-EEGd）和类似纹身的电极，开发了一种超薄、贴合皮肤的传感器（图7f）。该传感器能够实时分析人机系统交互，增强或修改AI决策过程。此外，该研究提出了一种通过深度学习技术调整自动化AI系统行为的方法，通过分类错误相关潜势（ErrP）信号。实验结果表明，e-EEGd的噪声比商业EEG设备低8.5倍，使其在日常生活中能够实现实用的EEG测量。还有一项研究表明，面部可穿戴电子传感器可以实时检测眼球运动[39]。该系统结合了贴合皮肤的传感器与虚拟现实（VR）环境，创造了一种可穿戴的眼部治疗设备，即使在移动过程中也能使用。该设备采用了通过气溶胶喷射打印技术制造的轻便灵活的电路，生产出迹线宽度为30微米的可拉伸电极，确保佩戴时的舒适性。通过对14名参与者的实验表明，该设备能够准确检测和分类眼球辐辏运动。这项技术作为家庭治疗斜视和辐辏不足等眼疾的方法展现出巨大潜力，并且可以与基于VR的训练程序结合使用，以实现对治疗效果的进一步提升。还开发了一种柔性摩擦电水凝胶传感器（FTHS）用于收集面部表情（图7g）[112]。FTHS由PDMS层作为封装和摩擦层组成，水凝胶则用作电极。通过将这些设备贴在前额、脸颊以及眼睛和嘴巴附近的区域，可以获取面部表情信号，并利用深度学习模型进行分类。该系统能够以99.44%的高准确率识别六种基本表情，包括愤怒、厌恶、恐惧、快乐、悲伤和惊讶，并且这些表情还能通过虚拟3D化身模型直观呈现。这项工作提出了一个无需摄像头的表情信息收集平台，为评估心理健康状况或应用于虚拟远程医疗提供了潜在的实用价值。

3.4 软质可穿戴足部传感器
在虚拟环境中使用足部传感器可以显著提升步态分析的准确性，因为这些传感器能够提供用户的实时行走模式数据[113-115]。软质可穿戴足部传感器有助于个性化康复，训练师或临床医生可以根据准确的生物特征反馈调整治疗方案[116]。此外，沉浸式的元宇宙环境还能提高患者在康复锻炼中的参与度和积极性，从而改善治疗效果[117, 118]。最近的研究强调了软质可穿戴足部传感器在虚拟环境中增强步态分析和康复应用方面的潜力[119-123]。当与基于化身的视觉反馈同步时，从足部传感器获取的步态相关信号通过结合本体感觉、触觉和视觉信息，实现了多模式感知。一种集成在智能袜子中的柔性压电纺织传感器被提出用于生物特征分析[124]。该设备包含多层结构，包括高温硫化（HTV）电极层、用于压电力检测的纤维聚合物层以及袜子面料（图8a）。传感器被策略性地放置在脚后的跟部和脚尖区域，以准确检测行走过程中的脚跟着地（HS）和脚尖离地（TO）事件。该传感器的检测准确率超过了96%，且检测延迟在20.38至29.52毫秒之间。该传感器经过多次机洗测试后仍保持耐用性，其小型化设计使其更适用于实际应用环境。图8展示了软质可穿戴足部传感器的结构及其安装位置（a）；（b）低成本摩擦电智能袜子的示意图，以及基于锥台结构的摩擦电纳米发电机（T-TENG）的工作原理；（c）对比了带有锥台结构的传感器与无锥台结构传感器的感知性能；（d）集成有摩擦电纳米发电机（I-TENG）的鞋子的示意图及所获得的数据；（e）使用I-TENG传感器进行下肢康复的演示；（f）长跳动作中的摩擦电鞋垫电输出分析；（g）通过摩擦电鞋垫和人工智能算法分析步态模式。这些低成本智能袜子专为物联网（IoT）基步态分析而设计，其鞋底配备了基于纺织材料的摩擦电纳米发电机（T-TENG），包含尼龙和硅胶薄膜以及导电纺织品（图8b）。硅胶薄膜中嵌入了毫米级锥台结构的3D打印模具，提高了对步态压力的敏感性（图8c）。采用1D-CNN方法分析了佩戴智能传感器袜子的参与者的步态模式，能够高精度区分不同用户的行走方式。使用这种智能袜子的VR健身游戏通过虚拟化身（如跑步、行走和跳跃）增强了沉浸感。数据表明，增加训练天数可以提高步态模式识别的准确性。还开发了一种使用类似TENG传感器结构的设备，用于步态分析和腰部运动识别，从而帮助康复下肢和腰部[126]。鞋垫中的摩擦电纳米发电机（I-TENG）安装在脚部的两个位置，能够全面分析各种步态模式，包括脚后跟接触、脚尖接触、脚后跟抬升和脚尖抬升（图8d）。TENG传感器有效识别了包括正常行走、慢跑、爬楼梯在内的多种运动模式，此外该系统还能检测帕金森病相关的步态异常。还有一种配备四个纺织基TENG传感器的安全带，用于评估下肢运动以促进康复。结合了智能安全带和智能鞋垫的下肢康复机器人（iReGo）系统可以进行身份验证并提供个性化训练计划（图8e）。另一项研究引入了利用TENG监测正常和剪切足底压力的鞋垫[127]。通过在脚部的四个关键位置布置单电极模式TENG传感器，收集并区分了不对称输出信号，这种不对称输出有助于在动态活动（如长跳）中区分不同状态（图8f）。此外，人工智能技术使得多种异常步态模式的分类成为可能（图8g）。这种方法在运动姿势评估和步态模式康复应用中展现出巨大潜力。

3.5 用于视觉假体和隐形眼镜的软质可穿戴传感器
有视觉障碍或视网膜退化问题的人需要辅助设备来增强视觉感知[128-130]。失去感光细胞功能的患者可以使用配备光伏像素的视网膜下植入物，这些像素能将光转换为电信号以激活视网膜神经细胞。没有视觉障碍的人虽然不需要视觉假体，但他们可以通过隐形眼镜来提升视觉感知[131-134]。此外，电子隐形眼镜在扩展现实（XR）中的应用可以通过无缝地将数字信息叠加到用户的视野中，从而增强与环境的实时交互[135-137]。引入了一种利用超声波（US）响应压电阵列的视觉假体传感器，以帮助有视觉障碍的人进行视觉感知[138]。该设备包含一个柔性电路，其中压电复合材料中的压电微柱宽度为90微米、高度为180微米，柱子之间相隔20微米的凹槽，还有整流器、32像素电极阵列和防止生物流体进入的苝涂层。刺激换能器产生的超声波信号被视网膜中的压电阵列捕获，随后转换成电信号以触发视网膜细胞群的神经反应。为了验证该设备的可行性，研究人员在体外小鼠视网膜组织上进行了模式识别实验，证明了该设备恢复功能性视觉的潜力。

3.5 用于视觉假体和隐形眼镜的软质可穿戴传感器
（a）柔性压电阵列结构及其在仿生视觉假体中的感知机制示意图。版权2022，Nature Portfolio [138]。
（b）频率编码智能隐形眼镜（SCL）的示意图和照片。还对SCL的亲水性进行了超过一个月的测试。版权2024，Nature Portfolio [139]。
（c）带有红外（IR）激光指针的无线智能隐形眼镜的照片。
（d）带有眼球和成像设置的智能电致变色隐形眼镜的照片。
（e）用于全球定位系统（GPS）应用的智能电致变色隐形眼镜的示意图。
（f）智能电致变色隐形眼镜的照片及其成像设置。
（g）基于位置的多种导航指令功能的地图。版权2022，Wiley [141]。
眼动追踪技术是一种高效直观的方法，用于评估元宇宙应用中的用户意图和认知，因为它可以确定用户视觉注意力相对于机器的空间方向。开发了一种频率编码的智能隐形眼镜（SCL），用于识别眼-机器交互并监测眼球活动，如眼动追踪和闭合[139]。SCL集成了四个无芯片的被动射频（RF）标签，每个标签工作在不同的频率上，可以通过安装在眼镜上的便携式扫描频率读取器同时收集信号。该设备采用时间序列眼动追踪技术实现0.5°或更高的角度精度。该设备在眼-空间书写、与游戏和网页界面等软件的交互以及自定义眼睛命令方面有多种应用。还提出了一种在隐形眼镜中集成红外激光指针的眼动追踪隐形眼镜[140]。使用垂直腔面发射激光器（VCSEL），由于激光发散角小且光束质量高，无论眼睛如何转动都能实现高精度的眼动追踪。出于安全考虑，VCSEL以低功率运行，即使在距离眼睛几厘米处的相机也能可靠地检测到信号。通过普鲁士蓝（PB）微图案技术在铟锡氧化物（ITO）基底上实现了局部结晶，随后在120°C下进行热处理，将打印图案转化为PB。制备的PB图案在氯化钾电解质中表现出电致变色行为，基于PB的电致变色显示实现了智能隐形眼镜的功能（图9e,f）。在电压变化的环境中，PB可以转化为普鲁士白（PW），并以箭头或纹理符号的形式在各种位置显示导航方向信息（图9g）。

3.6 扩展现实环境中的视觉-触觉集成
触觉反馈与视觉感知密切相关，在物体识别、空间意识和动作规划中起着关键作用。因此，视觉-触觉交互构成了人类自然感知的基本机制。最近，这一观点催生了诸如视觉-触觉感知的概念，它通过实现视觉信息与触觉反馈之间的双向耦合，超越了传统的触觉传感器[142, 143]。视觉-触觉感知系统通常设计为通过使用摄像头、光学传感器和计算机视觉算法捕捉和分析膜变形来获取触觉信息[144]。触觉感知数据也可以在视觉领域中重构或增强，并呈现给用户。这些方法特别适用于补偿虚拟或远程环境中不完整或模糊的视觉感知，从而提高感知的一致性。此外，嵌入在机器人中的视觉-触觉感知可以传递给用户，使视觉推断出的接触位置或力分布作为局部触觉刺激呈现给皮肤。最新的视觉集成触觉平台能够在广泛的频谱范围内实现多模态感知，包括紫外线（UV）、可见光（VIS）、近红外（NIR）和中红外（MIR）波长，从而不仅在视觉上，还在热感和振动感应方面提供感知能力[145]。这种多模态感知能力对于沉浸式虚拟环境至关重要，在这些环境中，视觉-触觉感知系统的多模态功能对于整合外部视觉线索与触觉信号以及将基于视觉的感知信息转换为空间和时间调制的触觉反馈至关重要[146-148]。这些策略在涉及物理交互的模拟环境中尤为重要，例如机器人手术、远程机器人操作和康复训练，其中精确的视觉-触觉反馈支持安全的准确操作。

4 外骨骼可穿戴机器人
4.1 上肢外骨骼可穿戴机器人
开发能够实时识别用户意图的可穿戴上肢机器人至关重要，无论是基于视觉信息还是结合触觉反馈，这对于提升人机界面和在VR及AR环境中的自然沉浸感至关重要[149, 150]。最近的研究表明，外骨骼机器人提供肌肉支持，实现精确的手部运动和姿势控制，从而增强了直观的视觉反馈和交互[151-153]。此外，结合了数字孪生和元宇宙的混合外骨骼系统能够实时反映用户动作，并通过增强视觉信息实现精确控制 [154]。这项技术在医疗康复、远程操作、基于AR的训练和工业自动化中发挥着重要作用，并有潜力发展成为一种能够将人类感官感知与机械功能无缝集成的系统。这类系统本质上依赖于多模态感知，因为需要实时整合视觉信息、生物力学信号和触觉反馈，以实现自然直观的人机交互。正在开发的上肢外骨骼机器人可以提升人机界面（HMI）技术，并应用于各种领域。最近的研究提出了一种在上肢外骨骼可穿戴机器人（HUGE）中集成元宇宙环境，以提供实时反馈和物理交互 [154]。该外骨骼系统与解剖学上精确的数字孪生模型相结合，提供扭矩反馈并支持基于磁共振（MR）的远程医疗监测（图10a）。该系统的核心使用无刷直流（BLDC）电机和行星齿轮减速器来检测上肢关节的旋转角度，并与基于Unity的虚拟形象同步，以生成和传递逼真的物理力量。该系统旨在实时可视化用户动作状态，从而增强与元宇宙中教练的沟通效果，提高锻炼效果。实验结果表明，表面肌电图（EMG）传感器分析显示的运动模式与实际肌肉活动相似，而热成像技术用于验证系统的安全性。

图10：上肢外骨骼可穿戴机器人。(a) 用于元宇宙数字医疗的个性化外骨骼界面设备示意图。版权2024，Wiley [154]。(b) 集成摩擦电双向（TBD）传感器的可穿戴外骨骼系统示意图。版权2021，Nature Portfolio [155]。(c) 气动柔性肘部外骨骼及其配置示意图。版权2021，Nature Portfolio [151]。(d) 在增强现实（AR）环境中使用柔性放大形状记忆合金执行器（CASA）的可穿戴设备示意图。版权2022，Nature Portfolio [156]。另一项研究使用低成本的摩擦电双向（TBD）传感器设计了外骨骼机器人 [155]。这种外骨骼机器人能够检测肩膀、肘部和手腕的多自由度（DOF）运动。TBD传感器以最低功耗实现实时运动检测，并控制机械手臂和虚拟环境（图10b）。该传感器可在VR和机器人系统中实现直观控制，也可应用于康复和训练项目。本研究开发的外骨骼传感器具有低成本和高的能源效率，通过简化信号处理实现有效的运动跟踪，优于传统系统。一项研究设计了一种上臂外骨骼（Carry），用于辅助肘部弯曲，并证明了其在承重和搬运任务中减少肌肉活动、能耗和疲劳的有效性（图10c）[151]。Carry外骨骼利用柔性的HMI和气动执行器辅助肘部弯曲，可产生最大7.2牛米的扭矩。实验结果显示，使用Carry设备可将二头肌等肌肉的活动减少高达50%，代谢成本降低多达61%，疲劳程度减少高达99%。分析气动驱动压力与辅助扭矩之间的线性关系发现，在最大3.65巴的压力下可产生多达11牛米的肘部辅助扭矩。评估了使用单独电池和空气压缩机的完全自主系统的潜力，研究表明通过轻量化设计和高效的气动利用具有实用性。一项研究引入了多功能人工肌肉执行器，用于开发视觉增强型上肢外骨骼可穿戴机器人 [156]。该研究基于形状记忆合金（SMA）设计了柔性放大形状记忆合金执行器（CASA），以改善AR眼镜的图像焦点调节和触觉手套的触觉反馈。CASA提供的能量和输出密度高于传统电磁执行器，并设计为在紧凑外形下也能强力运行。研究团队将CASA应用于AR眼镜的焦点调节模块和触觉手套，开发出一种能够减少视觉疲劳并提供精确触觉反馈的系统（图10d）。实现了双稳态定位结构（BPS），以支持无需持续能量输入即可保持特定位置的运行。研究表明，通过优化执行器性能，可以在基于AR的视觉增强系统中提供更自然的用户体验。另一项研究提出了一种方法，其中上肢可穿戴机器人利用视觉信息识别用户意图 [150]。与基于EMG或EEG的传统检测方法不同，该研究使用以自我为中心的摄像头研究用户手部与目标物体之间的空间和时间关系。研究团队开发了VIDEO-Net机器学习模型，根据视觉信息预测用户抓取或释放物体的意图。这种方法比传统的基于传感器的方法响应更快，无需额外校准即可实现自然交互。实验结果表明，该系统在健康个体和脊髓损伤（SCI）患者中都能准确运行，响应时间比基于EMG的意图检测更快。研究表明，通过将视觉数据与其他传感模式（如EEG、EMG和眼动追踪）结合，可以进一步提升意图识别系统的性能。

4.2 虚拟空间中的虚拟形象步态运动

分析虚拟环境中虚拟形象的步态行为对于提高基于VR的步态评估和康复训练的效果至关重要。特别是基于头戴式显示器（HMD）的沉浸式VR提供了与现实世界步态分析不同的视觉感知输入，可能会改变步态速度、平衡策略和躯干活动性。这些变化表明有可能重建步态稳定性和姿势控制策略 [157-159]。此外，通过用户同步的虚拟形象传递的空间和时间线索已被证明可以有效改善老年人的步态周期和步幅长度，有助于开发旨在减少步态衰退和跌倒风险的个性化步态训练程序 [160-162]。基于虚拟形象的步态分析相比传统的半沉浸式系统提供了更强的沉浸感、动机和个性化反馈，并能够对步态行为进行精确的定量评估。这种方法在康复之外具有更广泛的应用潜力，包括健康监测、运动表现和人机交互 [163, 164]。VR作为神经疾病患者（如帕金森病和中风）步态康复的沉浸式工具正受到关注 [165]。通过控制虚拟形象的步态，可以精确引导或分析用户的步态，无论是通过实际行走还是原地行走（WIP）技术。特别是在VR中，虚拟形象的运动提供了视觉运动反馈，有助于改善步态对称性和效率。视觉引导的操作——如基于虚拟形象的实时反馈——帮助步态不对称的患者实现更平衡的行走。基于虚拟形象的反馈系统可以实时反映和调整用户动作，实现个性化的步态分析和康复。这类技术提供了类似于实际行走的多感官集成体验，并已被证明可以促进神经学习和通过虚拟形象驱动的运动进行纠正。最近的一项研究分析了基于VR的视觉反馈对使用机器膝关节外骨骼期间的步态适应的影响 [166]。在虚拟环境中，参与者通过实时可视化外骨骼辅助扭矩与实际运动之间的误差来进行指导。为了最小化这种误差，参与者使用方向箭头和动画动作制定了步态策略。接受视觉反馈的组在步态效率上显示出显著提高，平均代谢成本降低了0.18 W/kg。相比之下，没有视觉反馈的组表现出行走成本的增加。这些发现突显了虚拟环境中视觉辅助的有效性，表明视觉引导的步态调节可以提升现实世界的行走效率。

图11：虚拟空间中的虚拟形象步态运动。(a) 用于实施机器膝关节外骨骼的视觉引导训练装置示意图。版权2022，Nature Portfolio [166]。(b) 在实验室中使用头戴式显示器和反光标记的行走演示。版权2023，Springer [157]。(c) 用于提高行走速度和动机的下肢外骨骼训练方法的实验协议。版权2024，BMC [167]。另一项研究分析了在基于HMD的VR环境中行走与在真实世界环境中行走对动态稳定性和姿势调节的影响 [157]。HMD由于视觉输入和感官反馈之间的差异增加了躯干侧向速度的变异性，导致行走时姿势不稳定。因此，在VR环境中需要更积极的平衡控制。因此，提供更高视觉和感官反馈一致性的技术（如MR或XR）可能更适合康复。一项研究探讨了在VR环境中通过虚拟形象行走任务学习可穿戴下肢外骨骼的可能性 [167]。VR系统评估了在不同条件下的基于虚拟形象的行走表现，包括第一人称（1PP）和第三人称（3PP）视角，无论是否有实时反馈（图11c）。尽管所有参与者都成功学会了任务，但没有一种视角和反馈的组合能在所有子任务中始终提高表现。最佳组合取决于具体的子任务——例如步态启动、重量转移或骨盆推进——并且报告了较高的虚拟沉浸度。这些发现表明，将复杂的步态任务分解为单独的部分并在特定条件下进行训练可能更有效。一项研究分析了基于VR的跑步机训练对多发性硬化症（MS）和中风患者步态康复的 effectiveness [158]。在这项研究中，用户从虚拟形象的角度沿着虚拟路径行走，他们的步态实时同步，并由提供反馈的虚拟伴侣（一只狗）引导——在沉浸式VR中行走显著提高了步态速度、沉浸感和动机，优于非VR或基于显示器的半沉浸式系统。大多数参与者——89%的健康个体和71%的患者——认为沉浸式VR是最有利的条件。健康个体和患者都更喜欢基于HMD的步态训练。训练后的反馈表明时间过得很快，动机和沉浸感增强了。HMD系统通过提供视觉动机和游戏化元素增强了用户的参与度，培养了自主感，提高了行走的意愿。因此，沉浸式VR作为一种实用的步态分析和动机增强工具显示出广阔的应用前景。

5 沉浸式元宇宙和AI应用

沉浸式元宇宙技术和AI的融合正在推动VR、AR和数字孪生等应用中新型的人机交互形式 [1, 168, 169]。这种集成为用户提供了更深刻的沉浸感和高度定制的体验。特别是，可穿戴传感器和自供电的摩擦电平台实现了实时生物信号采集。结合基于AI的分析，这些技术使得更准确地预测和诊断个人的健康状态成为可能。这些进步为创新医疗和康复开辟了新的可能性，引领了传统医疗范式的变革 [125, 44, 170]。AI能够实时处理和分析大量收集的数据，使元宇宙环境中的互动变得越来越智能。因此，下一代服务（如远程医疗咨询、情感识别和行为预测）的发展正在加速 [171, 172]。在这种趋势下，沉浸式元宇宙和AI应用的进步正在成为构建未来数字社会的基础，其必要性和重要性预计将进一步增加。最近的研究引入了一种结合全息显微镜和光学捕获技术的VR界面 [173]。该系统包括VR头盔、手部追踪设备、物理显微镜和光学组件以及控制计算机（图12a）。用户通过VR头盔观察微观环境的实时三维重建。手部追踪数据由全息引擎分析，计算出全息图以生成光学陷阱，使用户能够直接捕捉和操作微观颗粒或细胞。这种集成系统表明，它通过实时3D成像和控制技术为用户提供了前所未有的与微观世界的沉浸式交互。这种方法克服了传统2D界面的限制，为沉浸式科学和研究教育开辟了新的可能性。

沉浸式元宇宙和AI应用。(a) 用于全息光学捕获的虚拟现实（VR）界面示意图。全息和VR引擎相互连接，实时观察到微观环境并进行3D渲染。版权所有 2021，Nature Portfolio [173]。 (b) 使用多层感知器（MLP）神经网络的智能非接触式手势识别系统操作流程的示意图。版权所有 2022，Wiley [176]。 (c) 摩擦电智能袜子的数据采集过程。 (d) 预测五种参与者步态模式的混淆矩阵。 (e) 用于步态模式分类的一维卷积神经网络（1D-CNN）模型结构图。版权所有 2020，Nature Portfolio [125]。人机交互研究通过VR/AR技术和基于AI的控制系统在康复和辅助技术方面取得了进展 [174, 175]。一个例子是开发了一个使用EMG模式分类的沉浸式AR系统来进行假肢控制训练 [170]。在这个系统中，用户通过头戴显示器（HMD）观察叠加在真实环境中的增强虚拟假肢手和物体来执行训练任务。用户的EMG信号使用线性判别分析（LDA）进行实时分析，并转化为假肢手的控制指令。此外，来自虚拟假肢的传感器信息被处理以在AR环境中提供视觉反馈，通过闭环控制结构促进力量调节学习。实验结果表明，在虚拟环境中获得的控制技能成功地转移到了实际使用假肢时的表现提升上，这表明该系统可以提高康复训练的沉浸感和有效性。一项研究使用基于深度学习的多层感知器（MLP）神经网络和摩擦电无接触传感器区分了不同的手势（图12b）[176]。虽然传统系统通常需要通过接触皮肤来检测运动，但该系统可以利用人类手指上的自然电荷来分析运动的变化而无需接触。MLP神经网络基于PyTorch框架构建，它使用过滤、采样、积分和规范化的信号对手势进行分类，最终显示出96.5%的高准确性。这项研究展示了一种非接触式生物样本收集应用，可能为非接触式公共设施界面和VR环境应用提供新的机会。一种智能的人机交互设备被开发出来，可以准确检测手部运动，并在元宇宙环境中提供逼真的反馈 [177]。所开发的手套使用TENG传感器来检测多维手部运动，并在VR/AR环境中再现这些运动，同时通过与虚拟对象的交互通过压电执行器提供触觉反馈来增强沉浸感。此外，该系统可以通过在物体抓取过程中分析复杂的传感器信号模式来准确识别各种物体。研究表明，这种多功能集成智能手套是一种低成本、高性能的人机交互解决方案，其在VR/AR游戏、远程控制和虚拟培训等广泛元宇宙和AI应用中的潜力得到了突出。AI技术在分析来自可穿戴传感器的复杂时间序列数据方面的实际应用在一个关于使用基于织物的摩擦电智能袜子的步态分析的研究中得到了体现 [125]。在这项研究中，通过滑动窗口方法对足底TENG传感器捕获的动态压力变化数据进行了分割，并使用1D-CNN进行了分析（图12c）。实验结果表明，无需手动特征提取，AI模型就能学习信号模式的微妙差异，并在识别五名初始参与者时达到了96%的准确性（图12d,e）。这些发现表明，AI可以使用最小的传感器配置有效地分类个体特征或行为模式，突显了其在物联网环境中的智能应用潜力，如个性化服务、活动监控和健康异常的早期检测。为了实现真正沉浸式的元宇宙体验，研究人员和开发者越来越关注整合超出视觉、听觉和触觉的感觉模态。特别是，人们越来越有兴趣将嗅觉信息融入VR和AR系统，以进一步增强沉浸感 [178]。嗅觉与记忆和情绪密切相关，在虚拟环境中添加嗅觉反馈可以显著增强用户的沉浸感和真实感。最近的进展集中在开发微型化的多通道气味发射阵列上，这些阵列能够以受控方式释放气味分子，以克服传统嗅觉再现技术的局限性。研究表明， such technologies 有潜力在VR游戏、教育和临床治疗等应用中实现新的沉浸式体验维度。尽管精确编码和再现嗅觉信息仍需AI技术的进一步发展，但这些多感官接口研究代表了向未来元宇宙实现完全感官沉浸的关键一步。

6. 未来展望

将增强视觉的传感器集成到元宇宙和AI应用中的技术进步将推动人与数字环境互动的持续改进。这些技术有望在医疗保健、教育和工业等多个领域取得显著进展。然而，仍存在各种实际挑战和障碍，这些挑战为提升沉浸式体验提供了机会。在这些挑战中，长期的生物相容性和实时数据处理是直接影响增强视觉的可穿戴系统可靠性、响应性和可扩展性的关键技术瓶颈。正如前文所述，最近的增强视觉的可穿戴系统越来越多地整合了视觉、触觉、运动和生理信号，强调多模态感知是一个基础要素，而不仅仅是一个未来的挑战。

6.1 多模态感知能力

多模态感知指的是传感器能够同时从多种模态（如视觉、听觉、触觉、嗅觉甚至味觉）收集和处理信息的能力 [179-181]。信息融合可以增强在元宇宙中创建沉浸式体验的能力，用户可以更自然、更直观地与虚拟环境互动。此外，在训练模拟等应用中，多模态感知使得需要整合各种信息类型的复杂任务成为可能。然而，多模态平台通常会导致设备总成本增加，并由于元宇宙中的大量数据而对其实际应用造成重大挑战 [182, 183]。此外，从材料角度来看，附着在人体各个部位的多模态传感器容易在长时间皮肤接触下逐渐退化、吸湿和机械疲劳，这可能导致感知漂移并影响长期生物相容性。为了缓解这些问题，出现了一些新的方法，包括多层封装、表面修改以及使用生物惰性或自愈材料来抑制退化速率并保持传感器的长期稳定性能。因此，克服多模态感知平台的限制需要跨材料、设备设计、制造过程和数据处理技术的创新。传感器的微型化及其集成到单个单元中可以提高多模态平台的效率和功能，并通过高效的制造过程降低成本。整合AI技术和自适应算法使多模态感知平台能够根据用户互动和动态环境因素不断优化其能力。这种集成优化了实时性能，使系统能够有效响应不同的外部条件和用户行为。然而，实际上实时数据处理仍然具有挑战性，因为增强视觉和多模态的数据流通常依赖于计算密集型的AI模型；推理延迟和通信开销可能会累积，降低闭环响应性。针对性的解决方案包括边缘AI部署以减少往返延迟，通过剪枝/量化实现轻量级模型设计，以及在保持决策准确性的同时最小化数据传输的传感器内计算范式。

6.2 真实显示沉浸感

当前的VR头显显示通常存在几个视觉限制，包括有限的分辨率、受限的视场（FoV）、延迟和色彩范围 [14, 184]。真实显示沉浸感是VR体验的一个关键参数，需要不断的改进。真实显示沉浸感对于有效地将增强视觉的传感器集成到元宇宙模型中也至关重要。显示设备直接影响用户在虚拟环境中的感知真实感，因此对整体满意度有重大影响。用户将越来越多地寻求真实而引人入胜的虚拟互动，而视觉显示的保真度可以显著提升这种吸引力。高质量的视觉保真度对于创建促进更深层次情感联系和增强用户在虚拟环境中满意度的沉浸式体验至关重要。最近在VR头显和透视AR系统中使用了微发光二极管（μLED）和微有机发光二极管（μOLED）显示模块 [185-188]。μLED和μOLED的高填充因子可以提高视觉清晰度，实现自然感知。μOLED的响应时间快至传统LCD面板的10倍，视场（FoV）宽达20%。真实显示沉浸感技术将通过显示设备和视觉内容的创新继续发展，为用户提供更丰富的视觉信息和沉浸式体验。

表1. 增强视觉人工传感器的性能比较。分类

| 类型 | 材料 | 光学/感知特性 | 特点 | 参考文献 |
| ---- | ---- | --------- | -------- | ------- |
| 人眼 | 视网膜 | - | - | [55] |
| 视网膜 | Au/PI, PDMS | - | 暗电流：1.05 nA | 光电流：102 nA | 像素填充因子约78% | [199] |
| 可调焦虹膜 | 液晶弹性体 | - | 开放时透射率70%；关闭时透射率10% | 光响应 | [50] |
| 可调镜头 | PDMS | - | 物体距离变化：最高21%；视场（FoV）：40° | 眼球结构 | [54] |
| 其他动物眼睛 | 鸟眼 | PDMS, 钙钛矿光电探测器 | 运动检测能力提高3.6倍 | 中心视觉 | [57] |
| 猫眼 | 带银光电探测器的硅 | 视场（FoV）：16°；物体识别准确率：94.44%（垂直孔径），88.8%（圆形孔径） | 伪装识别 | [60] |
| 雀鲷鱼眼 | 硅纳米棒光电二极管阵列 | 视场（FoV）：120°；焦深（DoF）：20 cm | 单中心鱼眼镜头 | [61] |
| 蟹钳鱼 | Prepolymer（clear flexTM 50），硅光电二极管阵列 | 视场（FoV）：300°（水平），160°（垂直） | 梳状图像传感器阵列 | [200] |
| 昆虫眼 | 蜻蜓 | SZ2080 | 焦深（DoF）：360 μm（球形镜头），705 μm（对数镜头） | 飞秒激光双光子聚合 | [75] |
| 蜻蜓 | SiO2, 金，Ge基板 | 单像素信噪比（SNR）：56 dB | 折射光子眼 | [201] |
| 强盗蝇 | 钙钛矿纳米线 | 视场（FoV）：220°；帧率25Hz | 小孔阵列 | [202] |
| Xenos peckii | Black SU-8, AZ9260 | 视场（FoV）：73°；MTF50：129 cycles?mm?1 | 阻光结构 | [77] |
| 跳蛛 | 二氧化钛（TiO2） | 测量深度偏差：5% | 元镜头 | [203] |

表2. 虚拟环境应用概述。沉浸式应用

| 传感单元 | 特点 | 编程接口 | 参考文献 |
| -------- | ------- | ----------- | -------- |
| 摩擦电智能袜子 | 虚拟现实（VR）健身游戏 | Unity | [125] |
| 触觉反馈环 | 弹钢琴，多模态感知 | - | [84] |
| 无线电动触觉传感器 | 运动，虚拟触觉体验 | Unity | [89] |
| 生物成像 | 手部跟踪设备 | 全息光钳 | Fiji, Unity | [173] |
| 手控器 | 脑细胞分析 | Fiji, Arivis VisionVR | [204] |
| 外科指导和训练 | 光学跟踪系统 | 外科AR导航 | VTK, Geomagic Control X | [205] |
| 色彩和深度传感器 | 外科远程指导平台 | Unity, Visual Studio | [206] |
| 康复 | HTC Vive追踪器，惯性测量单元（IMU） | 虚拟行走训练，用于感觉运动障碍 | Unity, SteamVR插件 | [167] |
| 无线肌电图（EMG）传感器 | 假肢训练，用于肢体丧失 | Unity | [207] |
| 上臂动力外骨骼 | 解剖学数字孪生模型 | Unity | [154] |
| 下肢外骨骼 | 虚拟多相流压力 | Unity | [208] |
| 动力外骨骼 | 通过镜像运动技巧恢复 | Unity | [209] |
| 教育 | 移动手机 | 科学出版物上的增强数据 | Unity | [210] |

6.3 适用于多种应用的广泛连接性

将设备限制在单一领域会在进行到其他领域时带来显著的挑战和不便。因此，迫切需要具备跨多个领域的连接扩展性。元宇宙技术超越了物理Limitations，增强了社交网络和教育等现实世界活动。例如，元宇宙环境可以提供虚拟自然环境、虚拟办公室、沉浸式游戏体验和商业解决方案 [189-191]。提供给用户的服务的可持续性对于元宇宙的增长至关重要，用户友好的界面、不间断的连接性和高可用性是关键组成部分。开发先进的增强视觉的传感器技术和无缝通信对于满足这些标准至关重要。此外，整合AI和数据分析可以进一步增强用户在元宇宙中的参与度和个性化。这种适应性通过实现技术在各种应用中的无缝集成来提升用户体验并促进创新。

6.4 人工智能创建的虚拟视频

人工智能创建的虚拟视频可以提供高度个性化的体验，实时根据个别用户的偏好和行为调整内容 [192-194]。最近，通过文本提示生成视频和图像的能力已经出现，使用户能够以惊人的即时性修改他们理想的环境。具体来说，这种方法通过来自广泛训练数据的直观文本命令，实现具有定制视觉元素（包括手势、背景和颜色方案）的视频创建。此外，AI系统可以模拟各种事故场景和决策过程，从而提高训练应用的有效性。尽管在创建无瑕疵和无缝的视频和环境方面仍存在限制，但技术进步有望克服这些不自然的限制。这一技术进步将使得视觉内容的快速定制和适应成为可能，从而打造更加互动和吸引人的用户体验。

6.5 神经接口与沉浸式现实的结合

未来，视觉增强传感器的发展将与神经控制接口（NCIs）或脑机接口（BCIs）与XR技术的整合紧密联系在一起，这将为虚拟环境中的沉浸体验提供新的连接方式[195-198]。NCIs和BCIs能够实现人脑与数字系统之间的直接通信，使用户能够通过思维与虚拟环境进行互动。尽管这些技术前景广阔，但同时也面临伦理挑战，包括隐私保护、认知负担以及长期使用的安全性问题。与此同时，XR技术能够创造出数字化操控的真实感的沉浸式体验。这些技术有可能为行动不便的人带来新的体验，例如通过控制虚拟化身来执行某些动作，从而以之前难以实现的方式促进他们与数字环境的互动。此外，将NCIs或BCIs与视觉增强传感器结合使用，还可以增强认知训练和康复的效果，让患者在治疗环境中参与各种活动，以提高认知功能并促进康复。

7 结论性评论

视觉增强传感器、元宇宙和人工智能的进步所带来的变革性影响，促进了物理世界与虚拟世界之间的互动。仿生人工视觉系统通过模仿各种生物的独特视觉能力，为克服人类的视觉限制提供了有前景的解决方案。可穿戴设备（包括传感器和外骨骼）将人类的运动与虚拟环境连接起来，利用生物力学数据丰富沉浸式体验。这些技术结合了多模态反馈和人工智能驱动的优化机制，以提高感知的真实感和用户的认知参与度。本综述还重点介绍了视觉增强传感器在元宇宙中的最新技术进展及其潜在应用，强调了它们在提升视觉沉浸感方面的重要作用。此外，视觉增强传感器可以在家庭医疗保健、教育体验以及元宇宙和人工智能框架下的工业应用等多个领域带来重大变革。

致谢

本研究得到了韩国国家研究基金会（NRF）基础科学研究计划的支持，该计划由教育部资助（项目编号：RS-2024-00347889）。本研究还得到了韩国信息通信技术规划与评估研究所（IITP）在元宇宙支持计划下的支持，该计划旨在培养顶尖人才（项目编号：IITP-2024-RS-2024-00425383），由韩国政府科学技术信息通信部（MSIT）资助。此外，本研究还得到了韩国贸易、工业和能源部（MOE）资助的工业战略技术发展计划的支持（项目编号：RS-2024-00418621）。

利益冲突

作者声明没有利益冲突。

数据可用性声明

作者无需报告任何与数据相关的问题。