跨现实（Cross Reality）系统的演进与未来：从感知融合到数字孪生

《IEEE Pervasive Computing》：Defining a New Cross Reality

本期特刊聚焦跨现实（Cross Reality）技术，探讨如何融合VR/AR/MR、可穿戴设备、物联网及AI，解决物理与虚拟世界无缝交互的挑战。研究涵盖了从手术训练（SurgiKIAR）、神经退行性疾病评估到地球环境监测等多个主题，提出了创新框架与应用，推动了集成系统的发展与用户体验的丰富，为构建下一代数字孪生（Digital Twin）和混合现实空间奠定了基础。

　　

十六年前，当IEEE Pervasive Computing首次推出关于“跨现实环境”的特刊时，它描绘了一个将无处不在的传感器/执行器网络与沉浸式虚拟世界融合的愿景，试图构建一个连接物理与虚拟现实的、无缝的电子“神经系统”。这一概念深受科幻经典（如Verner Vinge的《真名实姓》）的启发，旨在扩展人类感知与互动，超越传统的“此时此地”，重新定义“存在”的意义。然而，在2009年，跨现实系统大多依赖于实验室等受限环境中专门部署的传感器网络，并与定制的增强现实系统及如Second Life等初生的共享虚拟世界环境相连。

时光荏苒，自2009年那期特刊问世以来，普适计算经历了指数级增长。如今，网络化的多模态传感器无处不在，低成本平台以及虚拟现实（VR）、增强现实（AR）、混合现实（MR）的共享框架广泛普及。“跨现实”已成为常用术语，而在2009年时在该领域几乎无人知晓的“数字孪生”概念，如今已跨领域地被常规采用。混合现实空间中的“居民”也呈现出多样性，从人类（完全或部分沉浸/表征）到人工智能系统。正如我们在普适计算（Ubicomp）诞生之初所见到的那样，各行各业正试图为其打造品牌化的“方言”，以在这场兴衰交替的数字“淘金热”中满足自身利益。

这个新时代的跨现实仍然关注一个统一的空间，其中VR/AR/MR与可穿戴及环境/普适技术相结合，作为分布式传感器数据与物理体验的关键连接器，但如今，它们与人工智能（AI）协同作用。尽管在许多相关领域取得了显著进展和频繁突破，但在创建能够提供无缝交互和丰富用户体验的集成系统方面，仍然存在关键挑战。同样，从个体人类功能和行为到完整的镜像世界及其应用的、逼真的数字孪生表征，仍是具有突破性潜力的开放性科学问题。因此，本期特刊扩展了最初的愿景，探索了影响跨现实系统的最新发展、当前研究和未来方向。

为了证明该主题的时效性，本期特刊收录了七篇论文，提供了从软件框架到医学和太空探索应用的互补性视角。

本期特刊的前两篇论文探讨了混合现实和虚拟现实技术的进步如何重塑人类体验。第一篇论文《工作场所中扩展现实的伦理考量》通过系统回顾39项研究，为负责任和包容性的XR部署提供了路线图。论文《跨现实生活方式：通过多平台元宇宙整合物理与虚拟生活》介绍了一个涵盖内容设计、平台基础设施和设备基础设施的技术框架，以指导集成元宇宙应用的创建。

接下来的三篇论文提出了推动跨现实应用发展的新颖框架和方法。论文《SurgiKIAR：一个用于改进手术训练的增强现实框架》介绍了一个混合现实系统，该系统将术前3D解剖模型与实时腹腔镜视频集成，以增强手术精度、个性化指导和学员教育。《用于神经退行性疾病的混合现实系统：设计、实施与用户评估》的作者研究了一个包含AR和传感器的混合现实系统的可用性，以促进神经退行性疾病的评估。论文《MetaGadget：一个将物联网集成到商业元宇宙平台的可访问框架》介绍了一个将物联网设备连接到VR/AR系统的框架，并利用了其在原型设计和训练中的应用。

本期特刊的最后两篇论文视野更为广阔，着眼于我们逐步离开地球的进程。《使用跨现实VR平台和卫星地球观测的全局到局部决策智能》探讨了如何在混合现实系统中整合来自卫星和地面资产的传感器数据，以形成一个用于在不同尺度上监测环境和气候变化的“地球任务控制中心”。随后的论文《利用多模态传感和游戏引擎创建陆地行星模拟的沉浸式数字孪生以进行虚拟探索》展示了将动画嵌入式传感器数据与处理后的图像相结合的技术，用于月球和行星探索。

技术革命、市场动态和公众接受度将在未来几年迅速将跨现实塑造成新的形态。像这样旨在定义人类感知和与世界互动未来的概念，可以决定我们将成为什么样的人或物的本质。对于本期特刊，我们从16年多前的第一期跨现实特刊中汲取了灵感。想象再过16年，这样的文集将包含哪些主题，至少可以说，是一件令人费解的事情。我们 definitely need to jack in and hold on for what promises to be a wild ride!

为了开展研究，研究人员主要运用了多种关键技术方法。这些方法包括：1）构建集成软件框架，用于连接虚拟现实（VR）、增强现实（AR）、混合现实（MR）系统与物联网（IoT）设备和传感器网络；2）利用多模态传感技术（如卫星遥感、地面传感器、可穿戴设备）采集物理世界数据；3）应用人工智能（AI）算法进行数据融合、分析和个性化指导；4）基于游戏引擎开发沉浸式数字孪生（Digital Twin）和虚拟环境；5）通过用户研究和方法评估系统可用性和有效性。研究涉及的样本或数据来源包括医疗手术场景、神经退行性疾病患者评估、地球观测卫星数据以及行星地表模拟环境等。

研究结果

跨现实技术框架与应用探索

本期特刊收录的七篇论文从不同角度展示了跨现实技术的研究成果。论文A1通过对39项研究的系统回顾，为工作场所中扩展现实（XR）的伦理部署提供了路线图，强调了负责任和包容性设计的重要性。论文A2提出的多平台元宇宙框架，通过整合内容设计、平台和设备基础设施，为实现物理与虚拟生活的无缝集成提供了技术基础，指出了跨现实生活方式（Cross-Reality Lifestyle）的实现路径。

混合现实在专业领域的精准赋能

论文A3介绍的SurgiKIAR系统，将术前3D解剖模型与实时腹腔镜视频整合于混合现实环境，显著提升了手术训练的精度和个性化指导水平，为外科教育提供了创新工具。论文A4则针对神经退行性疾病评估，设计并实施了包含AR和传感器的混合现实系统，并通过用户评估证实了其可用性，为疾病管理提供了新的辅助手段。

物联网与元宇宙的集成创新

论文A5提出的MetaGadget框架，解决了将物联网设备便捷地集成到商业元宇宙平台的挑战。该框架降低了技术门槛，使得在原型设计和训练等场景中快速构建集成应用成为可能，推动了物联网与VR/AR系统的深度融合。

从全球到地外的跨尺度环境感知

论文A6探索了利用跨现实VR平台整合卫星与地面传感器数据，构建“地球任务控制中心”（Earth Mission Control）的方法。该系统能够支持从全球到局部不同尺度的环境与气候变化监测与决策。论文A7进一步将视野扩展至地外探索，演示了利用多模态传感和游戏引擎技术，为月球等行星模拟环境创建沉浸式数字孪生（Digital Twin）的方法，为虚拟行星探索提供了新范式。

研究结论与意义

本期特刊的研究表明，跨现实技术正处于一个快速演进和深度融合的关键时期。当前的研究不仅延续了十六年前将物理与虚拟世界无缝连接的愿景，更在人工智能、物联网、低成本VR/AR/MR平台广泛普及的新背景下，将其推向了更广阔的应用领域和更深刻的科学问题层面。研究成果涵盖了从底层软件框架、伦理考量，到医疗健康、环境监测乃至太空探索的具体应用，充分展示了跨现实技术的巨大潜力和跨学科特性。

然而，研究也指出，尽管取得了显著进展，在创建真正无缝交互和提供丰富用户体验的集成系统方面仍面临挑战。同时，构建从个体行为到复杂世界规模的逼真数字孪生，仍是具有突破性潜力的开放科学问题。技术革命、市场力量和公众接受度将继续塑造跨现实的未来形态。这些旨在重新定义人类感知和交互模式的概念，其发展将深刻影响未来社会和人机关系。本期特刊既是对过去十六年发展的总结，也是对未来研究方向的展望，预示着跨现实技术将继续是一场充满机遇与挑战的“狂野之旅”。