《IEEE Access》：Perceptual Issues and an Improvement Method for User Perspective Rendering in Augmented Reality
编辑推荐：
摘要：增强现实（AR）通过将计算机生成的内容叠加到物理世界之上，实现了实时的交互体验。在手持移动增强现实中，场景通常是从后置摄像头视角而非用户实际视点进行渲染的，这引入了视角不匹配并降低了视觉可信度。为解决这一问题且无需额外硬件，研究人员提出了一种实时移动增强
摘要：增强现实（AR）通过将计算机生成的内容叠加到物理世界之上，实现了实时的交互体验。在手持移动增强现实中，场景通常是从后置摄像头视角而非用户实际视点进行渲染的，这引入了视角不匹配并降低了视觉可信度。为解决这一问题且无需额外硬件，研究人员提出了一种实时移动增强现实方法，该方法利用前置摄像头进行人脸追踪以估计用户视点，并基于单应性重投影矩阵对后置摄像头背景进行重投影。研究人员进行了两项受控用户研究，以定量评估在（i）尺寸估计和（ii）深度估计任务中的感知性能。结果表明，与传统的设备视角渲染相比，所提出的用户视角重投影显著改善了尺寸感知和视觉对齐。然而，在评估的基于标记的设置下，未观察到深度感知的一致改善，这凸显了当运动视差等深度线索受限时平面重投影的局限性。总体而言，研究结果证明头部耦合的用户视角重投影可以提高移动增强现实中的感知一致性，特别是对于尺寸关键型任务。与主要关注渲染技术或交互性能的先前的工作不同，本研究提供了受控的感知分析，将由视点引起的尺度失真与深度相关线索分离开来。在这个意义上，本项工作的贡献不仅在于算法，还在于感知层面，为移动增强现实中用户视角渲染何时以及为何能改善空间感知提供了实证见解。
**增强现实中用户视角渲染的感知机制与实证评估解读**
**研究背景与问题阐述**
增强现实（AR）技术旨在将虚拟信息与物理环境无缝融合，从而提升用户的感知与交互能力。随着移动设备的普及，移动增强现实（MAR）已广泛应用于教育、导航及娱乐等领域。然而，当前大多数手持移动 AR 系统遵循“魔镜”范式，即通过设备后置摄像头捕捉现实世界并叠加虚拟内容。这种模式通常采用设备视角渲染（Device Perspective Rendering, DPR），即从摄像头视点渲染场景。由于摄像头与用户眼睛之间存在物理位移、视场角（FOV）差异以及手持角度偏差，导致用户实际视点与渲染视点之间存在根本性的不匹配，即“视角不匹配”问题。这种不匹配会引发透视畸变，导致虚拟物体在尺寸、对齐方式及空间一致性上出现偏差，进而降低真实感并可能损害用户表现。尽管用户视角渲染（User Perspective Rendering, UPR）被认为能通过模拟“透明玻璃”体验来缓解此问题，但现有研究多集中于渲染算法本身或整体任务性能，缺乏在受控条件下对尺寸感知和深度感知等具体感知维度的独立量化分析。此外，现有的 UPR 解决方案往往依赖额外的深度传感器或专用硬件，限制了其在普通消费级移动设备上的普及。因此，开展一项仅基于软件、利用现有前后置摄像头即可实现的实时 UPR 研究，并深入剖析其在不同感知维度上的效能边界，具有重要的学术价值与应用意义。本研究发表于《IEEE Access》，旨在填补这一空白。
**关键技术方法**
为开展此项研究，研究人员设计并实现了一套基于纯软件方案的实时移动 AR 系统。首先，研究利用前置摄像头结合 Banuba SDK 进行实时人脸追踪，获取用户面部的三维位置坐标（左右、上下及远近位移），并引入主视眼近似算法（Dominant-Eye Approximation），根据用户主视眼位置（左眼或右眼）及瞳距（IPD）的生理常数估算精确的用户视点坐标。其次，系统采用 Vuforia SDK 基于后置摄像头流进行图像目标追踪以建立 AR 坐标系。核心创新在于构建了一个基于单应性（Homography）的重投影矩阵，该矩阵根据估算的用户视点动态调整后置摄像头的投影参数，将原本以摄像头为中心的图像重投影为以用户视点为中心的图像，从而实现视角的实时校正。实验选用 Samsung Galaxy Tab S8 平板电脑作为硬件平台，在受控的室内环境中，通过固定设备支架消除手持抖动干扰，分别针对尺寸估计和深度感知两个维度设计了定量用户实验，以对比 UPR 与传统 DPR 的感知差异。
**研究结果分析**
**尺寸估计实验结果**
在尺寸感知任务中，研究人员要求参与者调整虚拟画作的尺寸以匹配现实中的参考画作。实验结果显示，传统的设备视角渲染（DPR）存在系统性的尺寸高估偏差，即用户倾向于将虚拟物体感知得比实际更大。相比之下，用户视角渲染（UPR）显著修正了这一感知失真，使得用户的尺寸估计值在所有测试条件下均更接近真实参考值。统计分析表明，UPR 条件下的尺寸估计误差显著低于 DPR 条件（p<0.05），证实了基于视点的重投影能有效补偿因摄像头与眼睛位置偏移导致的尺度畸变，提升了虚拟内容与现实背景的视觉对齐度。
**深度感知实验结果**
在深度感知任务中，参与者需判断虚拟物体在深度方向上的位置。实验结果表明，在基于标记（Marker-based）且缺乏运动视差和遮挡线索的受控环境下，UPR 并未表现出相对于 DPR 的统计学显著优势。虽然 DPR 的平均绝对误差数值略低，但差异微小且无统计意义（p > 0.05）。这一发现揭示了平面单应性重投影的局限性：当虚拟物体刚性锚定于图像目标且缺乏动态深度线索时，仅校正视点不足以显著提升深度分辨能力。
**总结与讨论**
本研究通过严格的受控实验表明，用户视角渲染（UPR）在提升移动 AR 的感知一致性方面具有显著效果，但其益处主要体现在尺寸感知和视觉对齐上，而非深度感知。DPR 导致的系统性尺寸高估偏差可通过 UPR 有效消除，这对于室内设计、远程协作等对尺寸敏感的应用场景至关重要。然而，深度感知的改善可能依赖于运动视差、遮挡处理等更丰富的空间线索，而非单纯的视点几何校正。本研究的局限性在于实验环境相对简化且依赖图像目标锚定，未来工作将探索在复杂动态场景及 SLAM 系统中结合 UPR 与更多深度线索的混合策略，以进一步提升空间感知的准确性与鲁棒性。总体而言，该研究不仅提供了一种无需额外硬件的 UPR 实现方案，更从感知心理学角度阐明了视点校正的作用机制与边界，为移动 AR 系统的优化设计提供了重要的实证依据。
