《Visual Informatics》：Bridging human perception and virtual reality: Toward a vision-oriented framework for immersive displays
编辑推荐：
虚拟现实（VR）头戴式显示器（HMD）和视频透视（VST）系统中的视觉清晰度通常通过面向硬件的规格来描述，包括面板分辨率、每度像素数（PPD）以及“4K”或“8K”等消费者标签。尽管这些描述符是有用的切入点，但它们仅部分反映了用户实际感知到的内容。感知细节由渲
虚拟现实（VR）头戴式显示器（HMD）和视频透视（VST）系统中的视觉清晰度通常通过面向硬件的规格来描述，包括面板分辨率、每度像素数（PPD）以及“4K”或“8K”等消费者标签。尽管这些描述符是有用的切入点，但它们仅部分反映了用户实际感知到的内容。感知细节由渲染配置、运行时处理、光学传递、VST采集与图像处理、人类视觉极限以及任务需求的综合效应共同塑造。这项基于范围界定的概念性综述将VR/VST显示评估重新定义为端到端的感知问题，而非孤立设备规格之间的比较。综述借鉴了83篇全文评审来源，并包含一项独立的OpenAlex元数据分析，该分析涵盖了2016–2025年间8253条经过筛选的记录，使用了标题、摘要及相关元数据。综述将这些证据转化为一个五阶段感知管道和一个主张支持分类法，该分类法将证据类别和评估方法与它们所能支持的主张相匹配。综述主张，PPD及类似数值应被视为条件性证据而非普遍性指标，需要结合观看几何、光学传递、运行时状态、观察者视觉和任务需求等信息进行解读。论文最后提出了一套评估与报告工作流，以支持更清晰的文档记录、更具可比性的研究以及更以人为中心的沉浸式显示性能沟通。
**1. 引言**
虚拟现实（VR）和视频透视（VST）头戴式显示器（HMD）已成为三维交互、训练、远程操作、医学可视化和娱乐领域的实用工具。与许多其他三维显示技术相比，HMD能够以紧凑的外形提供宽广的双眼视野、头部耦合运动以及相对较高的显示分辨率。除了将显示器靠近眼睛放置外，HMD还引入了一条近眼渲染和光学管道，其表观清晰度取决于渲染图像、运行时预畸变、抗锯齿和注视点渲染、视频压缩、面板分辨率、镜头传递、视场角（FoV）、眼睛位置以及观察者的视觉表现。这些相互作用因素造成了常见的以硬件为中心的描述与实际人类感知之间的差距。商业标签如2K、4K、8K或标称面板分辨率易于理解，但未说明在特定角度下有多少有效像素到达眼睛、镜头如何传递对比度、渲染分辨率在独立模式和系留模式之间如何变化，以及阅读、精细操作和VST任务的视觉表现如何变化。这一差距意义重大，因为VR越来越多地用于视觉细节影响性能和安全的任务中，包括外科培训和医学可视化。它也增加了研究可复现性的难度，因为仅设备名称并不能完全定义参与者所经历的视觉条件。
本综述使用视觉清晰度作为总括术语，涵盖任务相关视觉信息在VR/VST使用中被传递和感知的清晰程度。分辨率、每英寸像素数（PPI）和每度像素数（PPD）描述采样能力；调制传递函数（MTF）及相关光学测量描述对比度传递；人类视觉表现描述观察者层面的极限；可读性或识别描述任务特定表现。更广泛的术语如图像质量或视觉保真度也可能包含色彩、伪影、运动、延迟或不适感。屏幕门效应和甜蜜点等公开表达因此被视为需要技术解读的线索，而非测量本身。
本综述使用四个相关构念：面向视觉感知的框架是整体组织概念；五阶段感知管道是其结构核心；主张支持分类法将证据类别与可允许的主张相关联；评估与报告工作流将这些选择可操作化。它们共同连接内容与任务需求、渲染/运行时设置、设备/光学传递、感知极限和任务/用户成果，而不将硬件规格、传递图像测量和任务表现视为可互换的证据。
综述做出四项关联贡献：区分设备规格、光学和端到端测量、感知模型、用户研究和公开术语的作用；将视觉清晰度组织为连接内容/任务需求、渲染/运行时设置、设备/光学传递、感知极限和任务/用户成果的五阶段感知管道；将该管道转化为主张支持分类法，阐明设备级、渲染/运行时、光学传递、端到端、感知、基于模型和任务成果证据能及不能证明什么；将主张支持分类法转化为具有最低、扩展和理想报告层级的工作流。
**2. 范围与综述方法**
**2.1 范围、搜索与来源选择**
本综述采用基于范围界定的概念性综述方法。综述提出四个关联问题：哪些组成部分决定了VR和VST中的感知视觉清晰度；哪些指标评估这些组成部分；以硬件为中心的指标在何处无法解释人类视觉体验；哪些研究细节使视觉条件更易于比较和复现。目标领域是VR HMD和相机介导的VST/透视系统。光学透视（OST）和更广泛的增强现实（AR）/混合现实（MR）显示文献在澄清近眼显示测量、光学传递问题或相机/显示/感知权衡时纳入综合。来源分为四类：关于HMD、渲染、VST、感知和任务成果的同行评审工作；显示和视觉测量标准；制造商文档和技术规格；以及公开术语示例。学术渠道包括ACM数字图书馆、IEEE Xplore和ScienceDirect。搜索是迭代和概念驱动的，而非详尽的系统性筛选，没有设定出版年份限制。纳入标准是来源直接澄清五阶段框架中的视觉清晰度机制、指标、任务后果、来源出处问题或报告变量。
**2.2 OpenAlex元数据集**
为情境化术语模式，综述包含2016–2025年的记录级OpenAlex Works元数据分析。VR、HMD、MR和扩展现实（XR）记录被检索，按DOI、OpenAlex ID和标题-年份去重，然后在标题、摘要、关键词/主题/概念和场所文本中筛选七个视觉清晰度术语族。工作流产生88,558条原始OpenAlex匹配记录，79,338条去重记录，以及8253条通过视觉清晰度术语族筛选的记录。OpenAlex仅用于描述术语出现情况，不支持技术主张或推断研究质量、因果趋势、语义一致性或测量实践的普遍性。
**2.3 证据编码与综合程序**
综合根据证据功能使用异质材料。公开设备页面标识Quest 3、Pimax Crystal、Varjo VR-3和XREAL Air 2等设备的披露规格，第三方比较网站展示规格如何跨设备传达。一般XR应用论文仅在报告相关视觉管道测量、条件或任务成果时纳入综合。综合过程中，来源按视觉管道组件、指标或任务问题、证据角色和与研究主张相关的研究条件进行组织。当来源报告值不同时，综述保持每个值的来源明确，因为这些值涉及不同的测量程序和条件。
**3. 面向视觉感知的端到端框架**
在HMD中，视觉清晰度仅在视觉信号通过端到端管道后才产生。内容定义重要的任务和空间频率；渲染管道确定原始样本；运行时应用预畸变、抗锯齿、重投影和注视点渲染；显示器和镜头以非均匀的锐度和畸变将样本传递到眼睛；人类观察者在任务特定需求下解读结果。VST系统在显示阶段之前进一步添加相机和图像处理管道。任何阶段的失败都可能降低感知清晰度，即使另一阶段表现良好。
综述将管道分为五个阶段：内容/任务阶段、渲染/运行时阶段、设备/光学阶段、感知阶段和任务/用户成果阶段。这些阶段旨在作为实证VR/VST研究的评估支架。它们帮助研究人员识别视觉条件在何处进入实验、需要控制或报告哪些变量、哪些证据支持由此产生的主张，以及结论可以推广多远。
**4. VR和VST中的系统侧机制**
**4.1 面板分辨率、PPI、PPD和镜头传递**
与传统显示器不同，VR HMD中图像通过镜头放大并分布在大FoV上。相同的面板分辨率可能因光学设计、FoV和运行时裁剪而产生不同的角采样密度。角密度通常以PPD表示，对VR比PPI更相关。简单的中心估计通常通过水平像素数除以水平FoV计算，但完整设备评估还需要场位置和镜头传递，因为PPD随场变化。镜头系统同样重要。VR运行时会预扭曲图像以补偿镜头畸变。镜头随后将预扭曲图像光学转换为用户感知的视图。此过程引入空间变化的清晰度：中心区域通常比周边更锐利，图像质量可能通过色差、眩光、反射、渐晕和边缘模糊而降低。MTF描述光学系统在不同空间频率下传递对比度的能力，在多个场位置测量时更有用。时间显示行为增加了另一个设备级条件。像素分辨率较高本身并不决定运动清晰度；刷新率、脉冲发射占空比和内容帧率匹配也影响运动模糊和重影图像。消费者显示标签常模糊渲染像素、面板像素和角样本之间的区别。
**4.2 渲染分辨率、预畸变、注视点渲染和流式传输**
镜头畸变校正要求应用图像在扫描输出前被扭曲和滤波，因此渲染目标不等同于面板分辨率。超采样、动态分辨率缩放、抗锯齿、合成器设置和刷新率都会影响多少高频细节在此过程中存留，这些效应通常是空间非均匀的。注视点渲染通过向用户注视区域分配更高分辨率、向周边区域分配更低分辨率来进一步复杂化清晰度评估。虽然此方法可大幅减少渲染负载，但当详细或高对比度内容穿过注视点渲染区域与周边区域之间的过渡时可能出现伪影。密集网格、小文本和精细重复纹理特别敏感，因为下采样、预扭曲和注视点渲染可能相互作用产生锯齿或莫尔纹。流式传输和压缩增加了另一个管道级清晰度损失来源。无线VR流式传输可降低有效分辨率、引入压缩伪影并放大延迟。块效应、振铃、模糊和时间不稳定性并非对所有空间图案同等可见。降低VR渲染目标可影响游戏体验、性能和模拟器病，使渲染分辨率成为实验条件而不仅仅是图形偏好。
**4.3 VST特定相机介导管道**
VST在图像到达显示器之前引入了额外的上游链。此链包括场景采集、图像信号处理、曝光和色调映射、视点和深度校正、视图合成和合成。VST因此被视为同一五阶段感知框架的扩展。渲染、显示和光学机制也影响VST，但相机介导观看引入了独特的清晰度损失、延迟、几何误差和环境依赖性来源。
**4.3.1 采集、处理和实时约束**
早期OST和VST显示的比较强调介导观看引入光学和视觉质量权衡，而近期VST工作将问题框架为实时视图合成，因为相机视点不同于用户眼睛。距离感知工作进一步表明VST HMD可改变空间判断。虽然PPD可描述介导视图中的角采样，VST解读还取决于传感器尺寸、相机位置、曝光控制、图像信号处理、时间滤波、颜色校正、深度重建、显示映射和光子到光子延迟。专业相机和智能手机相机比较有助于澄清哪些约束特定于实时VST。VST系统必须在满足尺寸、重量、功率、热量、相机放置、几何校正、深度重建和渲染内容集成等HMD约束的同时，提供低延迟的立体宽FoV图像。因此，较高的标称相机分辨率并不一定意味着眼睛处较高的感知清晰度。
**4.3.2 感知后果和证据边界**
人类视觉通过眼和神经机制适应光照、聚焦、运动和场景环境，而相机介导VST必须在严格实时约束下通过曝光、增益、去噪、色调映射、白平衡、时间滤波、立体匹配和显示映射来近似这些功能的某些方面。这些约束使VST易受低光噪声、过度曝光、有限动态范围、滚动快门伪影、时间不稳定性、深度误差、视点不匹配和处理延迟的影响。近期工作已开始在此约束集内解决评估和缓解问题。证据应与所声称的后果匹配。相机或显示规格、延迟测量或捕获图像仅表征测量属性。关于可读性、感知自然度、空间判断、任务表现、环境意识或安全性的主张需要相应感知或任务证据。
**5. 从管道阶段到评估证据**
**5.1 匹配指标与评估问题**
设备规格描述可用容量；渲染/运行时变量描述样本如何生成和修改；光学传递和端到端测量描述传递内容；感知或基于模型的测量在声明的假设下解决可见性；任务测量检验应用后果。这些证据类别互补但不可互换。设备容量声明可止于已验证规格；传递细节主张需要光学、透过镜头或端到端证据；应用主张需要任务数据。当组合多个证据类别时，每个类别保留其自身测量条件和比较范围。
**5.2 PPD、MTF和端到端视敏度**
PPD定义为角采样，MTF定义为光学传递，它们是互补但属性特定的证据：PPD不确立光学传递，MTF单独不确立感知或任务级清晰度。运动敏感主张额外需要时间响应证据。端到端指标测量系统侧机制作用后可见的内容。基于视标或logMAR风格图表的虚拟视敏度测试可评估从渲染到感知的清晰度，而全方位虚拟视敏度（OVVA）进一步跨方向和配置测量视敏度。感知差异预测器可作为中间方法，在声明的观看条件下涉及图像或视频失真的可见性。模型预测、传递细节测量和任务成果因此不可互换。公开表达仍可用作提示，但不是测量。屏幕门效应是可见显示伪影的既定标签，甜蜜点是非正式线索。研究应将表达转化为其主张所需的变量。
**6. 感知阶段：人类视觉基准和用户变异性**
**6.1 人类视觉指标和VR/VST解读**
正常高对比度中心凹视敏度通常近似为60 PPD，而更高参考值在有利观看条件下可接近128 PPD。中心采样值不能代表整个场的传递清晰度。中心凹视敏度基准适用于注视点，而周边视觉对运动检测、导航、环境意识和伪影感知仍然重要。基准应相对于任务和注视行为解读。
**6.2 用户变异性和参与者报告**
视觉矫正、年龄相关视觉变化、颜色和深度感知、HMD适配以及疲劳或模拟器病易感性的差异都可能改变参与者经历的有效清晰度。研究应报告解读所提出视觉主张所需的用户因素。参与者报告有助于区分清晰度结果反映的是显示系统、任务设计、参与者群体还是它们的交互。
**7. 任务导向评估和报告工作流**
**7.1 映射任务需求到评估结果**
评估应从预期任务的视觉需求开始，而非固定设备规格集。不同任务依赖空间细节、对比度、颜色、深度、运动稳定性、场位置、延迟和环境可见性的不同组合。任务因此决定哪些管道组件需要文档记录或测量，以及哪些感知或行为结果能显示所得视觉条件是否充分。选择性优化原则是识别任务所需视觉信息，确定管道哪些阶段可能改变该信息，并选择能验证后果的结果测量。
**7.2 推荐评估工作流**
实用评估首先询问视觉表现是否可能影响研究结果，然后定义视觉主张并选择支持它所需的最小证据链。设备描述可依赖已验证规格；传递清晰度主张需要光学、透过镜头或端到端证据；人类表现主张需要参与者和任务数据。当视觉表现的贡献仍未解决时，应报告为限制或通过将结论收窄到测试配置来应对。工作流步骤自上而下读取。上下文研究可在最低层级停止，而基准、跨设备或安全相关主张需要扩展或理想证据链。
**7.3 最低、扩展和理想报告层级**
层级根据视觉清晰度在研究中的角色和结论的预期通用性来扩展报告工作量。最低层级支持上下文报告。扩展层级适用于清晰度聚焦或细节敏感研究。理想层级用于基准研究、跨设备比较、安全相关VST研究或比较系统性能与人类视觉极限的主张。选择层级应匹配预期结论的强度和范围。当现有证据不足时，作者应要么收窄主张，要么添加缺失测量、值来源、参与者或任务上下文和不确定性信息。
**7.4 研究人员责任和制造商依赖参数**
研究人员可报告可观察和可控条件，识别外部提供值的出处，并标记不可用参数而非用未记录估计替换。制造商和运行时提供商控制内部面板和光学几何、场相关PPD或MTF图、眼眶盒容差、动态分辨率和重投影逻辑、合成器行为及VST相机处理。更充分的披露将改善比较，但研究人员不应将观察结果归因于未披露的内部组件。
**8. 限制与未来研究议程**
本综述有三个主要限制。第一，主张支持分类法和报告层级构成组织性综合，其有用性将随更多VR/VST研究报告可比视觉管道变量而增长。第二，某些设备规格、固件/运行时设置、光学传递数据和内部图像处理参数仍不可用或难以跨制造商比较。第三，83来源全文综述集通过迭代、概念驱动搜索构建，而非预注册详尽综述。独立的OpenAlex分析筛选8253条记录使用标题、摘要和相关元数据而非全文阅读。未来工作可通过三个关联轨道进行：指标开发研究定义基准场景和测试；任务关联研究连接测量与阅读、视觉搜索、医学可视化、精细操作和VST导航；报告实践研究检查所提证据类别和报告层级如何支持跨独立论文、设备和任务领域的更清晰解读。
**9. 结论**
本综述表明，VR/VST视觉清晰度产生于端到端感知管道，包括渲染、运行时处理、显示硬件、光学、VST相机（如存在）和人类视觉能力。我们将VR视觉清晰度重新框架在面向视觉感知的框架内，并按证据功能组织异质来源。核心实践含义是VR/VST清晰度主张应与其产生的配置和证据相关联。通过指定管道阶段、证据类别、测量条件、参与者或任务上下文和证据范围，研究人员可使沉浸式显示结果更易于解读、复现和比较。
