《Journal of Imaging》:HDR-VDP-2, LPIPS, DISTS, and SSIM for Evaluating Computer-Generated Renderings: A Systematic Review of Use and Perceptual Validation
本系统综述考察了四种全参考图像质量指标——HDR-VDP-2、LPIPS、DISTS和SSIM——在计算机生成及渲染图像中的使用情况与感知验证状况。在纳入的283项研究中,SSIM被报告于228项(80.6%),LPIPS被报告于147项(51.9%),而HDR-VDP-2与DISTS各仅出现于4项(1.4%)。只有23项研究(8.1%)包含相关的人类或主观评价,13项(4.6%)直接检验了指标与人类判断的一致性。神经渲染、新视角合成与三维重建共占175项研究(61.8%)。指标与人类判断的一致性随内容、伪影类型、对齐方式、观看条件及感知任务而变化,而针对特定线索的证据则分布不均。因此,本综述揭示了指标采用与感知验证之间的明显差距。指标的选择应与渲染属性、参考图像、观看条件及感知问题相匹配。
1. 引言部分
本文献综述将计算机生成图像(CGI)的评估从单纯的计算效率或物理正确性扩展至输出图像的视觉质量。当渲染算法近似光传输、降低采样成本、重建未见视点或以视觉上可忽略的差异换取计算缩减时,客观图像质量指标只有在所测差异与观察者能够看到或判断的内容有意义关联时才有价值。感知指标和视觉差异指标提供了一种比较渲染输出的实用方法,但其数值不应自动解释为感知质量或照片级真实感的度量。
2. 材料与方法
2.1 综述设计与报告框架
本研究采用系统综述方法,对四种客观全参考图像质量指标——HDR-VDP-2、LPIPS、DISTS和SSIM——在计算机生成及渲染图像中的应用进行结构化叙述综合。报告遵循PRISMA 2020框架,数据库检索报告参考PRISMA-S。未计划进行荟萃分析,因为预期证据在渲染任务、数据集、表示方式、指标实现、人类评价设计及报告结果方面存在异质性。
2.2 资格标准
原始研究需至少使用一种目标指标独立评估计算机生成或渲染的视觉输出。符合条件的情境包括传统与实时渲染、光线/路径追踪、游戏、VR/AR、神经渲染、NeRF/NVS、三维高斯溅射、虚拟化身与数字人类、材质/外观建模、合成渲染、仿真及相关重建。目标指标必须作为输出评估、基准或比较度量发挥作用;仅作为训练损失、内部优化项、方法学引用或附带提及的研究被排除。医学、牙科、内窥镜及相关解剖重建研究若主要目的为临床重建而非渲染图像的感知或图像级评估,则被排除。
2.3 信息来源
系统检索在Scopus、Web of Science核心合集和IEEE Xplore中进行,检索时间从各数据库建库至2026年8月17日。共获得1174条记录,去重后剩余680条唯一记录进入标题/摘要筛选。
2.4 检索策略
检索策略反映了四种指标名称的不同特异性。HDR-VDP-2和DISTS检索强调全称与公认缩写,而LPIPS和SSIM与广泛的渲染情境术语及感知评估术语结合。检索未针对预定金标准研究集进行正式验证,完整策略见补充表S1。
2.5 记录管理、去重与研究选择
494条重复记录被移除。标题/摘要筛选排除327条记录,两篇基础指标论文被单独保留。351篇报告进入全文获取流程,最终41篇报告未能充分获取,310篇报告在报告层面进行评估,27篇在资格评估后被排除,严格应用语料库最终包含283项研究,无未决筛选决策。主要筛选由一名审稿人执行,第二评估者对关键决策进行针对性独立验证。
2.6 数据提取
标准化提取框架记录了文献信息、目标指标、渲染领域与应用任务、指标作用、参考比较情境、人类验证证据及与RQ1-RQ4相关的主要证据。指标仅在独立报告为输出评估度量时被编码。人类证据在观察者判断质量、相似性、保真度、真实感、伪影可见性或与目标指标相关的其他感知构念时被提取。
2.7 研究问题特定编码
对于RQ1,根据计算表示、感知基础、结构/纹理处理、亮度依赖性、输出解释和概念局限对四种指标进行比较。对于RQ2,每项研究被分配至一个互斥的主要应用族:神经渲染/NVS/三维重建、材质/外观/光照、IQA/伪影/感知评估、化身/数字人类渲染、传统渲染/增强/优化、VR/显示/沉浸式渲染、或合成数据/仿真/特定应用渲染。对于RQ3,仅当目标指标输出通过定量、空间、心理物理、排序、相关、分类或等效分析与人类判断明确关联时,才被分级为直接指标-人类验证。对于RQ4,六种渲染属性被预先定义为适用性框架,证据分级为直接、支持性或邻近性。
2.8 方法学质量与证据评估
对于RQ3的13项直接验证研究,采用综述特定的结构化框架进行方法学评估,涵盖六个领域:感知构念明确性、人类样本报告、刺激/内容覆盖、观看条件控制、指标实现透明度、以及统计/空间/心理物理分析适当性。总体判断遵循显式规则:低关注要求所有适用领域均评为低关注;存在部分关注时评为部分关注;存在高关注时评为高关注。未计算数值质量评分。
2.9 数据综合、统计分析及可用性敏感性分析
采用描述性统计和结构化叙述综合。计数和百分比指283项研究的严格语料库。未进行荟萃分析。可用性敏感性分析假设所有40篇看似符合条件但未获取的报告均满足全文资格,形成增强语料库。结果显示SSIM仍为最普遍指标(241/323,74.6%),LPIPS其次(180/323,55.7%),神经渲染/NVS族从175/283(61.8%)增至207/323(64.1%),不改变主要结论。
2.10 生成式AI工具的使用
OpenAI ChatGPT(GPT-5.6 Sol)被用作数据组织、初步编码支持、质量控制检查、计算验证、稿件起草和语言编辑的辅助工具。AI辅助输出未被视为来源证据。最终资格决策、提取证据、定量总结、方法学评估判断、线索分类和解释均由M.G.手动验证,并在适用时由A.B.独立检查。
3. 结果
3.1 研究选择
检索识别1174条记录,去重后680条,标题/摘要排除327条,351篇报告进入检索。41篇未充分获取,310篇在报告层面评估,27篇排除,最终纳入283项研究。可用性敏感性分析未改变主要普遍性模式。
3.2 纳入研究的特征
283项研究跨越2010-2026年,但高度集中于近期:2010-2020年14项(4.9%),2021-2023年30项(10.6%),2024-2026年239项(84.5%)。SSIM出现于228项(80.6%),LPIPS出现于147项(51.9%),HDR-VDP-2和DISTS各4项(1.4%)。最常见的配置为仅SSIM(130项,45.9%)、SSIM+LPIPS(91项,32.2%)和仅LPIPS(54项,19.1%)。
3.3 RQ1:目标指标的计算与感知原理
四种目标指标在表示和感知解释上均不同。SSIM比较局部亮度、对比度和结构,应解释为结构相似性度量而非视觉可见性或真实感的显式模型。LPIPS测量学习深度特征空间中的距离,目标为超越独立像素差异的感知相似性。DISTS结合深度结构相关与纹理统计,允许某些纹理变化与结构变化区别对待。HDR-VDP-2显式建模亮度依赖性视觉敏感度和掩蔽,以预测图像差异的可见性和质量影响。四种指标量化互补而非相同的属性:结构(SSIM)、学习特征相似性(LPIPS)、结构-纹理相似性(DISTS)和基于HVS的差异可见性/质量(HDR-VDP-2)。参考图像定义高度异质,无法进行有意义的定量合并。与任何参考的相似性仅指示对所选目标的保真度,不应自动解释为感知质量或照片级真实感。
3.4 RQ2:在计算机生成和渲染图像中的应用
神经渲染/NVS/三维重建是最大的应用族(175/283,61.8%),其次为材质/外观/光照(26项,9.2%)、IQA/伪影和感知评估(21项,7.4%)、传统渲染/增强/优化(20项,7.1%)、化身/数字人类渲染(19项,6.7%)、VR/显示/沉浸式渲染(17项,6.0%)和合成数据/仿真/特定应用渲染(5项,1.8%)。SSIM出现于所有七个族,主要作为通用保真度基准。LPIPS与近期神经渲染和NVS密切相关。HDR-VDP-2和DISTS集中于IQA/伪影感知族,表明其相对专业化的使用。
3.5 RQ3:与人类判断的验证
仅23项研究(8.1%)包含与质量、相似性、保真度、真实感或伪影感知相关的人类或主观证据。13项研究(4.6%)直接将目标指标行为与人类真值进行比较,10项研究(3.5%)平行报告客观和主观评估而未直接检验其关系。直接验证涉及SSIM 12项、LPIPS 3项、DISTS 4项、HDR-VDP-2 3项(计数重叠)。与总体采用相比,常规基准使用普遍而正式感知验证罕见。直接验证集跨越非对齐NVS、压缩化身动画和BTF材质外观。
3.5.1 图形伪影与空间局部渲染错误
图形伪影研究提供了最直接的渲染特定验证。?adík等人比较了局部化指标预测与35名观察者的判断,识别出亮度/对比度变化、近阈值差异和更高层次光照合理性方面的失败。Piórkowski和Mantiuk比较了SSIM/HDR-VDP-2图与观察者对锯齿、Z-fighting、阴影粉刺和peter-panning的标记,扩展的55观察者研究复制了主要模式。SSIM总体ROC/AUC一致性非常高,而HDR-VDP-2在小或分散锯齿方面特别具有竞争力,表明伪影依赖而非普遍的指标性能。空间形式的渲染错误可影响哪种客观度量与观察者反应最吻合。
3.5.2 神经渲染与新视角合成
Liang等人使用39名参与者的成对判断发现,在测试的NVS质量排序中PSNR显著优于SSIM和LPIPS,DISTS在评估的感知度量之中。Onuoha等人发现DISTS是主观NeRF质量的较强相关量之一。Luo等人使用86名参与者的MOS确认SSIM、LPIPS和DISTS在合成与现实内容之间表现不同,DISTS是较强的全参考度量之一。指标融合实验显示没有单一度量在所有NeRF数据集中一致最优。非对齐参考工作表明几何错位可破坏NVS中的常规全参考比较。总体而言,NVS指标-人类一致性取决于场景内容、对齐、伪影类型、时间呈现和感知任务。
3.5.3 材质外观与纹理
在渲染BTF比较中,即使人类可分辨性差异显著,SSIM值在测试分辨率对中仍保持非常高。BTF压缩工作将SSIM与心理物理材质判断相结合,渲染纹理压缩实验表明可见性取决于纹理、映射、几何、光泽、凹凸信息和光照的相互作用。
3.5.4 化身、真实感与多维质量
在多维照片级真实感化身评估中,SSIM和LPIPS与感知真实感弱相关,但与某些选定属性(如情绪准确性)相关性较强。对于压缩面部动画,客观指标相关性与主观MOS仅为中等,替代度量可能表现更好。
3.5.5 平行主观证据
十项研究被保留为平行人类证据,因为主观和客观评估被报告但无直接指标-人类相关性。例如VR反射渲染、专家评估的重建博物馆文物、VR全景合成和注视点光线追踪验证。将平行研究分开可防止收敛的客观和主观结果被自动解释为该目标指标的形式验证。
3.5.6 直接验证研究的方法学评估
对13项直接指标-人类验证研究的基于领域的评估识别出七项总体低关注判断和六项部分关注判断;未分配高关注。最强的研究通常结合明确定义的感知任务与受控或良好文档化的呈现条件,以及指标输出与人类真值之间的显式统计或空间比较。最常见的关注来源不是无效结果的证据,而是可推广性或报告方面的局限。
3.6 RQ4:与六种渲染属性相关的证据
RQ4证据高度不均。最终编码识别出19项直接光照研究、2项直接接触阴影研究、7项直接和4项支持性纹理研究、8项直接和1项支持性反射研究、1项直接和2项支持性微表面缺陷研究、以及2项直接半透明研究。环境光遮蔽贡献了1项邻近接触阴影记录而非直接证据。
3.6.1 光照可信度
光照具有最广泛的应用基础,涵盖全局光照、重光照、动态光照、低光重建和HDR渲染。尽管有19项直接应用,仅两项光照相关记录与相关人类证据相关联。文献支持在变化光照下广泛使用客观指标,但不太支持将其解释为感知光照可信度的直接度量。
3.6.2 接触阴影
接触阴影证据稀疏但方法学上强健。两项直接研究使用观察者对阴影粉刺和peter-panning的注释,并将其与SSIM/HDR-VDP-2预测进行比较。AOGAN被保留为邻近证据。
3.6.3 纹理可信度
纹理可信度有七项直接和四项支持性研究。人类基础证据主要来自BTF/材质实验和渲染纹理压缩工作。三项与纹理相关的记录与人类或专家证据相关联,使纹理成为综述中支持较好的材质线索之一。
3.6.4 反射可信度
反射可信度由八项直接和一项支持性研究代表。VR反射研究将SSIM与主观真实感评分相结合,但缺乏直接SSIM-评分相关性意味着其仍为收敛证据而非形式指标验证。直接指标-人类验证的反射可信度仍然非常有限。
3.6.5 表面微缺陷
表面微缺陷仍为明显证据缺口。GlassGaussian是唯一直接示例,GroomLight和一项新恢复的空间变化BRDF研究提供支持性粗糙度相关证据,但未独立操作划痕、磨损、污渍或类似的随机表面微缺陷。未识别出微缺陷真实感的直接指标-人类验证。
3.6.6 材质半透明
材质半透明同样稀疏。生物物理皮肤模型显式表示分层组织和次表面光传输,ABLE-NeRF提供涉及透明/半透明外观的第二项应用。未建立直接人类验证研究来确定SSIM、LPIPS、DISTS或HDR-VDP-2如何响应次表面散射或材质半透明的感知有意义变化。
3.6.7 整体RQ4模式
在六种线索中,光照具有最广泛的应用覆盖;接触阴影量少但具有异常强健的观察者验证;纹理和反射中等程度代表;微缺陷和半透明仍为最明显证据缺口。
4. 讨论
4.1 主要发现
三个主要发现:第一,SSIM、LPIPS、DISTS和HDR-VDP-2不可互换——它们分别量化结构相似性、学习特征距离、组合结构-纹理相似性和基于HVS的可见性/质量。第二,指标采用与感知验证明显失衡——SSIM和LPIPS被最频繁报告,但仅23项研究包含相关人类证据,仅13项直接将目标指标输出与人类判断比较。第三,线索特定证据不均——光照覆盖广泛,接触阴影稀疏但具有直接观察者验证,纹理和反射证据中等,微缺陷和半透明存在重大缺口。主要含义是频繁使用不应被解释为感知有效性的证据。
4.2 指标普遍性不应被解释为感知有效性
神经渲染研究中经常组合使用PSNR、SSIM和LPIPS,提供共同基准语言。然而人类验证研究显示,当数值保真度被视为人类感知的代理时,这种惯例可能产生误导。SSIM和LPIPS在受控NVS研究中不如PSNR;DISTS在其他NeRF数据集中表现强劲;没有指标跨数据集一致最优。化身真实感研究产生类似的弱SSIM/LPIPS关联。应区分基准采用与构念有效性。参考相似性既不是感知真实感的必要条件也不是充分条件。
4.3 四种指标对渲染评估的贡献
4.3.1 SSIM是最普遍的目标指标,对空间连贯的图形伪影表现强劲。其主要局限是解释性的:高结构相似性可与可见材质差异共存,并与真实感或NVS偏好弱对齐。SSIM最好被视为结构一致性而非通用真实感分数。
4.3.2 LPIPS概念上对学习渲染有吸引力,但其人类对齐也是内容和任务依赖的。较低LPIPS应描述为学习特征表示中的更大相似性,而非自动视为更大真实感。
4.3.3 DISTS显式组合结构和纹理,对材质和神经渲染伪影有用。在人类评分的NeRF研究中表现较强,但仅识别出四项应用。DISTS应被视为有前景的补充证据而非广泛验证的替代度量。
4.3.4 HDR-VDP-2独特建模亮度依赖性可见性和掩蔽。图形伪影研究显示其可补充SSIM,特别是对于某些小或分散的可见差异。可见性预测不同于真实感:可见差异可能是可接受的,而小的数值差异可能仍违反更高层次场景合理性。
4.4 人类-指标一致性以感知任务为条件
跨RQ3,情境依赖性是最一致发现。指标性能随伪影形态、合成与现实内容、图像对齐、时间呈现和观察者感知构念而变化。未来验证研究应明确定义观察者任务并针对该特定构念检验客观分数。
4.5 对受控渲染属性评估的启示
线索分析强化了情境特定解释。光照有19项直接应用但人类基础有限。接触阴影仅两项直接研究但均包含基于观察者的验证。反射证据在重新全文获取后增加,但直接指标-人类验证仍基本缺失。纹理有中等的直接/支持覆盖和一些最强的材质相关人类证据。微缺陷和材质半透明仍为最明显验证缺口。
4.6 对未来渲染和真实感研究的启示
未来渲染研究应在声称明确感知性质时将客观指标作为人类评估的补充而非替代。本综述识别的核心研究缺口是缺乏受控实验来检验当独立操作个别真实感相关属性时客观指标分数变化是否跟踪人类判断变化。提出了逐步协议:预定义目标线索和操作、构建受控刺激、标准化呈现条件、预先定义观察者协议、收集线索特定和全局感知判断、使用固定管线计算客观指标、分别检验每个线索的指标-人类一致性。空间分辨输出和互补多指标报告也可能保留单个全局分数丢失的信息。
4.7 优势与局限
优势包括从数据库建库至2026年8月17日的系统检索、重新全文获取、严格语料库283项研究、独立输出评估使用的显式验证、直接与平行主观证据的明确区分、13项直接验证研究的领域基础方法学评估、分级RQ4证据和可用性敏感性分析。局限包括41篇报告(11.7%)未充分评估、单审稿人主要筛选、证据异质性排除荟萃分析、ACM数字图书馆未作为单独识别来源、语料库偏向近期神经渲染(239/283为2024-2026年)、仅限定四种目标指标、RQ4映射部分解释性。
5. 结论
本系统综述识别了渲染研究中指标采用与感知验证之间的显著失衡。在283项应用研究中,SSIM和LPIPS被广泛使用,但仅23项研究包含相关人类证据,13项直接检验指标-人类一致性。直接验证证据进一步表明指标-人类一致性取决于内容、伪影类型、对齐、观看条件和感知构念。线索特定证据同样不均:光照广泛但人类基础有限;接触阴影稀疏但有直接观察者验证;纹理和反射证据中等但直接验证有限;表面微缺陷和材质半透明仍为最明显验证缺口。现有证据支持情境特定、互补性的客观指标使用,当结论从参考相似性延伸到感知主张时需要人类验证。