视觉传感器质量评估的新前沿：基于大语言多模态模型的方法综述

《Sensors》：The New Frontier of Quality Evaluation for Visual Sensors: A Survey of Large Multimodal Model-Based Methods Qihang Ge, Xiongkuo Min, Sijing Wu, Yunhao Li and Guangtao Zhai

　　

视觉质量评估正随着媒体形态从静态图像向动态视频及三维内容的演进迈入新前沿。此类视觉信号通常由相机、深度传感器等传感设备捕获，其采集特性显著影响感知质量。传统质量模型（包括失真中心方法与回归驱动方法）在常规退化场景下表现良好，但在评估现代人工智能生成内容及多模态场景中的语义合理性、结构连贯性等高层属性时面临挑战。大语言多模态模型(LMM)（涵盖视觉-语言模型(VLM)与多模态大语言模型(MLLM)）的兴起，通过引入语义锚定、指令驱动评估与可解释推理重塑了评估范式。本综述针对传感设备捕获的图像、视频及三维模态视觉数据，提出了统一的质量评估视角。研究人员回顾了传统深度学习方法与近期LMM驱动方法，重点阐释多模态融合与语言条件推理如何将质量评估从标量预测转化为感知智能。最后，研究人员探讨了构建高效、鲁棒且具备传感器感知能力的视觉质量评估系统的关键挑战与未来机遇。

《Sensors》期刊论文解读：视觉传感器质量评估的大模型范式变革

研究背景与意义

视觉质量评估在现代多媒体与通信系统中至关重要，其核心目标是优化压缩、复原、传输及生成算法的感知保真度。当前视觉数据主要源自移动相机、自动驾驶传感器等成像设备，传感器噪声、曝光失稳等采集缺陷会直接影响感知质量。传统评估方法分为主观与客观两类：主观评估虽能提供可靠基准，但成本高昂且难以规模化；客观评估则从早期的自然场景统计(NSS)、手工特征建模，逐步发展为数据驱动的深度学习回归模型。然而，随着内容形态从图像扩展到视频、三维点云，尤其是人工智能生成内容(AIGC)的爆发，传统失真中心的标量回归模型难以捕捉语义合理性、结构连贯性等高层感知因素。在此背景下，大语言多模态模型(LMM)（包括视觉-语言模型(VLM)与多模态大语言(Multimodal Large Language Models, MLLM)）的崛起为突破这一瓶颈提供了新路径。该论文发表于《Sensors》，旨在系统梳理LMM驱动的跨模态视觉质量评估进展，明确范式转变的核心逻辑与未来方向。

关键技术方法

研究人员采用系统性文献综述方法，构建了覆盖图像、视频、三维三大模态的统一分析框架。首先，团队梳理了各模态下的代表性数据集演化路径，包括合成失真数据集（如LIVE、TID系列）、真实场景数据集（如KonIQ-10k、LSVQ）及AIGC专项数据集（如AGIQA-3K、VBench）。其次，研究人员将传统方法划分为手工设计指标（如结构相似性SSIM、自然图像质量评价NIQE）与深度学习回归模型（如CNNIQA、DBCNN、VSFA），并重点分析了LMM方法的演进：VLM阶段基于对比语言-图像预训练(CLIP)实现零样本质量对齐，MLLM阶段则通过指令微调与强化学习实现推理式评估。此外，团队采用斯皮尔曼等级相关系数(Spearman Rank-Order Correlation Coefficient, SRCC)、皮尔逊线性相关系数(Pearson Linear Correlation Coefficient, PLCC)等标准指标，对各模态下传统模型与LMM模型的性能进行了横向对比，验证了LMM在不同任务中的适配性差异。

研究结果

图像质量评估(IQA)进展

研究人员发现，传统IQA已形成成熟的手工特征与深度学习回归体系，在非AIGC的合成与真实失真基准上表现优异。LMM的引入并未直接全面超越传统模型，而是拓展了评估维度：VLM方法（如CLIP-IQA、QA-CLIP）通过文本提示实现了零样本质量感知，MLLM方法（如PromptIQA、DepictQA）则支持指令驱动的评分、比较与解释生成。实验数据显示，LMM在AIGC图像评估中优势显著，能够有效衡量语义真实性与提示对齐度，弥补了传统模型对高层语义感知的缺失。

视频质量评估(VQA)进展

相较于IQA，VQA需额外建模时间维度的运动连贯性与感知记忆效应。传统方法（如FAST-VQA、DOVER）已能有效处理时空失真，但面对AIGC视频的语义连贯性、身份一致性等动态问题时存在局限。LMM在VQA中展现出更显著的竞争力：原生VQA导向的MLLM模型（如LMM-VQA、VQAThinker）通过融合时空视觉token与语言指令，在多个无参考VQA基准上取得领先性能。研究人员指出，LMM的长上下文建模能力使其更适配视频中复杂的时序依赖关系，成为VQA领域的重要发展方向。

三维质量评估(3DQA)进展

三维质量评估的核心挑战在于几何结构与感知表现之间的映射鸿沟。传统方法分为内在三维建模（直接在点云、网格空间计算几何偏差）与投影式建模（通过多视角渲染转换为二维图像评估）。LMM的应用推动了混合范式的形成：早期方法（如SJTU-H3D）仍以渲染视图为主输入，结合CLIP语义先验；近期模型（如PIT-QMM）则将三维几何结构、渲染视图与文本提示整合为端到端的多模态推理框架，支持失真定位与解释生成。当前LMM在无参考点云质量评估(NR-PCQA)基准上已超越传统基线，但在纹理网格、动态数字人等场景的验证仍待拓展。

跨模态趋势与统一视角

研究人员通过文献计量分析发现，LMM在三大模态中的渗透率呈差异化增长：VQA领域增速最快（2025年达24.5%），IQA次之（16.4%），3DQA起步较晚但潜力显著（11.6%）。这表明LMM的适配性与任务复杂度正相关——当评估需融合时空动态、语义推理等高阶能力时，LMM的优势更为突出。此外，统一多模态质量评估模型（如Q-Align）的出现，证明了单一模型同时处理图像、视频及美学评估的可行性，预示着质量评估正从分散的单模态模型向通用感知智能范式收敛。

讨论与结论

研究人员强调，LMM并非对传统模型的简单替代，而是对其能力边界的延伸。在IQA成熟基准上，LMM的核心价值在于提供可解释性、交互式评估与语义感知能力；在VQA与3DQA中，LMM则凭借长上下文建模与多模态融合优势，成为突破现有性能瓶颈的关键技术。未来研究需聚焦五大方向：构建跨模态统一感知表征、建立LMM输出的分数校准与公平评测协议、优化视频长时序建模效率、提升解释可靠性，以及实现质量判断与空间/几何结构的细粒度对齐。该研究明确了视觉质量评估正从“失真度量”向“感知推理”范式转型，为构建下一代具备传感器感知能力的智能评估系统奠定了理论基础。