VCIQA：车载相机图像质量评估数据集与方法

《Displays》：VCIQA: A dataset and method for Vehicular Camera Image Quality Assessment

　　

•构建VCRTD，首个车载摄像头真实交通场景图像质量评估（IQA）数据集，包含1000张BDD100K图像及整体质量和五个维度的主观评分。•提出一种多维质量回归框架，采用联合训练与场景分类辅助监督。•开发VCIQA，一种多路径特征融合网络，在VCRTD和公开IQA数据集上取得了优异的性能。

引言

自动驾驶和高级驾驶员辅助系统的快速发展对车载视觉感知提出了严格要求。高质量图像是环境感知、目标检测、车道线识别和交通标志识别准确性的基础。图像质量直接决定了下游算法性能的上限。车载摄像头是环境感知的核心传感器，其成像质量直接影响捕获图像的质量。然而，车载摄像头在真实道路环境中面临复杂多变的成像条件。恶劣天气、极端光照、运动模糊和振动干扰会降低图像清晰度。图像质量退化可能导致目标检测错误、车道偏离和交通信号误判，误导驾驶系统和驾驶员，降低行车安全。因此，准确有效的车载摄像头图像质量评估方法对于自动驾驶和高级驾驶员辅助系统的安全性和可靠性至关重要。

现有图像质量评估方法[1]、[2]、[3]、[4]、[5]在自然场景图像上取得了良好性能，能够评估风景照片、人像和建筑物的视觉质量。然而，车载摄像头捕获的交通场景图像与传统自然场景图像存在显著差异。首先，不同区域的重要性差异巨大。关键目标区域（如车道线、交通标志、车辆和行人）对行车安全至关重要，而背景区域（如天空和远处建筑物）影响较小。这种不均匀的空间重要性要求质量评估模型能够准确识别并聚焦于关键区域。其次，车载图像表现出明显的多尺度目标特征。远处的交通标志和小车辆仅占几个像素，其质量判断依赖于局部细节；近处的车道线和大车辆占据较大图像区域，其质量判断更多依赖于全局结构的连续性和完整性。

在实际车载摄像头应用中，图像质量问题往往反映了多个质量维度的综合作用，且图像特征在不同交通场景中差异显著。

（1）从质量维度来看，车载摄像头图像的整体感知质量与多个图像质量维度密切相关。如图1(a)所示，夜间亮度不足严重降低了目标可见度，减少了整体质量评分。如图1(b)所示，城市环境中建筑物、广告牌和照明装置引起的色彩丰富度差异会影响交通标志和信号灯视觉显著性。如图1(c)所示，雨雾天气下对比度降低削弱了车道线与路面之间的可分离性，降低了边界识别精度。如图1(d)所示，感知噪声增加降低了细节可分辨性，减少了整体视觉舒适度。如图1(e)所示，运动模糊降低了锐度，削弱了车辆和道路边缘等关键结构的细节可分辨性，降低了交通参与者和道路目标的检测与定位稳定性。这些质量属性相互作用，共同决定了车载图像的整体视觉质量。

（2）从场景角度来看，不同交通环境捕获的图像表现出显著不同的特征分布。如图2(a)所示，城市街道图像高度复杂，密集建筑物造成复杂阴影分布和强烈明暗对比，交通信号装置产生局部高亮区域，大量行人引入丰富的前景目标。如图2(b)所示，高速公路图像常出现运动模糊，开阔环境带来较大景深，远处目标尺度小但数量多。如图2(c)所示，居民区图像通常光照相对稳定，道路结构简单，车道数量少，空间布局规整。如图2(d)所示，停车场图像包含密集停放的车辆，遮挡和局部阴影分布普遍存在。如图2(e)所示，加油站图像空间范围有限，目标距离近，人造照明和金属表面反射常导致局部高光。如图2(f)所示，隧道环境产生独特的图像特征，隧道出入口常出现过曝或欠曝，隧道内人造照明导致色偏，封闭空间反射产生特殊光照分布。这些观察表明，车载摄像头图像质量评估应考虑整体感知，同时理解不同图像质量维度的贡献和不同场景条件的影响。

然而，现有公开IQA数据集[6]、[7]、[8]对于车载摄像头图像质量评估仍显不足。大多数数据集针对通用成像设备和通用场景，无法充分反映真实道路环境中的典型退化和交通语义内容。大多数标注仅限于整体平均主观评分（MOS），缺乏亮度、色彩丰富度、对比度、噪声和锐度的细粒度监督。这种局限性降低了对车载场景中耦合退化、关键区域敏感性和跨尺度目标变化的针对性建模和验证能力。为解决这些问题，本文构建了车载摄像头真实交通数据集（VCRTD），一个针对真实交通场景中车载摄像头图像质量评估的多维数据集。VCRTD从BDD100K[6]中选取1000张交通图像，提供整体质量评分和五个图像质量维度的主观评分。其次，为满足车载图像质量评估需求，本文提出了一种场景感知、多尺度特征提取、多路径特征融合的无参考图像质量评估方法。该方法采用三路特征融合架构，充分利用不同ResNet[9]层的语义信息和空间细节，引入多尺度特征上采样与拼接策略处理交通场景中跨尺度目标的质量表示，集成MCA多维协同注意力机制，联合增强空间和通道维度。同时设计了多维质量回归框架，使用亮度、色彩丰富度、对比度、噪声和锐度的五维监督，并将场景信息作为辅助任务，提高评估精度。主要贡献如下：

•构建VCRTD，一个针对真实交通场景中车载摄像头图像的多维IQA数据集。VCRTD包含从BDD100K中精心选取的1000张代表性图像，涵盖多种交通场景、天气条件和时段。与现有主要关注整体感知质量或特定成像条件的汽车/交通IQA数据集不同，VCRTD通过严格的 subj 实验提供了整体质量评分和五个感知属性评分——亮度、色彩丰富度、对比度、噪声和锐度。这些多维标注既支持整体质量评估，也支持感知质量属性的细粒度分析，为车载摄像头IQA研究提供了宝贵的数据基础。

•设计了一种多维质量回归框架，包括多参数联合训练策略和辅助任务优化。引入了亮度、色彩丰富度、对比度、噪声和锐度等多维图像质量信息，以及场景分类辅助任务。这种设计增强了特征表示能力，提高了在车载场景中的适用性。

•构建了一个多路径特征融合的车载摄像头图像质量评估网络，命名为VCIQA。该网络结合了CNN主干路径、多尺度融合路径和注意力增强路径，通过空间通道协同注意力机制和多尺度特征上采样对齐策略，对车载图像中的复杂质量特征进行建模。在VCRTD和多个公开IQA数据集上的大量实验表明，该方法在多个真实和合成IQA基准上均取得了竞争性性能。

章节摘要

图像质量评估方法

图像质量评估（IQA）通过计算模拟人类视觉感知，根据参考图像的可获得性分为全参考（FR）[10]、[11]、减参考（RR）[12]、[13]、[14]和无参考（NR）[15]、[16]、[17]方法。对于车载摄像头而言，复杂实时环境下获取无失真参考图像极为不切实际，使得无参考IQA成为唯一可行的方案。

早期无参考IQA方法严重依赖自然场景统计特性（NSS）。例如：

VCRTD

为为真实交通场景中车载摄像头捕获的图像提供多维感知质量标注，本文构建了一个名为VCRTD的车载摄像头交通场景图像质量评估数据集。我们进行了多维主观评估实验，获得了整体质量评分和包括亮度、色彩丰富度、对比度、噪声和锐度在内的五个特定维度的主观评分。

所提方法

本文提出了一种多路径特征融合的车载图像质量评估网络，命名为VCIQA，用于准确评估真实交通场景中的图像质量。该网络采用三路融合架构，充分利用不同层级的语义信息和空间细节。整体框架如图6所示。网络由四个核心模块组成：CNN主干路径、多尺度融合路径、注意力增强路径和质量回归模块。

实验设置与实现细节

除VCRTD外，本文还使用六个常用图像质量评估数据集进行评测：四个真实失真数据集（包括BID[47]、LIVEC[45]、KonIQ-10k[46]和SPAQ[48]）和两个合成失真数据集（LIVE[42]和CSIQ[44]）。这些数据集涵盖多样的图像内容和质量退化类型，为VCIQA在不同IQA设置下的全面评估提供了条件。

VCIQA在不同监督配置下在统一框架中进行训练。

结论

本文针对复杂交通环境下的车载摄像头图像质量评估（IQA）问题，该环境具有耦合退化、区域敏感性差异和目标尺度变化等特征。传统单尺度方法无法准确捕捉这些独特质量特征。此外，现有公开数据集缺乏对真实交通场景的全面覆盖和多维质量标注。为克服这些局限性，我们构建了VCRTD数据集并提出了

未引用参考文献

[50]

利益冲突声明

作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。

致谢

本工作部分得到中国国家重点研发计划（资助号2021YFE0206700）和中国国家自然科学基金（资助号62301316、62271312、62132006）的支持。

倪浩洋 | 吕新程 | 卢芳芳 | 于慧群 | 曹启航 | 蔡阳