基于数据的计算机视觉导向图像信号处理流程配置

《Neurocomputing》：Data Driven Computer Vision Oriented Image Signal Processing Pipeline Configuration

　　摘要：相机系统中的图像信号处理（ISP）流程传统上是为人类视觉设计的。以人类视觉为目标的ISP流程是独立于计算机视觉系统的后端视觉算法进行优化的，这可能导致整个系统的性能不佳。为找到适用于视觉任务的ISP流程最佳配置，本文提出了一种基于混合监督学习与强化学习的框架，将这两部分在统一框架中共同设计。为此，我们设计了ISP策略网络ISPNet，该网络能够针对特定计算机视觉任务，根据输入的RAW图像输出以视觉性能为导向的ISP配置。具体而言，ISPNet会与视觉任务模型一起训练，其输出策略旨在在尽可能减少ISP处理步骤的同时最大化与视觉性能相关的奖励（从而降低整体计算复杂度）。我们在分类和物体检测任务上进行了大量实验，结果表明，如果目标是从计算机视觉任务而非人眼出发，那么可以省略整个ISP流程或大部分ISP阶段。在正常拍摄条件下，基于RAW图像训练的模型足以应对分类和物体检测等任务。研究还表明，对于需要专门预处理和/或数据增强的任务，去马赛克步骤是必要的，因为它能够避免插值伪影并提升模型的泛化能力。而在低光等恶劣条件下，所提出的动态配置框架在模型性能方面优于固定策略。

引言：计算机视觉研究的是如何让计算机理解照片和视频等视觉输入。典型的计算机视觉系统由前端成像系统（即相机）和运行特定视觉算法的后端视觉系统组成。大多数现代计算机视觉算法都以精细处理的彩色图像作为输入，而这些图像大多是由配备图像传感器的相机生成的[1]。对于这类单传感器相机，场景是通过带有颜色滤光阵列（CFA）的图像传感器捕获的，以此保留颜色信息。随后，这些RAW图像会经过一系列以摄影为目标的图像处理算法处理，即图像信号处理（ISP）流程，最终生成适合人眼观看的精细彩色图像。也就是说，RAW图像已经包含了所有与场景相关的信息，而ISP流程的作用则是优化这些捕获内容的呈现方式，使其更符合人类视觉系统（HVS）的特性。例如，伽马校正[2]是为了符合人类对亮度的感知规律（史蒂文斯幂律[3]），而白平衡则用于在不同光源下将白色物体还原为白色（颜色恒常性[4]）。由此可见，引入ISP流程是为了使捕获的信息适应人类视觉系统的特性，而非直接服务于计算机视觉任务。尽管如此，虽然这些视觉增强型的ISP操作能够生成令人满意的图像，但它们可能对计算机视觉任务产生不利影响。例如，许多计算机视觉任务假设相机是精确的光线测量设备，这意味着像素值与真实场景的辐射度呈线性关系[5]。然而，随着摄影技术的发展以及人们审美要求的不断提高，越来越多的包含非线性操作的复杂处理步骤被引入ISP流程，从而导致像素与场景之间的非线性关联愈发严重。此外，除了是否适合计算机视觉任务外，复杂的ISP流程所带来的高计算复杂度还可能影响视觉系统的整体功耗、延迟和成本。

对于现有的大多数计算机视觉系统，前端相机系统和后端视觉系统都是分别设计和优化的，以实现各自的最佳性能。将相机系统与视觉算法共同设计，以提高整个计算机视觉系统的端到端性能和效率，是一个有趣且具有挑战性的问题[6]。传统的ISP流程具有高度模块化、高效且易于硬件实现的特点，流程中的每个算法都是为处理不同的实际成像情况而设计的，并且有相应的高效硬件实现方式。为了提升现有视觉系统的视觉性能和计算效率，本文探讨了在传统ISP流程中为特定的计算机视觉应用动态分配处理步骤的潜力。具体而言，我们提出学习特定于视觉应用的ISP配置，如图1所示，即ISP策略网络与视觉应用网络一起训练，根据输入的RAW图像动态确定必要但最少的处理步骤。

为此，需要构建一个决策模块，并与视觉任务一起共同优化，以便正确地跳过不必要的处理步骤。然而，这种本质上是离散的决策（即决定是否跳过某个步骤），以及ISP流程中的图像处理算法都是不可微的，这意味着无法直接应用基于梯度的优化方法。尽管存在一些针对不可微操作的重参数化方法，比如Gumbel Softmax技巧[7]，它允许梯度通过离散采样过程反向传播，或者是在训练过程中使用可微的软最大值决策，而在推理时再恢复为硬决策[8]，但这些方法中的近似处理往往会使模型陷入次优解[9]。

受传统网络中动态路径选择和层跳过相关研究的启发[9][10]，本文提出了一种混合学习算法ISPNet，它结合了监督学习与深度强化学习，旨在为给定的输入RAW图像和特定的计算机视觉任务获取以视觉性能为导向的ISP配置策略。具体而言，ISPNet的输出是一个二进制决策向量（其元素为0或1），向量的长度等于ISP流程中的处理步骤数量，用来指示相应的步骤应该被跳过（0）还是不跳过（1）。ISPNet与视觉任务模型一起训练，其输出策略的目标是在尽可能减少ISP处理步骤的同时最大化与视觉性能相关的奖励，从而降低视觉系统的计算复杂度。

为验证所提出的方法，本文基于两种常见的视觉任务——分类和物体检测，进行了大量实验。实验结果表明，从RAW贝叶尔模式图像中提取的特征足以满足后续的计算机视觉任务需求，在大多数情况下完全可以跳过ISP流程。我们训练的ResNet50模型在转换后的RAW ImageNet数据集上取得了较高的top-1准确率，物体检测性能也相当不错。此外，对于那些需要专门预处理或数据增强技术的任务，去马赛克步骤可以消除这些操作中产生的插值伪影，提升模型的泛化能力。在低光等恶劣拍摄条件下，我们所提出的动态框架在模型性能方面优于固定策略。本文的主要贡献包括：•一种基于混合强化学习和监督学习的动态配置框架，可用于为特定的计算机视觉任务获取最优的ISP配置策略；•针对不同拍摄条件下的ISP配置提供了详细的指导原则，给出了在平衡视觉任务性能、计算成本和硬件效率方面的实用建议。

传统ISP流程：传统的ISP流程是一种高度模块化的逐级图像处理链。这种流程广泛应用于单传感器彩色相机技术中，也是目前数码相机和智能手机的主流解决方案[1]。通常，ISP流程涵盖相机校正、插值、色彩空间转换与增强等功能，不过不同相机制造商对这些功能的实现方式可能有所不同。近年来，也有……

数据集准备：如2.3节所述，为深度学习任务准备充足的训练数据，我们提出使用生成对抗网络（GAN）将彩色图像数据集转换为对应的RAW版本。如[29]所示，在一组可逆且可微的分层变换={, ,…, }下，GAN的虚拟训练目标可以表示为……方程（1）表明，给定一个用转换后的样本训练得到的最优鉴别器，其目标是最小化……

数据集：我们在两个数据集上评估了我们的方法，一个是用于分类的合成ImageNet-RAW数据集（详见3.1节），另一个是用于物体检测的PascalRAW数据集[27]。在分类任务中，转换后的图像均为单通道RAW贝叶尔模式图像；而在物体检测任务中，PascalRAW数据集包含4259张标注有人物、自行车和汽车的RAW图像。PascalRAW数据集中的原始RAW图像均为……由于GPU的限制……

实验结果：本节展示了实验结果，以证明所提方法的有效性。

讨论：传统上，以人类视觉系统为目标的ISP流程设计总是与计算机视觉任务相互隔离，这不利于专用视觉系统的设计。包括ISP流程在内的成像系统不仅会影响视觉模型的性能，还会影响整个视觉系统的功耗、效率、成本等方面。本文提出了一种基于混合监督学习与强化学习的框架，用于研究计算机视觉系统的最佳配置……

结论：为找到适用于计算机视觉任务的最佳ISP配置，本文提出了一种单次射击策略选择网络，用于为给定的输入RAW贝叶尔图像获取ISP配置策略。该网络与相应的计算机视觉任务一起优化，旨在提升整体的视觉性能。实验结果表明，基于贝叶尔模式图像训练的模型在各种配置中取得了最佳的top-1性能……

CRediT作者贡献声明：魏周：撰写——初稿、软件、方法论；王宏宇：撰写——初稿、数据整理；李浩岩：可视化、验证；朱梦梦：调研、形式分析；毛玉星：项目管理；季德志：监督；娄欣：撰写——审稿与编辑、监督、概念构思。

利益冲突声明：作者声明没有已知的财务利益或个人关系可能影响本文的研究工作。魏周于2018年在中国南京东南大学获得仪器科学与工程学士学位，2024年在中国科学院上海微系统与信息技术研究所及中国科学院大学获得博士学位。他目前在中国南方电网云南电网有限公司电力研究院担任研究员，研究兴趣包括数字图像处理……魏周|王宏宇|李浩岩|朱梦梦|毛玉星|季德志|娄欣中国南方电网有限公司电力研究院，中国昆明广渡区云大西路105号，邮编650217