一种适用于人类感知和机器视觉任务的高效自适应压缩方法

《Pattern Recognition》：An efficient adaptive compression method for human perception and machine vision tasks

　　

刘磊|陈正豪|胡志豪|徐东

• •
  我们提出了一种适用于机器视觉任务和人类视觉的自适应压缩方法。
• •
  我们提出了一种基于任务特定适配器的参数高效增量调优策略。
• •
  所有提出的模块都可以集成到各种神经网络图像/视频压缩方法中。
• •
  大量的实验结果证明了我们方法的有效性。

引言

随着用于多媒体分析任务的机器学习技术快速发展，如何在高效存储机器视觉所需的图像和视频数据方面面临新的挑战。这一问题尤为关键，因为现有的大多数压缩方法主要是为人类视觉感知设计的。因此，开发专门针对机器视觉的压缩方法已变得十分必要。近期，已有不少研究尝试使用神经网络来实现面向机器视觉的图像和视频压缩[1]、[2]、[3]、[4]。不过，这些方法通常会加入针对特定视觉任务的优化项，而这只会影响人类视觉效果。

最近，还有另一类方法[5]、[6]、[7]提出了可扩展的策略，旨在同时兼顾人类视觉和机器视觉的优化需求。尽管这些可扩展方法颇具潜力，但存在三个显著局限。首先，这类方法中的编码器仅针对单一机器视觉任务进行优化，因此在实际应用中难以同时处理多个机器视觉任务。例如，白等人[6]设计的图像压缩方法仅用于分类任务。其次，它们通常需要对机器视觉任务的特定网络进行端到端优化，而随着网络结构越来越复杂、参数越来越多，这种优化方式就不再具有可扩展性。第三，据我们所知，大多数方法仅为图像[1]、[2]、[3]、[5]、[6]或视频[7]、[8]设计特定的编码器，导致其无法同时处理图像和视频。

为解决上述问题，我们提出了一种名为高效自适应压缩（EAC）的方法，该方法既考虑人类视觉需求，也能处理多种视觉任务，它包含自适应压缩模块和任务特定适配器。具体而言，为同时处理多种视觉任务，我们采用了自适应压缩方法，该方法能够以自适应方式对量化后的潜在表示进行分割、传输、重建和聚合，从而服务于多种机器视觉任务和人类视觉需求。具体来说，我们的方法通过超先验网络和一些预测器生成的二进制掩码，将量化后的潜在表示划分为多个子集，分别用于不同的机器视觉任务。该方法会自适应地传输不同任务对应的子集，从而节省比特率成本；只有当需要为人类视觉提供高质量的数据重建时，才会传输完整的潜在表示。

为提升我们的人机视觉压缩方法中的优化效率，我们借鉴了大型基础模型中采用的参数高效增量调优[9]策略，提出了整合任务特定适配器的方案。每个适配器都旨在激发下游机器视觉任务的特定网络。关键在于，我们只优化参数数量相对较少的适配器，而保持复杂的特定网络不变。这种方法让我们能够在大幅降低计算成本的同时实现高效优化。

我们的EAC方法在处理图像和视频时都具有通用性，可轻松应用于各种神经网络图像压缩方法（如Ballé2018 [10]和Cheng2020 [11]）以及神经网络视频压缩方法（如DVC [12]和FVC [13]）。在图像压缩中，我们利用空间信息（即潜在表示或重建图像的分布情况），采用自适应压缩模块来压缩图像的潜在表示，以此节省比特率成本，并通过任务特定适配器有效优化特定网络。在视频压缩中，自适应压缩模块和任务特定适配器会同时利用空间信息（即运动特征和残差特征的分布或重建帧）以及时间信息（即参考帧），从而提升压缩性能。

我们在多种机器视觉基准数据集上进行了全面实验，包括ILSVRC C2012 [14]、VOC2007 [15]、VOC2012 [15]、COCO [16]、UCF101 [17]和DAVIS [18]，以证明我们EAC方法的优越性。实验结果表明，我们的EAC方法不仅在多种机器视觉任务（如分割、检测）中实现了显著的比特率节省，还在人类视觉任务中保持了出色的性能。此外，即便使用传统神经压缩方法中的编码器（即Ballé2018 [10]、Cheng2020 [11]、DVC [12]和FVC [13]），我们的方法在大多数比特率下仍优于最新的标准VTM [19]。

• •
  我们提出了一种自适应压缩方法，通过自适应选择量化后的潜在特征的最优子集，从而同时平衡多种机器视觉任务和人类视觉的优化需求。
• •
  我们通过任务特定适配器采用了参数高效的增量调优策略，该策略与我们方法实现了无缝集成。相比传统的整体微调特定网络的做法，这种方式更加高效且占用资源更少。
• •
  通过将自适应压缩模块与任务特定适配器相结合，我们提出了一种名为高效自适应压缩（EAC）的通用方法。我们的EAC可以无缝集成到各种神经网络图像压缩方法（如Ballé2018和Cheng2020）以及神经网络视频压缩方法（如DVC和FVC）中，从而提升这些方法在机器视觉领域的性能。
• •
  大量的实验结果充分证明了我们新提出的EAC方法的有效性。它在多种机器视觉任务中都能取得优异的性能，同时还能保持人类视觉效果的完整性。

本工作在我们之前在会议上发表的版本[20]基础上进行了多项重要改进。（1）我们将经过会议认可的自适应压缩方法扩展为能够支持多种机器视觉任务，通过自适应地为不同任务选择不同的潜在表示子集。（2）该自适应压缩方法可应用于各种神经网络视觉压缩方法。我们的方法同时利用空间信息和时间信息，消除连续机器视觉任务中的运动特征和残差特征中的冗余信息。（3）我们通过设计新的任务特定适配器，采用了参数高效的增量调优策略。（4）我们提供了更多实验和分析，进一步验证了我们的EAC方法在多种压缩方法（如Ballé2018 [10]、Cheng2020 [11]、DVC [12]和FVC [13]）中，对于多种机器视觉任务和人类视觉任务的适用性。此外，我们还进行了更多的消融实验，并对我们的自适应压缩方法和任务特定适配器进行了详细分析，包括不同组件的有效性、复杂度以及可视化等方面的内容。

章节摘录

NIC与NVC

NIC方法[10]、[11]、[21]、[22]、[23]、[24]、[25]、[26]以及NVC方法[12]、[13]、[27]、[28]、[29]、[30]、[31]、[32]近期都取得了不错的压缩性能。例如，Ballé等人[10]提出了端到端优化的NIC方法，通过设计的超先验网络捕捉潜在表示中的空间依赖关系；之后Cheng等人[11]则提出了简化的注意力模块，并结合高斯混合模型进一步提升图像压缩效果

方法论

我们的高效自适应压缩（EAC）方法包含两个核心模块：自适应压缩模块和任务特定适配器。在3.1节中，我们将介绍自适应压缩模块，该模块能够自适应地压缩图像或视频，以满足多种机器视觉任务和人类视觉的需求。接下来，在3.2节中，我们会介绍任务特定适配器，该适配器利用参数高效的增量调优策略来激发特定网络的功能。之后的3.3节将

数据集

在我们的“EAC（NIC）”研究中，我们使用了ILSVRC 2012 [14]、PASCAL VOC [15]、COCO [16]作为数据集；而在“EAC（NVC）”研究中，则使用了UCF101 [17]和DAVIS2017 [18]。这些数据集都采用了与相应任务特定网络（如ResNet、PSANet、Faster R-CNN、TSN和XMem）相同的训练/测试划分方式。

实验细节

基线方法。在机器视觉任务中，“EAC（NIC）”研究中的任务特定网络以Ballé2018 [10]或Cheng2020 [11]方法生成的压缩图像作为输入；而“EAC（NVC）”研究中的任务特定网络则以DVC [12]方法生成的压缩视频作为输入

结论

在本研究中，我们提出了一种高效自适应压缩（EAC）方法，该方法既适用于人类视觉需求，也能满足多种机器视觉任务的需求。EAC方法包含专为多种视觉任务设计的自适应压缩模块，该模块能够自适应地从量化后的潜在特征中选择合适的子集；同时还包含轻量级的任务特定适配器，用于有效优化特定网络。我们的EAC方法可以无缝集成到各种NIC方法和NVC方法中，从而提升这些方法在机器视觉领域的性能

CRediT作者贡献说明

刘磊：写作——审稿与编辑、写作——初稿撰写、可视化、验证、软件开发、项目管理、方法论设计、研究实施。陈正豪：写作——审稿与编辑、方法论设计。胡志豪：方法论设计。徐东：监督指导、资源协调、项目管理、资金筹集。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢

本研究部分得到了香港特别行政区研究资助局在一般研究基金（编号：17203023）、协作研究基金（编号：C5052-23G）以及国家自然科学基金/香港研究资助局协作研究计划（编号：CRS_HKU703/24）的支持。本文所述的研究工作是在由香港赛马会慈善信托基金资助的多媒体与机器学习JC STEM实验室中完成的。