基于高效空间-通道感知微调的面向学习型图像压缩的域适应方法

《Displays》：Domain adaptation for learned image compression via efficient spatial-channel aware finetuning

　　

• •
  研究表明，在不同图像领域中，空间信息对少样本域适应至关重要，这促使人们为预训练的LIC模型设计了考虑空间与通道特性的PETL框架。
• •
  该研究为变换网络和熵模型分别设计了专门的适配模块，从而能够在域变化时同时建模空间结构与通道统计特性。
• •
  该方法在多种图像领域中均展现出优异的跨域速率-失真性能，不仅优于现有的适配策略，其参数开销还远低于完整微调方案。

引言

图像压缩是一项关键技术，它能在保持视觉质量的同时减少所需比特数，从而实现多媒体的高效存储与传输。传统的JPEG[1]、BPG[2]和VVC[3]等编码方法已被广泛应用，并取得了显著成果。近年来，大多数LIC方法[4]、[5]、[6]、[7]、[8]都采用了变换编码框架，其速率-失真性能十分出色，甚至超过了先进的传统编码标准VVC。这些方法主要通过优化变换网络和熵模型来提升速率-失真性能。在变换网络方面，各种具有更强分析及合成能力的结构被广泛应用，比如常用的残差块[4]、[5]、[9]，swin变换块[10]、[11]，混合变换-卷积架构[6]、[12]，以及新兴的Mamba块[13]。在熵模型方面，先前的LIC方法研究了多种自适应上下文建模策略，如超先验模型[14]、空间自回归模型[15]、通道自回归模型[16]、空间棋盘格模型[17]，以及它们的组合形式[5]、[7]。然而，LIC方法在跨域场景下的性能下降问题，凸显了其在实际应用中的泛化难题。

LIC模型通常在自然图像数据集上训练，但实际应用中往往需要处理来自像素、屏幕、陨石坑和病理学领域的图像，这些领域之间存在较大的差异。如图1所示，这些预训练模型在不同领域的速率-失真性能存在明显差异，而这种领域差异会导致模型在非目标领域的数据上性能大幅下降，有时甚至不如传统编码器。这一局限性凸显出有必要开发高效的适配方法，以提升预训练LIC模型在多种图像领域的泛化能力。

最直接的适配方法是针对每个目标领域对整个模型进行微调。但这种策略的参数效率较低，且会带来较大的传输和存储开销，因此并不适合实现领域泛化。近年来，参数高效迁移学习（PETL）作为一种替代完整微调的方案，仅需训练少量任务专用参数。在计算机视觉领域，PETL催生了多种方法，包括Adapter[18]、SSF[19]、LoRA[20]和DoRA[21]。尽管这些PETL方法已在高级视觉任务中得到了广泛研究[22]、[23]，但在低级图像压缩任务中的应用还相对较少。

目前有一些被称为实例适配（IA）的方法[24]、[25]、[26]，它们主张在推理阶段针对单张图像对LIC模型进行适配。不过，这些方法仍存在计算量大、耗时长的问题，因为它们只是针对单张图像进行适配，无法实现模型的真正领域适配。此外，Presta等人[27]也探索了通过门网络等适配组件在多个领域间进行领域适配以提高泛化能力，但这并未解决如何用少量样本将LIC模型适配到特定新领域这一核心问题。因此，结合PETL技术实现模型参数的少样本领域适配，已成为推动LIC领域泛化发展的关键且主流的方法。Zhang等人[28]提出了一种基于高效即插即用适配器的少样本方法，将其集成到预训练模型中，仅通过重新分配通道级信息就能达到与完整微调相当的性能。

实际上，空间信息在领域适配中也起着至关重要的作用。不同领域间的空间差异会以不同方式影响比特率分配和频率分布。由于分布变化往往伴随着对象布局、结构以及局部模式在领域间的改变，若缺乏空间建模，就会导致表示不足，进而使压缩性能不佳。因此，我们在针对特定领域的组件中加入了考虑空间与通道特性的机制，提出了一种基于PETL的LIC少样本领域适配新方法。本研究的主要贡献如下：

$•$ 我们提出了一种专为LIC设计的PETL领域适配方法，该方法强调了空间信息的重要性，通过引入考虑空间与通道特性的机制，能够高效地捕捉并调整各领域特有的空间及通道特征统计信息。

$•$ 我们为统一的LIC框架设计了两个核心组件：一个是用于变换网络的双分支空间-通道适配器，它能独立捕捉空间布局与通道间的相关性；另一个是用于熵模型的空间-通道交互LoRA，可用于共同建模空间与通道层面的特征信息。

$•$ 大量实验表明，我们的方法始终优于最新的领域适配方法[28]，在所有测试领域中的性能都与VVC相当。此外，它的参数增加量不到1.5%，却能达到与完整微调相近甚至更优的性能，充分展现了其强大的适配能力与较高的参数效率。

章节要点

学习型图像压缩

近年来，许多基于VAE的LIC方法都遵循相同的处理流程，包括变换、量化以及熵编码等步骤。

变换：变换模块是将输入图像转换为紧凑潜在表示的核心组件，通过该步骤可以去除图像的空间与统计冗余。早期的LIC方法常用广义除法归一化（GDN），这种方法已被证明能有效对局部联合统计特征进行高斯化处理[29]。

问题提出与研究动机

给定一个在源数据分布上预训练好的LIC模型，我们的目标是仅利用少量目标领域样本即可将其适配到该目标领域。如表1所示，现有的LIC适配策略存在明显的权衡关系：完整微调虽然能够同时调整变换网络和熵模型在通道及空间维度上的参数，但其较高的参数开销使得该方法难以在实际应用中高效部署。尽管基于实例适配的方法[24]、[25]、[26]效果不错，但它们依赖于

实现方式

我们在四个具有代表性的目标领域对所提方法进行了测试：（i）像素风格图像[25]；（ii）来自SCID[55]、SCI1K[56]、SIQAD[57]的屏幕图像；（iii）从LROC[58]中截取的陨石坑领域图像；（iv）从BRACS[59]中截取的病理学图像。我们为每个领域选择了包含100幅图像的固定测试集，自然图像领域则采用Kodak[29]作为测试数据。我们在多种先进的LIC架构上测试了我们的领域适配方法，包括Cheng2020[4]、ELIC[5]、TCM[6]以及MLIC++[7]，所有

结论

本文提出了一种基于空间-通道感知微调的新型参数高效领域适配方法，用于学习型图像压缩。通过在变换网络中引入双分支空间-通道适配器，在熵模型中引入空间-通道交互LoRA，我们的方法能够有效应对不同领域间的空间与通道变化。大量实验结果表明，该方法不仅能够持续提升预训练模型的性能

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关联或个人关系。

Xuanrui Lu|Wen Tan|Fanyang Meng|Genhong Wang|Yongsheng Liang