针对JPEG图像盲损的层次化、质量感知引导去除方法

《Journal of Visual Communication and Image Representation》：Hierarchical quality-aware guidance for blind JPEG artifacts removal

JPEG伪影去除中的任务冲突与prior不足问题，提出两阶段框架HQGN。首先通过质量估计网络QEN提取压缩感知特征，其次采用局部对齐校准模块（LCM）和全局质量引导校准模块（GCM）实现层次化引导，有效抑制伪影同时保持结构完整。实验表明优于现有SOTA方法，且泛化性良好。

　　

刘帅|赵玉清|毛青宇|刘彬强|孟凡阳|易双燕|梁永生

深圳大学应用技术学院，中国深圳518060

摘要

由于实际应用价值，盲 JPEG 伪影去除技术受到了越来越多的关注。虽然现有的深度学习方法通过结合先验信息取得了较好的效果，但它们往往忽略了先验估计与图像恢复之间的冲突，导致特征纠缠。此外，常用的先验信息（如量化表或质量因子）不足以模拟复杂的压缩伪影。为了解决这些问题，我们提出了一个名为“分层质量感知引导网络”（HQGN）的两阶段框架，该框架将先验提取与伪影去除过程分离。首先使用质量估计网络捕获与压缩相关的特征，然后将这些特征与预测的质量因子结合起来指导重建过程。我们还引入了局部对齐和全局引导的校准模块来抑制伪影并保持图像的结构完整性。大量实验表明，HQGN 在定量指标和视觉质量方面均优于现有方法，并且能够很好地泛化到重新压缩的图像和下游视觉任务中。

引言

JPEG 伪影去除旨在减轻由压缩引起的失真，如块状效应和振铃效应，以提高压缩图像的视觉质量。这是下游低级视觉任务[2]、[3]、[4]、[5]、[6]中的关键预处理步骤。为了应对 JPEG 压缩伪影，已经开发了许多成功的方法。早期的基于深度学习（DL）的方法[7]、[8]、[9]、[10]、[11]、[12]尝试为每个特定的质量因子（QF）或一系列 QF 训练单独的网络。然而，这种设计在资源消耗较大且在现实场景中不切实际，因为 QF 通常是未知的。

为了在统一模型中处理不同的压缩级别，最近的研究[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]专注于盲 JPEG 伪影去除，这种技术可以在不依赖原始 QF 的情况下实现有效的图像恢复。一种常见的策略是结合 JPEG 压缩先验作为辅助信息来促进伪影去除，因为这些先验可以帮助模型区分由压缩引起的失真和图像特征。例如，QGCN[16]和QGAC[17]利用量化表来指导不同 QF 范围内的图像恢复过程。与这些方法不同，AGARNet[19]使用质量估计器预测像素级的质量图，然后利用这些质量图来调节重建网络中特征图的幅度。FBCNN[13]将 QF 估计和伪影去除结合在一个网络中，并应用 QF 注意力模块来实现对不同压缩级别的灵活控制。

尽管这些基于先验的方法很有效，但它们存在两个共同的局限性。首先，仅依赖量化表或 QF 作为先验信息来源会限制模型以细粒度方式自适应抑制伪影的能力。由于量化表和 QF 仅是反映整体压缩程度的标量指标，它们无法充分捕捉 JPEG 压缩伪影的内在特征。其次，现有方法隐含地将先验提取与伪影去除过程耦合在一起，忽略了这两个任务本质上追求的目标不同：前者旨在提取与图像内容无关的压缩先验特征，而后者则侧重于在保持结构完整性的同时恢复图像细节。

为了更好地理解这个问题，我们基于重新训练的 FBCNN[13]进行了分析。具体来说，我们计算了先验提取损失和伪影去除损失梯度之间的余弦相似度，这些梯度是相对于共享的编码器特征在四个不同尺度上计算的。如图 1 所示，各个时期的平均余弦相似度始终较低（例如，在尺度 1 为 0.0221，在尺度 4 为 0.0626），而在训练过程中相似度会显著波动，经常在正负值之间摆动。这种行为表明，这两个任务往往产生不一致甚至冲突的梯度方向，这与 PCGrad[24]中的分析一致，表明任务之间的梯度不对齐可能导致优化不稳定和次优解。此外，这种梯度不一致性表明先验提取和伪影去除的耦合学习受到相当大的干扰，这阻碍了压缩先验有效指导恢复过程的能力。我们的实证分析进一步表明，仅在优化层面缓解梯度冲突是不够的（见第 4.6 节）。这些观察结果促使我们研究一个重要但尚未充分探索的问题：如何更有效地利用压缩先验，同时避免先验提取和伪影去除之间的特征纠缠。

为此，我们提出了一个新颖的两阶段伪影去除框架，称为“分层质量感知引导网络”（HQGN）。与依赖于隐式耦合学习和标量级指导的现有方法不同，HQGN 明确地将压缩先验提取与伪影去除过程分离，以避免特征纠缠。它还引入了一种分层质量感知引导机制，该机制同时在特征层和标量层利用压缩先验来指导重建过程。具体来说，HQGN 包括两个连续阶段：质量感知先验学习阶段和分层引导伪影去除阶段。在第一阶段，开发了一个专门的质量估计网络（QEN），用于从压缩图像中估计 QF，以明确学习与压缩伪影相关的信息。在第二阶段，采用了类似 UNet[25] 的非对称编码器-解码器架构作为重建网络。为了实现分层引导，从预训练的 QEN 中提取多尺度压缩感知特征。这些特征被纳入局部对齐校准模块（LCM），以细化编码器表示，从而抑制伪影并保持颜色一致性和结构完整性。同时，预测的 QF 被整合到全局引导校准模块（GCM）中，以指导重建过程并使网络能够适应不同的压缩级别。

我们的贡献总结如下：

(1) 我们提出了一个新颖的两阶段伪影去除框架 HQGN，它明确地将先验估计与伪影去除过程分离。通过将这两个任务分离到不同的阶段，HQGN 减少了内在的任务冲突，并实现了有效的质量感知重建。

(2) 我们引入了一种分层引导策略，该策略结合了特征先验和标量先验来指导图像恢复。为了实现这一设计，我们提出了局部对齐校准模块（LCM）和全局引导校准模块（GCM）来进行局部特征和全局标量校准。

(3) 在多个基准数据集上的广泛实验表明，HQGN 在定量指标和视觉质量方面均优于现有的最先进方法，并且能够很好地泛化到重新压缩的图像和下游视觉任务中。

相关工作

相关工作

早期的 JPEG 伪影去除方法[26]、[27]、[28]、[29]、[30]主要设计了特定的滤波器来平滑压缩图像中的块状效应和振铃效应。例如，Zhai 等人[28]结合了 DCT 领域中的局部 AC 系数正则化、空间域中的块形状自适应滤波以及量化约束来减轻压缩伪影。考虑到伪影去除是一个病态问题，一些方法将其表述为最大后验问题

整体架构

HQGN 的整体架构如图 3 所示。它包括两个阶段：质量感知先验学习阶段和分层引导伪影去除阶段。在第一阶段，设计了一个专门的质量估计网络（QEN），用于明确学习与压缩相关的信息。QEN 通过$L_1损失来监督\; QF\; 标签和预测的\; QF\; 之间的差异。第二阶段采用了类似\; UNet\; 的非对称编码器-解码器架构[25]$

实验设置

(1) 数据集和评估指标： 根据之前的研究[13]、[17]，我们使用 DIV2K[51] 和 Flickr2K[52] 数据集进行训练，这些数据集分别包含 800 张和 2650 张高质量图像。原始图像使用 OpenCV[53] 被压缩成 JPEG 图像，QF 从 [10, 95] 的范围内随机采样，以覆盖各种压缩级别。对于评估，使用了 LIVE1[54]、BSDS500[55] 和 Urban100[56] 数据集。为了量化每种方法的性能，使用了三个

结论

本研究解决了现有质量感知 JPEG 伪影去除方法中的两个关键问题：由于同时学习先验提取和伪影去除而导致的特征纠缠，以及压缩感知先验的利用不足。为了克服这些限制，我们提出了 HQGN，这是一个两阶段框架，它明确地将先验提取和伪影去除过程分离，并在分层质量感知指导下进行恢复。通过利用分层特征和

CRediT 作者贡献声明

刘帅：撰写——原始草稿、软件、方法论、概念化。赵玉清：软件、方法论。毛青宇：验证、调查。刘彬强：可视化、数据整理。孟凡阳：形式分析、概念化。易双燕：撰写——审阅与编辑、方法论。梁永生：撰写——审阅与编辑、监督、资金获取。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金（资助编号：62571160）、广东省高校工程技术研发中心（资助编号：2024GCZX004）和鹏城实验室的支持。