基于解码器增强和语义感知的分层图像压缩技术，适用于人类和机器

《Displays》：Decoder-enhanced and semantic-aware layered image compression for human and machine

分层图像压缩框架结合基础层与语义增强层，通过解码器侧的FEMM模块提升人类感知质量，利用SFEN提取语义特征并经SEFD融合解码，在PASCAL VOC数据集上验证了机器视觉任务性能和压缩效率的显著提升。

　　

李雅莎|王世培|黄坤强|杨超|黄新鹏|平安

上海大学通信与信息工程学院，特种光纤与光接入网络国家重点实验室，特种光纤与先进通信联合国际研究实验室，中国上海200444

摘要

随着智能应用的广泛普及，图像压缩框架越来越需要同时支持人类视觉和机器视觉。尽管现有的可扩展方法能够同时实现这两种任务，但它们需要部署整个模型，导致任务灵活性受限且复杂性增加。为了解决这些问题并减少边缘设备的计算负担，我们提出了一种具有解码器端语义增强的分层图像压缩框架。该框架在基础层即可同时支持人类视觉和机器视觉任务，并在需要时允许在语义层进一步优化性能。具体而言，基础层采用双分支解码器来支持人机视觉，并引入了特征增强匹配模块（FEMM）以增强解码后的特征，从而提高机器任务的性能。在语义增强层，使用语义特征提取网络（SFEN）提取语义特征，然后通过语义增强融合解码器（SEFD）将这些特征与基础层重构特征融合，以实现高精度的机器视觉任务和高感知质量的图像重建。实验结果表明，我们的方法在基础层的对象检测和重建方面优于现有方法；而在语义层，与多功能视频编码（VVC）相比，实现了67.53%的比特率节省，并且具有更优越的感知质量。

引言

图像压缩旨在通过去除图像中的冗余信息来减少数据量，从而便于高效传输、存储和分析。传统的图像编解码器（如JPEG [1]、JPEG2000 [2]、BPG [3] 和 VVC/H.266 [4]）主要关注像素级重建质量，而忽略了机器视觉任务的性能。随着人工智能和计算机技术的快速发展，基于计算机视觉的智能应用变得越来越普遍，例如自动驾驶中的车辆和行人识别、监控系统中的对象检测以及面部识别。因此，图像压缩的研究不仅应关注重建质量，还应注意压缩后下游视觉任务的性能。

这一领域的核心挑战是在编码效率与人类感知和机器视觉任务的需求之间取得平衡。由于边缘设备的计算资源有限，复杂的分析操作在编码器端往往不切实际。因此，一些研究[5]、[6]、[7]、[8]、[9]专注于优化解码器以增强解码后特征的表现能力。这种方法不仅可以提高当前框架基础上的下游视觉任务性能，而且无需对编码器进行实质性修改即可实现良好的兼容性。我们的方法也遵循了这一思路。

现有的图像压缩范式，如“分析-然后压缩”（ATC）[10]、[11] 和“协同智能”（CI）[12]、[13]、[14]、[15]，可以通过压缩来自深度神经网络（DNN）的特征并在解码器直接将其输入到任务网络中来在低比特率下实现高性能任务。然而，这些方法通常无法重建高质量图像，因为压缩后的特征缺乏足够的像素级保真度信息。尽管一些方法[5]尝试通过对抗学习来恢复视觉质量，但仍然存在局限性。相比之下，许多基于学习的压缩框架在机器-人类协同压缩方面取得了优异的重建效果。最近的解码器端增强方法通常在这些框架的基础上进行改进，以提高任务性能。为了提高机器视觉性能，一些方法为重建图像引入了后处理网络[6]、[7]，而其他方法则直接将转换后的潜在特征输入到分析网络[8]、[9]中。然而，这些方法通常无法在人类感知和机器视觉性能之间实现最佳平衡。

随着可扩展编码框架的兴起，提出了分层压缩方案，用于传输残差特征并在解码器端进行整合，从而在增强层和基础层实现更高质量的性能[16]、[17]、[18]、[19]。然而，这些方法由于需要在解码器端进行残差预测和特征整合，通常会导致模型复杂性增加，这也限制了任务的灵活性。此外，如前所述，现有的基于学习的编解码器主要关注像素级保真度，而忽略了有助于人类感知和机器理解的语义信息。仅仅依赖解码器端的后处理不足以完全弥合这一差距。为了解决这些限制，我们受到可扩展编码的启发，结合了分层结构和解码器端增强，引入了语义增强层来提取和压缩语义特征作为补充信息。然后这些特征与解码器的重构特征融合，以进一步提高机器视觉性能和实现更优越的感知重建质量。

我们的贡献可以总结如下：

• 我们提出了一种基于解码器端语义增强的协同图像压缩框架，以同时优化人类感知质量和机器视觉性能。与现有方法不同，我们的框架采用了分层结构和解码器端增强。基础层确保了基本的重建质量，同时支持机器视觉任务。为了补偿语义信息的损失，引入了语义增强层来进一步提高机器任务的准确性和感知质量。
• 在基础层，我们提出了特征增强匹配模块（FEMM）来增强解码器中的潜在特征。这些增强后的特征直接输入到任务分析网络中，从而在不牺牲重建质量的情况下实现更好的机器视觉性能。
• 在语义增强层，我们引入了语义特征提取网络（SFEN）来提取语义特征，然后通过语义增强融合解码器（SEFD）将这些特征与基础层重构特征融合。这种融合进一步丰富了语义表示，提高了机器视觉性能和重建图像的感知质量。
• 广泛的实验表明，我们的方法在人类视觉和机器视觉任务方面均优于传统的和端到端的图像压缩方法，实现了更优越的性能。此外，该框架允许对语义增强层进行灵活控制，根据需要提供更高的任务精度和感知质量。

章节片段

面向人类的图像压缩

面向人类视觉的图像压缩方法通常可以分为两类：传统图像编解码器和基于学习的编解码器，两者通常都针对像素级质量指标（如PSNR）进行优化。传统编解码器经过长期发展，形成了完善的标准化系统。在早期阶段，JPEG [1] 标准采用了离散余弦变换（DCT）进行有损压缩，由于其简单性和强大的

整体框架

如图1所示，所提出的框架包括一个基础层和一个语义增强层，用于图像压缩，旨在同时实现高性能的机器视觉任务和高感知质量的重建。大多数现有的基于学习的图像压缩框架可以提供令人满意的重建质量。然而，由于训练过程中缺乏面向任务的损失约束，这些方法重建的图像在机器视觉任务上的表现往往较差

数据集

在我们的实验中，我们采用了PASCAL VOC数据集[45]来评估我们的模型。这是一个用于对象检测的成熟数据集，包含20个对象类别，已被广泛用于评估各种机器视觉方法。我们使用该数据集来共同评估我们提出的模型在机器视觉和人类视觉任务上的性能。具体来说，我们在VOC2007的训练集和验证集上训练基础层和语义增强层

结论

在这项工作中，我们提出了一种新的图像压缩框架，有效平衡了编码效率与人类视觉和机器视觉任务的需求。该框架采用了分层设计，包括基础层和语义增强层。在每一层中，解码器都得到了增强，以细化紧凑的重构和语义特征，从而支持人类视觉和机器视觉任务，在语义增强层实现了更优越的任务性能。实验结果

CRediT作者贡献声明

李雅莎：数据整理、形式分析、方法论、撰写——原始草稿。王世培：可视化、验证、撰写——审阅与编辑。黄坤强：软件开发、调查。杨超：监督。黄新鹏：项目管理。平安：概念构思、资金获取、资源协调、撰写——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本工作部分得到了国家自然科学基金的支持，资助编号为62071287、62471284、62371279、62020106011、62371278。