面向多种语义分析任务的图像压缩技术研究

《IEEE Transactions on Broadcasting》：Toward Learned Image Compression for Multiple Semantic Analysis Tasks

提出一种结合自监督学习与深度图像压缩的方法，通过语义引导的自监督学习在比特率约束下保留语义信息，并设计高阶空间交互压缩网络去除全局冗余，无需像素级重建即可支持多语义分析任务，实验表明其性能优于传统编解码器和现有深度压缩方法。

　　

摘要：

近年来，基于深度神经网络（DNN）的图像压缩方法在速率失真性能方面表现出优于传统编解码器的优势。然而，大多数现有的基于DNN的压缩方法仅在特定比特率下优化信号保真度以满足人类视觉感知的需求，而忽略了压缩比特流中语义信息的保留。这一局限性使得现有深度编解码器压缩的图像不适用于机器视觉应用。为了解决图像压缩与多种语义分析任务之间的差距，本文提出将自监督学习（SSL）与深度图像压缩相结合的方法，以学习通用的压缩表示形式，从而使多种计算机视觉任务能够从压缩域中进行语义分析。具体而言，设计了在比特率约束下的语义引导自监督学习机制，用于保留通用视觉特征的语义信息，并去除与语义分析无关的冗余内容。同时，提出了一种具有高阶空间交互作用的压缩网络，以低复杂度捕获长距离依赖关系，从而去除全局冗余。由于无需进行像素级重建的解码过程，该方法压缩的特征能够以紧凑的形式服务于多种语义分析任务。来自多种语义分析任务的实验结果证实，与传统的编解码器和最近的深度图像压缩方法相比，该方法在相似比特率下在各种分析性能方面均具有显著优势。本工作的源代码可访问地址为：https://mic.tongji.edu.cn。