基于频率特征交互与非局部相似性先验的图像压缩方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Learned Image Compression with Frequency Feature Interaction and Non-local Cross-similarity Prior

本研究提出结合频率特征交互与跨通道相似性先验的新型图像压缩方法，通过交替使用空间和通道自注意力机制提取多尺度特征，并设计动态融合模块和双变压器熵模型优化特征交互，在多个数据集上验证了压缩性能的显著提升。

　　

摘要AI 摘要

要查看此由 AI 生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

最近开发的图像压缩模型在压缩性能上优于传统的非学习型图像压缩标准。这些学习模型通常利用空间自注意力和卷积神经网络（CNN）来提取非局部和局部特征，并生成潜在表示。然而，以往的方法采用线性层来融合非局部和局部特征，缺乏灵活调整特征权重以及捕捉不同特征表示之间复杂非线性交互的能力。此外，如何根据潜在表示的通道相似性特征更有效地进行压缩仍是一个未解决的问题。为了解决上述问题，我们提出了一种新的图像压缩方法，该方法结合了频率特征交互和非局部跨相似性先验。具体来说，我们扩展了原有的空间自注意力模块，交替使用空间自注意力模块和通道自注意力模块来提取非局部空间特征和通道特征，并利用深度卷积来提取局部特征。由于局部特征关注高频细节信息，而非局部特征则关注低频结构信息，我们设计了一个频率交互模块（FIM），该模块生成两个权重图以动态融合非局部和局部特征。此外，我们观察到潜在表示在不同通道中的非局部跨相似性，这表明不同通道共享相似的非局部语义和结构信息，但具有不同的局部细节信息。因此，我们设计了一个双变换器熵模型来增强非局部特征并去除局部特征。实验结果验证了我们的方法在 Kodak、CLIC 和 Tecnick 数据集上取得了良好的压缩性能。

AI 摘要

AI 生成的摘要（实验结果）

此摘要是使用自动化工具生成的，并非由文章作者编写或审核的。它旨在帮助读者发现研究内容、评估其相关性，并辅助来自相关研究领域的读者理解该工作。它是对作者提供的摘要的补充，作者提供的摘要仍是论文的主要摘要。完整文章才是权威版本。点击此处了解更多。

点击 此处 对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由 AI 生成的通俗语言摘要，您必须具有高级访问权限。