FEDS：基于特征与熵的蒸馏策略，用于高效的学习型图像压缩

《Pattern Recognition》：FEDS: Feature and Entropy-Based Distillation Strategy for efficient learned image compression

　　FEDS 统一了特征对齐和熵引导的通道蒸馏。三阶段训练确保了稳定有效的知识迁移。学生模型在大幅提高效率的同时实现了接近教师模型的性能。基于熵排序的蒸馏方法适用于 CNN 和 Transformer 骨干网络。**引言**学习型图像压缩（LIC）通过用手学习型非线性分析/合成变换替代手工设计的变换，在率失真性能上超越了 JPEG、JPEG2000、BPG 和 H.266/VVC 等传统编解码器。基于 CNN 和基于 Transformer 的编解码器提升了压缩质量，但许多高性能模型也增加了延迟、内存和参数量。因此，实现强大的压缩与效率之间的权衡仍然是核心挑战。近期的性能提升通常来自更深的残差变换、注意力模块、扩大的隐空间或更强的熵模型。这些组件对离线编码性能有效，但在编码/解码延迟、模型大小和内存受限的场景中可能难以部署。这促使我们将强离线教师模型的知识迁移到一个较小的学生模型中，其架构被有意简化以适应实际推理。自适应熵建模对 LIC 性能至关重要，但串行空间上下文模型会降低并行性。棋盘格和按通道的上下文模型提升了效率，但要在低解码成本下实现大幅比特率降低仍然困难。为此，我们提出了一种知识蒸馏框架，在保持压缩性能的同时降低模型复杂度和运行时延迟。教师模型作为固定的监督来源，主要贡献在于所提出的蒸馏策略。我们的贡献如下：- FEDS 通过针对 LIC 量身定制的统一输出级、特征级和隐空间级蒸馏框架，将压缩知识从强离线教师模型迁移到轻量级学生模型。- 其隐空间级组件是速率感知的：教师模型的通道按熵排序，使得监督聚焦于在固定学生预算下预期编码代价最大的通道。- 三阶段训练策略稳定了优化过程，在率失真性能、运行时延迟和模型复杂度之间取得了有利的权衡；受控消融实验还表明，该框架能泛化到 Transformer 骨干网络的 LIC 模型。如图 1 所示，学生模型接近教师模型，BD-Rate 仅增加 1.24%，参数量减少约 63%，编解码速度提升约 2.9 倍。因此，该方法被定位为一种在率失真、运行时和复杂度方面的有利权衡，而非全面优于所有编解码器的通用方案。本文其余部分组织如下：第 2 节回顾相关工作，第 3 节介绍框架和训练细节，第 4 节报告主要基于 CNN 的结果以及辅助的 Transformer 系列分析，第 5 节总结全文。**章节摘要***学习型图像压缩与高效熵建模*学习型图像压缩方法通过结合非线性变换与学习型熵模型取得了显著进展。高斯混合模型和高斯-拉普拉斯-逻辑斯蒂混合模型等自回归熵模型改进了概率估计，但引入了顺序依赖。棋盘格上下文建模和按通道自回归熵建模（ChARM）等可并行化替代方案更好地平衡了编码性能和速度。*教师网络架构*如图 2 所示，提出的教师网络架构将输入图像 x ∈ R^(H×W×3) 通过主编码器网络 g_a 处理，提取紧凑的隐空间表示 y。为了增强教师网络的能力，我们引入了以下改进组件：**基于 Swin-Transformer V2 的注意力模块：** 我们在变换网络中集成了两个基于 Swin-Transformer V2 的注意力模块，其架构在第 3.5 节中描述。*实验结果*在本节中，我们使用 PSNR 和 MS-SSIM 指标，评估所提出的教师和学生网络相对于多种最先进的学习型图像压缩方法和传统图像编解码器的性能。所考虑的学习型图像压缩方法包括 Fu2024、Liu2023、Kim2022、Zhu2022、Qian2022、He2022、He2021、Xie2021、AkbariAAAI2021、AkbariTMM2021、Cheng2020 等。*结论*本文提出了 FEDS，一种用于学习型图像压缩的蒸馏框架，将知识从强教师模型迁移到轻量级学生模型。在 Kodak、Tecnick 和 CLIC 数据集上，学生模型保留了教师模型的大部分编码性能，同时大幅减少了参数、运行时间和 FLOPs。其优势在于率失真与复杂度的有利权衡，而非在所有 LIC 模型中的全面主导地位。Transformer 系列研究、通道选择和隐空间对齐等实验进一步验证了方法的泛化能力。**CRediT 作者贡献声明**Haisheng Fu：写作 – 初稿撰写、软件、方法论。Jie Liang：写作 – 审阅与编辑、验证、资金获取。Feng Liang：可视化、资源、资金获取。Guohe Zhang：资金获取、概念化。Jingning Han：监督、资金获取。**利益冲突声明**作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。本研究部分由加拿大自然科学和工程研究委员会、Google Chrome 大学研究计划和国家自然科学基金会支持，这些资助不影响研究工作的客观性或结果。**致谢**本工作得到了加拿大自然科学和工程研究委员会（RGPIN-2020-04525）、Google Chrome 大学研究计划、NSERC Discovery Grant RGPIN-2019-04613、DGECR-2019-00120、Alliance Grant ALLRP-552042-2020；CFI John R. Evans Leaders Fund；MITACS Elevate Postdoc 资助，以及国家自然科学基金（编号 61474093）的支持。Haisheng Fu | Jie Liang | Feng Liang | Guohe Zhang | Jingning Han