基于特征空间奇异值扰动的图像复原模型抗蒸馏防御方法研究

本文提出了一种创新的图像复原模型保护方案——自适应奇异值扰动（ASVP），通过实时扰动教师模型特征空间的奇异值结构，有效防御未经授权的知识蒸馏（KD）攻击。该方法在保持教师模型性能的同时，显著降低学生模型的复原质量（PSNR下降达4 dB，SSIM降低60-75%），为生成式任务的模型知识产权保护提供了新思路。

　　

亮点

• 全新防御范式 我们提出了一种动态特征空间框架，通过放大主导奇异值实时注入定向频谱扰动，有效阻止学生模型与教师内部特征对齐。

• 即插即用 ASVP模块轻量易部署，无需重新训练或架构修改，可快速应用于已训练模型，实现特征空间加密。

• 广泛实验验证 在五大图像复原任务（超分辨率、低光增强、水下增强、去雾、去雨）中验证有效性，学生模型性能显著下降且教师模型输出质量保持稳定。

图像复原中的知识蒸馏

知识蒸馏（KD）作为一种有效的模型压缩技术，在图像复原领域被广泛用于将大型教师模型压缩为轻量级学生网络，在保持复原质量的同时实现实时部署。随着该技术在复原领域的应用，KD已发展出多种关键策略。

早期研究主要关注输出级蒸馏，即学生模型通过最小化其输出与教师模型输出的均方误差（MSE）进行学习。

方法

本节详细阐述所提出的自适应奇异值扰动（ASVP）模块的原理与实现。我们首先概述图像复原抗蒸馏框架的整体设计，继而描述ASVP模块的具体操作流程。最后通过理论分析阐明该方法对特征信息传递的影响、计算复杂度以及维持教师性能的双路径设计机制。

实验设置

我们在五大代表性图像复原任务中评估ASVP的防御效果：单图像超分辨率、低光增强、水下图像增强、去雾和去雨。教师模型采用高性能网络（如ResNet-18和SwinIR），学生模型则通过蒸馏学习模仿教师。各任务均使用标准数据集进行验证。

蒸馏特征阶段对防御强度的影响

在我们的框架中，扰动并非选择性应用于特定层，而是统一注入所有对学生可见的中间特征图。具体而言，每个残差块后均部署ASVP模块，确保学生可接触的每层输出均受独立保护，而教师通过双分支结构继续处理洁净特征。

为进一步探究扰动注入层级的影响，我们开展了分层敏感度分析实验。

补充实验

为深入评估ASVP的效能与泛化能力，我们在真实场景数据集上进行了补充实验。结果表明，即使面对复杂退化图像或先进蒸馏技术，ASVP仍能保持显著防御效果，证实其在实际应用中的鲁棒性。

结论

本文针对知识蒸馏导致的模型复制威胁，提出了一种专用于图像复原任务的抗蒸馏新框架。相较于现有主要针对分类任务的方案，本方法通过扰动教师特征图的奇异值结构实现动态防御。这种轻量级策略无需修改教师参数即可无缝集成现有架构，为生成式模型的知识产权保护提供了实用解决方案。