利用像素域知识蒸馏在压缩域实现高效目标检测

《Journal of Imaging》：Efficient Object Detection in Compressed Domain by Exploiting Knowledge Distillation from Pixel Domain

　　

高清视频数据的激增使得实时边缘分析需要高度高效的处理流水线。然而，传统目标检测架构完全依赖像素域（pixel-domain）输入，这使得计算昂贵的解码阶段成为延迟瓶颈。研究人员提出一种新颖的双阶段框架，旨在部分解码的压缩域数据中直接实现快速高效的目标检测。首先，研究人员在编码器侧引入具有低频频谱优先级（Low-Frequency Spectral Prioritization, LFSP）方法的局部解码范式。通过系统性丢弃高频残差系数并仅保留稀疏的基础空间频率子集，该方法显著减少传输负载并加速标准解码过程。其次，为恢复因有意省略残差数据而损失的结构保真度，研究人员采用多粒度跨域知识蒸馏架构。该策略对齐全局上下文特征、前景边界注意力图和最终响应logits，将高性能像素域教师网络（teacher network）的丰富表征能力迁移至轻量级压缩域学生网络（student network）。利用RetinaNet、FCOS和GFL目标检测网络在COCO-mini数据集上的综合实验证明了该框架的优越性。通过在HEVC流水线中保留基础残差系数，所提方法降低了平均解码延迟，同时在COCO-mini数据集上将mAP分数较传统全解码像素域基线提高了相应幅度。

研究背景与意义

随着监控系统和智能边缘设备的普及，高清视频数据量激增，存储与传输高度依赖H.264/AVC、H.265/HEVC及VVC等压缩标准。传统深度学习流水线假设在未经压缩的像素域（pixel-domain）操作，迫使输入码流在语义推理前必须经过完整的熵解码、反量化、反空间变换及环路滤波等复杂解码过程，这构成了严重的计算瓶颈与延迟。残差数据虽占帧内编码（intra-coded）帧总数据的85%–90%，但其重建消耗巨大算力，尤其在资源受限的边缘设备上难以承受。此外，最小化数据处理也符合GDPR等现代隐私法规的数据最小化原则。尽管直接在压缩域（compressed-domain）分析可绕过部分解码以降低延迟，但有意省略残差数据会导致细粒度纹理丢失，造成检测精度显著下降。为在不牺牲速度优势的前提下弥补语义损失，跨域知识蒸馏（Knowledge Distillation）成为关键策略，通过将像素域的表征能力迁移至压缩域来纠正结构伪影。该研究发表于《Journal of Imaging》，提出了一种结合编码器端频谱截断与跨域蒸馏的双阶段框架，旨在实现高效且准确的边缘视频分析。

主要关键技术方法

研究人员采用COCO-mini（约25,000张训练图像）及完整COCO数据集作为样本队列，使用FFmpeg转为YUV格式并通过修改的HEVC参考软件HM 18.0进行编码解码，量化参数（Quantization Parameter, QP）设为32。关键技术包括：1. 改进的HEVC流水线，在编码器量化后插入谱截断函数，实施选择性残差去除；2. 低频频谱优先级（Low-Frequency Spectral Prioritization, LFSP）方法，保留变换块左上角低频系数；3. 多粒度跨域知识蒸馏架构，包含全局特征蒸馏（Global Feature Distillation, GFD）、前景背景特征蒸馏（Foreground–Background Feature Distillation, FBFD）及基于Logit的响应蒸馏（Logit-based Response Distillation, LRD），利用皮尔逊相关系数（Pearson Correlation Coefficient）与KL散度（Kullback–Leibler Divergence）进行对齐；4. 使用ResNet-50作为像素域教师、ResNet-18作为压缩域学生在RetinaNet、FCOS、GFL架构下进行训练与评估。

研究结果

Partial Decoding Experiments

研究人员对LFSP与简单光栅序列优先级（Simple Raster Sequence Prioritization, SRSP）进行定性与定量评估。结果表明，保留64个量化残差系数（PD64）为最优阈值。LFSP在PSNR达26.57 dB、SSIM达0.8491的同时，将平均解码延迟从19.1 ms降至13.9 ms，码流大小从18.46 Kb降至11.25 Kb。SRSP虽略快但质量指标严重退化，验证了LFSP在结构保真度上的必要性，超过64系数则边际效益递减。

Efficient Object Detection in Compressed Domain

在COCO-mini上，PD64配置的蒸馏增强学生网络（ResNet-18）总体mAP达25.08%，超越了全解码像素域基线（Px-Vanilla）的24.12%，总处理时间降至68.72 ms（基线73.93 ms）。在大目标（AP_L）检测上PD64达38.44%（基线32.64%），中目标（AP_M）达26.20%（基线25.48%），小目标（AP_S）为8.28%（基线10.96%）。该方法在完整COCO数据集及FCOS、GFL检测器上同样泛化有效，如GFL的mAP从25.52%提升至25.85%，且均保持约5.2 ms的端到端加速。

Ablation Study on Knowledge Distillation Components

单独使用全局特征蒸馏（GFD）mAP为23.41%，前景背景特征蒸馏（FBFD）次之，仅用Logit响应蒸馏（LRD）最低。GFD与FBFD结合提升至24.32%，三者全集成达到峰值25.30%（AP_L 38.70%）。证明全局语义对齐与空间前景聚焦是基础，辅以Logit对齐可有效桥接像素域至压缩域的语义鸿沟。

讨论与结论翻译

在本研究中，研究人员通过提出一种在压缩域运行的快速高效目标检测框架，解决了资源受限边缘计算上标准视频分析的临界计算瓶颈。研究人员引入了一种利用残差去除策略的部分解码方法。通过在编码器实施LFSP，框架系统性截断非必要残差系数。这种策略性省略生成了高度紧凑的码流，自然加速了标准解码过程并绕过了详尽计算，产生了高效的局部解码表示。为弥合语义差距并减轻精度退化，研究人员开发了跨域知识蒸馏策略。在COCO-mini及完整COCO数据集上的广泛实证评估证实，保留恰好64个量化残差系数产生了最优平衡，并使蒸馏增强的学生网络超越了全解码基线。尽管结果可喜，当前方法局限于帧内评估且尚未物理部署于边缘硬件。未来研究将聚焦于将该框架扩展至帧间视频流（P帧和B帧），并探索与其他遗留及现代标准（如VVC）的兼容性。