AlignVSS：面向高效视频语义分割的对齐增强特征传播与蒸馏

《Knowledge-Based Systems》：AlignVSS: Alignment-enhanced feature propagation and distillation for efficient Video Semantic Segmentation

　　

- 一种新颖的对齐增强框架，用于高效的视频语义分割。
- 全局到局部的特征传播，实现精确高效的帧间对齐。
- 双粒度对齐蒸馏，补偿非关键帧中的信息损失。
- 在公开视频分割基准上展现出卓越的精度-效率权衡。

## 引言

语义分割是一种密集预测任务，为图像中的每个像素分配语义标签。通过提供细粒度的场景理解，它是自动驾驶[1][2]、机器人感知[3]和遥感[4][5]等广泛感知应用中的基本组成部分。

在深度学习最新进展的推动下，语义分割的精度得到了显著提升。然而，大多数现有方法[6][7][8][9][10][11][12][13][14]仅针对单幅图像进行操作，将每一帧独立处理。这种设计在处理每秒数十帧的视频流时的现实场景中成为主要瓶颈。忽略时间连续性使得这些基于图像的模型无法利用帧间相关性，导致分割效率低下。为满足实际应用中的实时性要求，必须利用视频帧之间固有的连续性和相似性，从而减少计算冗余并提高分割效率。

已有若干方法[15][16][17][18][19]专门针对视频语义分割以提高计算效率。一个常见的思路是通过变换先前关键帧的特征来推导当前帧的特征。例如，一种直观的解决方案是利用光流来变形特征[17][18][20]，从而实现帧间特征传播。然而，光流的计算非常耗时，很大程度上抵消了效率上的优势。为了避免这一开销，另一类工作[16][19][21]基于低级特征之间的相关性来估计高级特征的传播权重，从而实现快速推理。LLVS[16]使用卷积操作计算此类相关性，其隐含地建模关系但受限于有限的感受野，导致高级表示的传播权重不准确。THA[21]采用注意力机制来显式度量帧间相关性并进行特征变换。然而，由于当前帧的每个位置仅与其在前一关键帧中空间对应的位置进行交互，这种一对一时常导致在物体运动引起空间错位时精度欠佳。为缓解这一问题，DCNVSS[19]引入了一种局部注意力机制，从更大邻域中聚合高级特征，在精度和效率之间取得了更好的平衡。然而，其关于窗口大小的二次计算复杂度阻碍了全局信息的引入，从而限制了整体效果。

除了视频语义分割中任务特定的特征传播机制外，通用序列学习领域的最新进展也为高效的时间信息传输和选择性表示聚合提供了有价值的见解。动态循环路由与低秩正则化[22]已被探索用于增强信息流同时降低循环神经网络的复杂度。残差序列架构也已开发出来，将时间卷积线索集成到循环隐藏表示中[23]。此外，分段记忆优化[24]能够实现长时间序列上信息的自适应组织和聚合，而稀疏访问记忆架构[25]则利用局部多头自注意力选择性地检索有信息量的历史表示。总体而言，这些研究突出了自适应路由、选择性聚合和稀疏信息访问在减少冗余时间计算方面的潜力。然而，这些方法主要是为通用序列建模而非密集视频预测设计的，因此并未明确解决帧间特征传播过程中的空间特征对应、运动引起的错位和语义信息损失等问题。

鉴于此，我们提出了一种新颖的全局到局部特征传播（GLFP）算法，该算法能够在实现高计算效率的同时有效地进行帧间特征变换。GLFP分两个阶段执行特征传播：全局可变形对齐（GDA）和局部注意力细化（LAR）。具体而言，GDA利用改进的可变形卷积[26]从关键帧特征的浅层和深层自适应地采样和聚合全局有信息量的特征点，从而实现到当前帧的粗略全局对齐。随后，LAR计算两帧之间的局部相似度并将其用作注意力权重来细化传播特征，为当前帧生成精确的高级表示。与以往的方法[16][19][21]不同，这些方法在建立帧间对应关系时依赖于固定的一对一位置映射或规则方形区域，我们的方法以更灵活和鲁棒的方式构建相关性。这种全局到局部的传播策略为当前帧提供了更相关的参考信息，实现了既有效又高效的特征传播。

为了缓解帧间特征传播过程中引入的信息损失，我们进一步提出了一种称为双粒度对齐蒸馏（DGAD）的知识蒸馏方案。DGAD采用特征级蒸馏损失，以更具复杂度的教师模型在同一帧提取的高级特征作为监督，指导非关键帧分割模型恢复缺失信息。该策略使非关键帧分支能够恢复空间多尺度和通道对齐的语义表示，在推理过程中不产生额外计算开销的前提下提高分割精度。

通过整合所提出的GLFP模块和DGAD策略，我们构建了一个名为AlignVSS的对齐增强高效视频语义分割框架。如图1所示，AlignVSS在分割精度和推理效率两方面与最近的基于视频的高效方法进行了比较。结果表明，AlignVSS始终提供具有竞争力的分割性能，同时实现快速推理速度，有效平衡了精度和效率。本研究的动机、新颖性、目标和主要贡献总结如下：

**动机**
- 高效的视频语义分割方法通常通过将关键帧的特征传播到非关键帧来减少计算冗余。然而，现有方法在有效利用全局上下文信息、维持跨帧语义对齐以及缓解信息损失方面仍面临挑战，这可能限制分割精度。

**新颖性**
- 我们提出了一种新颖的对齐增强高效视频语义分割框架AlignVSS，该框架集成了全局到局部的特征传播模块与双粒度对齐蒸馏策略，以提高分割精度和效率。

**目标**
- 本研究旨在开发一个高效且精确的视频语义分割框架，在分割精度和计算效率之间实现良好的权衡。

**主要贡献**
- 我们提出了一种名为AlignVSS的新型视频语义分割框架，通过集成全局到局部的特征传播模块与双粒度对齐蒸馏策略，在精度和效率之间实现了良好的权衡。
- 我们开发了一种名为GLFP的灵活且鲁棒的特征传播模块，该模块渐进式地利用关键帧中的全局和局部上下文信息。通过跨帧传播高级语义特征，该模块显著减少了冗余计算并提高了分割效率。
- 我们引入了一种名为DGAD的对齐感知特征蒸馏策略，使非关键帧表示能够接受语义对齐且多尺度教师模型的监督。该策略在训练期间提供了标签级指导之外的额外特征级监督，从而在不增加额外推理成本的情况下提高分割精度。
- 在多个公开基准上的大量实验表明，所提出的方法在精度-效率权衡方面始终优于现有的高效视频语义分割方法。

本文其余部分组织如下：第2节回顾现有的图像和视频语义分割算法。第3节详细描述所提出的方法。第4节在两个公开数据集上展示实验结果，以验证所提出方法的有效性和优越性。最后，第5节对全文进行总结。

## 相关工作总结

### 图像语义分割

基于深度学习的方法近年来在图像语义分割领域占据主导地位。全卷积网络（FCNs）[6]首次将卷积神经网络（CNNs）引入语义分割任务，凭借其强大的特征建模能力取得了显著成功。然而，卷积操作固有的空间局部性限制了CNN捕获全局上下文的能力。为克服这一局限性，提出了各种增强方案。若干……

## 方法

在本节中，我们介绍所提出的AlignVSS框架。我们首先概述整体架构，然后详细描述其两个关键组成部分：高效特征传播模块和对齐导向的训练优化策略。

## 实验

在本节中，我们首先介绍用于模型性能评估的公开数据集，以及训练和测试的实现细节。然后，我们在这些数据集上将我们的方法与现有的视频语义分割方法进行性能比较。最后，我们进行消融实验以评估各个组件对整体AlignVSS框架的影响。

## 结论与未来工作

在本研究中，我们研究了高效视频语义分割问题，并提出了AlignVSS框架，该框架在分割精度和计算效率之间实现了良好的平衡。通过将关键帧特征精确对齐并传播到非关键帧，AlignVSS在保持高质量分割结果的同时显著减少了帧间冗余计算。所提出的框架由两个互补的组成部分构成：一个全局到局部的特征……

## CRediT作者贡献声明

Teng Li：撰写——初稿、可视化、验证、软件、方法论、调查、形式分析、概念化。Shumin An：撰写——初稿、验证、软件、方法论、调查、数据整理、概念化。Qingmin Liao：监督、资源、项目管理、资金获取。Fengyu Chen：撰写——初稿、调查、形式分析。Yingda Shang：撰写——初稿、调查。

## 利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。

Teng Li | Shumin An | Qingmin Liao | Fengyu Chen | Yingda Shang