ZM-VAEGAN：用于领域鲁棒归纳零样本学习的结构对齐视觉状态空间建模

《Neurocomputing》：ZM-VAEGAN: Structure-aligned visual state space modeling for domain-robust inductive zero-shot learning

　　

# 摘要

零样本学习（ZSL）旨在利用已见类别中的语义知识来识别未见类别。然而，归纳式ZSL模型面临领域偏移问题——即视觉-语义不对齐导致泛化能力受损。为此，我们提出了ZM-VAEGAN，一个将结构对齐VAEGAN与视觉Mamba相结合的框架，用于捕获长程视觉依赖关系。我们的结构对齐（SA）机制显式建模类间和类内关系，减少相似类别间的混淆，从而增强视觉-语义一致性。ZM-VAEGAN采用联合变分与对抗训练，并通过跨模态特征对齐约束建立语义连贯的视觉-语义映射。为弥合跨模态差距，我们引入了语义感知局部投影（SLP）和全局表示学习（GRL）模块，以在多粒度上将视觉表示映射到语义空间。在四个基准上的大量实验表明，ZM-VAEGAN在ZSL和广义ZSL设置中均取得了最先进的性能，验证了其有效性和结构鲁棒性。

## 引言

近年来，图像处理和计算机视觉领域的进展推动了深度学习模型的突出地位，这主要归功于其端到端解决方案的能力，即集成特征提取和分类功能。尽管传统深度学习方法取得了成功，但它们需要大量的每类标注数据进行训练，且仅限于识别训练期间遇到过的类别的样本。一个关键挑战是所需类别的细粒度标注数据稀缺，标注工作劳动密集且依赖专业知识，特别是在医学影像和稀有物种识别等领域。部件-物体关系推理已成为视觉显著性检测中推断结构完整性的有效策略[1]，而专家乘积框架在数据稀缺场景下解决背景误分类方面也展现了潜力[2]。

零样本学习（ZSL），最初被称为零数据学习[3]，[4]，能够通过利用超出预定义类别的语义知识转移，对训练期间完全不存在的类别的实例进行分类。标准的归纳式ZSL框架使用不相交的已见类别集来训练模型，并利用与已见和未见类别相关的语义表示。其核心前提是基于共享的语义结构，将从已见类别学习的知识转移到未见类别。语义表示，例如编码判别性特征的类别属性向量（如"腿的数量"、"是否有毛发"），或从语料库中派生的文本嵌入，是该范式的基础。这些表示在视觉特征和高层类别描述符之间架起语义桥梁，构成知识转移机制的骨干。

生成模型包括变分自编码器（VAE）[5]和生成对抗网络（GAN）[6]在ZSL中展现了显著能力。这些模型通过学习联合分布建立从类别语义到视觉特征的映射，从而为未见类别合成人造特征。高级解决方案通过架构创新来增强这一过程：f-VAEGAN [7]采用无条件判别器来捕获全局数据分布，而Bi-VAEGAN [8]实现了双向对抗生成框架，在视觉和辅助域之间实现双空间对齐。最近，DFAN++ [9]引入了增强的三分支架构用于广义零样本分类。

然而，许多现有方法，包括最近的基于原型的框架，主要通过跨模态对齐点估计（如类别原型）来运作。这种范式往往无法充分捕获类内和类间特征的基础结构关系以及完整的特征分布。为了解决归纳式ZSL中的领域偏移根源，我们识别出类内和类间特征混淆是削弱知识转移的关键现象。类内混淆源于类内特征异质性（如年龄/性别、视角或照明的变化），而类间混淆则源于不同类别之间因共享属性或环境因素导致的高特征相似性。

为准确解决这些特征混淆问题，模型必须同时捕获整体全局上下文和细粒度局部细节。尽管视觉Transformer（ViT）存在二次计算瓶颈且CNN受限于局部性，我们引入了视觉Mamba（ViM）的状态空间建模（SSM）[10]到我们的生成框架中。除了实现线性复杂度的全局上下文捕获外，SSM的连续序列扫描机制天然地建模了视觉特征内的空间-语义相关性。与固定感受野限制长程依赖建模的CNN和通过点积运算将所有空间位置等同对待的ViT不同，SSM沿着四个方向扫描路径依次处理图像块。这种结构化遍历保留了视觉元素的空间顺序并捕获相邻区域间的渐进语义转变，这对于对齐局部视觉部件与对应语义属性尤为关键。此外，这种结构连贯性为VAE组件提供了高度正则化和解耦的潜在表示，通过维护跨视觉概念的良条件协方差结构来降低潜在空间崩溃的风险。因此，它缓解了标准GAN中常见的模式崩溃问题，并赋予生成器合成细粒度、视觉一致且与类别属性严格对齐的特征的能力。

此外，由于语义属性本质上同时包含局部细节（如"红色喙"）和整体概念（如"海洋栖息地"），将视觉标记直接投影到单一语义原型往往会加剧信息损失。为提供原则性解决方案，我们引入了语义感知局部投影（SLP）和全局表示学习（GRL）模块，协同对齐跨模态的部件级和全局特征。为缓解已见和未见域之间的结构差异，我们提出了结构对齐（SA）策略，通过高层语义建模来辨别固有的类别关系。该方法通过关系图学习细化类别属性边界，通过嵌入空间中的对比分离强化类间区分，并通过强制类内紧凑性优化特征连贯性以增强泛化能力。因此，我们开发了ZM-VAEGAN，将该SA策略与视觉Mamba的长程依赖建模集成在一起。SA增强框架通过根据结构目标重新校准特征生成来提升生成性能，确保合成特征遵循语义空间的拓扑约束。

为直观展示核心挑战与我们的解决方案，图1对比了传统生成式ZSL与我们的ZM-VAEGAN框架。如图1(a)所示，通过标准潜在空间直接将语义属性映射到视觉特征的传统方法遭受三种相互交织的失败模式：类间混淆，即视觉相似类别表现出重叠的特征分布；高类内方差导致散乱且不一致的聚类；以及模糊的幻觉点——合成特征落在任何有效类别流形之外。我们的框架如图1(b)所示，通过两种互补机制解决这些问题。首先，基于Mamba的上下文感知SSM模块在潜在映射前捕获长程空间-语义依赖，用结构上下文丰富特征表示。其次，结构对齐损失执行基于属性空间中马氏距离动态缩放类对之间间隔的M距离自适应间隔，同时收紧类内分布并推开语义上最易混淆的相似类别。

我们的主要贡献总结如下：（1）我们提出了一种新颖的SA机制，通过基于马氏距离的自适应间隔约束来建模类别关系，从而缓解领域偏移。这增强了类间分离和类内一致性，导致更具判别性的特征空间。（2）我们通过引入SLP和GRL模块，显式处理语义属性的多粒度特性，实现对局部部件和整体上下文的精确投影。（3）我们将视觉Mamba与基于VAEGAN的生成模型集成，实现高效的长程上下文建模和跨模态对齐，以支持对未见类别的鲁棒泛化。此设计在多个关键方面区别于先前方法：(a) 不同于ZeroMamba仅将Mamba用于直接特征映射，我们的框架将ViM嵌入生成式VAEGAN架构中，显式合成未见特征以解决归纳泛化问题；(b) 而f-VAEGAN和CADA-VAE主要专注于使用无条件判别器的全局数据分布对齐，我们的SA机制通过基于马氏距离的自适应间隔约束显式建模类别关系，在类内和类间级别捕获领域偏移；以及(c) 不同于Bi-VAEGAN专注于双域对齐的双向生成，我们的框架通过多粒度语义投影（SLP和GRL）进行补充，同时对齐局部部件和整体上下文。（4）在四个基准上的大量实验表明，ZM-VAEGAN在ZSL和GZSL设置中均优于现有方法。消融研究确认了每个组件在推动基础性能提升方面的独立贡献。

## 小节片段

### 零样本学习

零样本学习（ZSL）旨在识别训练阶段不存在的类别。广义零样本学习（GZSL）通过包含已见（训练）和未见（新颖）两类来扩展这一目标。ZSL中一种常见策略是将未见实例投影到语义空间并与语义属性关联[11]。早期研究主要集中在建立鲁棒的语义-视觉映射。为应对领域偏移这一重大挑战

### 提出的方法

为系统性解决前述类内和类间特征混淆问题，模型必须捕获整体全局上下文和细粒度局部细节。因此，我们增强的ZM-VAEGAN框架如图2所示，通过新颖的结构对齐（SA）机制协同视觉Mamba的线性复杂度长程依赖建模与VAE-WGAN，优化特征提取能力。系统首先使用视觉Mamba处理输入视觉

### 实现细节与计算复杂度

我们的方法使用PyTorch [24]实现，所有实验在NVIDIA GeForce RTX 4080 GPU上进行。我们的生成器和判别器采用多层感知器（MLP）实现。遵循[7]，类别嵌入和随机高斯噪声被拼接后送入生成器，该生成器具有4096个隐藏单元。在目标函数中，超参数设置为。我们使用Adam优化器，学习率为0.001。

**计算复杂度：** 关于

## 结论

在本工作中，我们提出了ZM-VAEGAN，一个旨在解决归纳式零样本学习中持续性领域偏移挑战的统一生成框架。通过将结构对齐VAEGAN与视觉Mamba集成，我们的模型有效地捕获长程视觉依赖关系，并通过带有跨模态对齐约束的联合变分与对抗训练来对齐视觉-语义空间。所提出的SA机制显式建模类别关系，减少类内

### 未引用参考文献

[29], [30], [31], [32], [33], [34], [35], [36], [37], [38], [40], [41], [42], [44], [45]

### CRediT作者贡献声明

Badi He：撰写——初稿，软件，数据管理。Yang Liu：撰写——审阅与编辑，撰写——初稿，资源，方法论，资金获取。Xun Du：撰写——审阅与编辑，验证，形式化分析。Haonan Chen：可视化，软件，数据管理。Lei Zhang：撰写——审阅与编辑，监督，方法论。

### 利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本文报道的工作。

### 致谢

本研究由国家自然科学基金（资助号62376207）资助；部分由重庆生物感知与多模态智能信息处理重点实验室开放基金（编号2024CKL-BMIIP02）资助；部分由海洋感知国家重点实验室开放项目（编号OSKF-2025Z06）资助；部分由西安电子科技大学学科交叉探索专项基金（资助号TZJH2024045）资助；部分由基础研究

Badi He目前在西安电子科技大学攻读工学学士学位。他的研究兴趣包括零样本学习和深度学习。

Badi He | Yang Liu | Xun Du | Haonan Chen | Lei Zhang