PromptCIL：面向视听类别增量学习的特征引导提示方法

《Expert Systems with Applications》：PromptCIL: Feature-Guided Prompting for Audio-Visual Class-Incremental Learning

　　

章节摘要

持续学习

回放方法：回放方法通过存储少量先前任务的样本来避免灾难性遗忘。示例存储涉及选择更具信息量的困难样本的算法。选择策略基于最高预测熵 Chaudhry, Dokania, Ajanthan, & Torr (2018)、最近均值方法 Rebuffi, Kolesnikov, Sperl, & Lampert (2017)、不确定性估计 Bang, Kim, Yoo, Ha, & Choi (2021)，以及基于元学习的优化 Liu, Su, Liu,...

问题设定

CIL 旨在训练一个参数为 θ 的网络 F_θ，使其能够在来自顺序任务的非平稳数据上工作。总共包含 T 个任务的序列 {T₁, T₂, ..., T_T} 在 CIL 设置的测试阶段不包含任务标识。在视频设置中，每个增量步骤 t 处的输入数据 ${\mathcal{D}}_t$ 包含音频和视觉信号及其对应的标签。输入 ${\mathcal{D}}_t={\left\{\right(x_{t,i}^a,x_{t,i}^v,y_{t,i}\left)\right\}}_{i=1}^{n_t}$ 由音频信号 $x_{t,i}^a$、视觉信号 $x_{t,i}^v$ 以及对应的类别标签 $y_{t,i}\in {\mathcal{C}}_t$ 组成，其中 ${\mathcal{C}}_{}$...

方法论

PromptCIL 由自监督预训练的自编码器、音频引导的视觉注意力机制、音频-视觉融合模块以及分类器层组成。我们在训练过程中冻结自监督预训练的视觉和音频编码器，其余模块使用提示进行训练。我们提出了特征空间中的高效提示设计，以减少灾难性遗忘。完整的流程如图 1 所示。

数据集与评估指标

为了评估所提出的 PromptCIL 的有效性，我们在三个为音频-视觉 CIL 量身定制的基准数据集上进行了实验。每个数据集被划分为增量步骤，并使用固定的示例存储进行回放。此外，PromptCIL 采用基于提示的语义增强，提供了一种混合机制来缓解遗忘。

AVE-Class-Incremental (AVE-CI)（Pian et al., 2023）：从音频-视觉事件数据集构建，AVE-CI 包含多样化的事件以及...

消融实验

在多种实验设置中分析了 prompt-CL 的有效性：

实际部署场景与局限性

PromptCIL 对于智能助手、自动驾驶、监控系统和具身智能等实际应用尤为重要，这些场景需要在不断变化的环境中实现无缝的多模态感知 Li, Li, & Pan (2020); Wu et al. (2025); Zhang et al. (2024c)。在这些场景中，随着时间的推移可能会出现新的事件类别、用户意图、动作和环境条件，同时大量未标注的音频-视觉数据往往...

结论

PromptCIL 是一种混合重演方法，额外使用固定的提示池，探索了使用提示修改特征在持续学习设置下训练联合音频-视觉模态的有效性。在输入特征中加入额外的提示引导信息有助于应对灾难性遗忘。这些提示通过 K-均值聚类生成，并通过余弦相似度检索，随后与当前输入进行注意力加权融合。

CRediT 作者贡献声明

Aditya Kumar Singh：概念化、方法论、调查研究。Rini Smita Thakur：初稿撰写、形式化分析、实验设计。Parinita Nema：方法论、可视化、形式化分析。Vinod K. Kurmi：监督、验证、审稿与编辑。

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或个人关系可能会影响本文所报告的工作。

Aditya Kumar Singh | Rini Smita Thakur | Parinita Nema | Vinod K. Kurmi