面向增量隐式精炼分类的具有动态双曲层次的互惠传输

《Neurocomputing》：Reciprocal transport with dynamic hyperbolic hierarchy for incremental implicitly-refined classification

　　

摘要 增量隐式细化分类 (IIRC) 是一种扩展的类增量学习 (CIL) 范式，要求从流数据中学习粗粒度和细粒度知识，并在增量会话期间进行认知细化。主要挑战在于：(a) 增量地发现超类和子类的层次关系，以及 (b) 抵抗层次关系的灾难性遗忘。现有方法利用静态层次关系或 CIL 中使用的传统知识迁移方案，导致性能令人不满意。我们提出了一个名为动态双曲层次下的互惠传输 (RTDHH) 的框架，该框架包含动态双曲层次 (DHH)、前向传输 (FT) 和后向传输 (BT) 模块。通过利用双曲几何的层次表示，DHH 模块在双曲空间内持续更新超类和子类的层次关系，作为指导互惠传输（即沿着从旧类到新类和新类到旧类的知识传输）的成本。之后，FT 模块将知识从旧类传输到新类，使新类能够继承并建立在旧知识之上；而 BT 模块反向传输知识，利用新类增强旧知识的保留。FT 和 BT 模块都利用类知识容量方案来控制传输的知识数量。得益于由这三个模块引起的反馈循环，细化的层次指导传输，而传输促进知识交互以同时细化层次。在 IIRC-CIFAR 和 IIRC-ImageNet 基准上的实验表明，RTDHH 优于最先进的方法。代码可用地址为 https://github.com/wangsfan/RTDHH.

引言 人类拥有持续获取和聚集知识的终身能力。受这种学习机制的启发，研究人员开发了一种称为增量学习的机器学习范式 [22]，使模型能够从流数据中持续学习。与依赖独立同分布假设的传统机器学习场景不同，增量学习处理跨顺序任务的非平稳和时间变化的数据分布。这提出了关键的灾难性遗忘挑战 [33]，即模型在训练新任务时倾向于忘记之前获得的知识。
增量学习包含三种范式 [45]：任务增量学习（在推理期间具有显式任务边界的学习任务特定模型，例如 Oren 和 Wolf [34]）、域增量学习（适应同一问题的上下文变化，例如 Yu 等人 [56]）和类增量学习 (CIL)（在推理期间无任务边界地顺序学习新类，例如 [4]，[50]，[60]）。显然，CIL 是最具挑战性的范式，广泛应用于持续语义分割 [57]、增量目标检测 [16] 和重识别 [55]、轻量化增量学习 [43]。
认知科学揭示人类不仅增量地积累知识，而且通过层次关联细化对实体的理解 [6]，这启发了 CIL 的一个子范式：增量隐式细化分类 (IIRC)[1]。如图 1 所示，IIRC 旨在跨增量任务相继学习具有粗粒度标签（超类，例如，鱼）和具有细粒度标签（子类，例如，金鱼）的类别，并最终预测所有已见的标签（例如，鱼，金鱼）。
在 IIRC 中，每个超类的数据是从其相应的子类中采样的（即，同一实体在不同层次标签下跨任务出现两次）[1]，这意味着层次结构。然而，这种隐式层次是脆弱的，容易由于旧类重放数据的稀缺而降解，破坏两种粒度之间的关联，这对 IIRC 至关重要。因此，解决 IIRC 的关键在于增量地发现并巩固层次关系以抵消 IIRC 特定的遗忘。与挖掘跨任务知识的传统 CIL 不同 [31]，[51]，IIRC 的知识独特地隐含在层次中，可用于指导相关类别协同增强彼此的学习。这样，层次连接随之收紧，并抵抗层次的遗忘。
关于 IIRC 有一些工作 [47]，[54]，[58]，[61] 表现出两个缺点。
•静态硬层次：大多数方法（例如 [47]，[54]，[61]）利用静态硬层次作为先验知识来部署策略，这会传播和积累错误的关系。
•知识利用不足：大多数方法（例如 [54]，[58]）利用从旧模型到新模型的前述知识蒸馏方案，无法充分吸收由子类和超类相关性引起的先验知识。
受 CEC+ [49] 设计伪增量关系细化方案以组装类间知识的启发，我们提出了一个框架：动态双曲层次下的互惠传输 (RTDHH)，其核心思想是在双曲空间中持续构建动态层次关系，并利用该关系作为传输成本来指导旧类和新类之间的互惠知识传输。通过这种方式，RTDHH 创建了一个反馈循环，其中细化的层次指导传输，而传输促进知识交互以细化层次。具体来说，RTDHH 由三个模块组成。
•前向传输 (FT) 将知识从旧分类器传输以生成辅助分类器，从而使新类能够继承并建立在旧知识之上。
•后向传输 (BT) 将知识从新 logits 的新分量传输以生成辅助旧 logits，利用新类增强旧知识的保留。
•动态双曲层次 (DHH) 将类特征嵌入到双曲空间中以测量相似度，因为双曲几何擅长表示树状层次结构 [39]。导出的双曲层次关系在每个传输后动态更新，以受益于旧类和新类的交互。
总的来说，RTDHH 的贡献有三点：
•由层次关系指导的互惠知识传输以收紧层次连接，使用前向和后向传输分别解决前向继承和后向保留问题。
•一种层次重构方案，在双曲空间中动态构建层次关系矩阵，实现渐进式细化。据我们所知，这是第一项在 IIRC 中实现动态层次的工作。
•在 IIRC-CIFAR、IIRC-ImageNet-Subset、IIRC-ImageNet-Lite 和 IIRC-ImageNet-Full 上的广泛实验表明，性能优于最先进的方法。
本文组织如下：第 3 节详细说明了 IIRC 的公式化和 RTDHH 的方法论。第 4 节展示了实验结果。第 5 节总结了本文。
我们列出了与 RTDHH 最接近的两项研究工作 [62] 和 [47]。COIL [62] 提出最优传输以在旧类和新类之间传输知识。RTDHH 与 COIL [62] 的区别有两点。(a) 对于最优传输的成本矩阵，我们在双曲空间中构建它，而不是欧几里得空间，以更好地表征 IIRC 中的层次。(b) 对于最优传输的约束归一化边际概率，我们选择性地采用专门的类知识容量方案，而不是均匀方案，这种设计使概率能够反映每个类的传输知识数量。HCV [47] 提出静态硬层次作为先验知识来解决 IIRC。RTDHH 与 Wang 等人 [47] 的区别在于，我们动态计算和更新软层次关系矩阵，以避免传播和加剧错误的关系。

章节片段
相关工作
我们首先回顾传统 CIL 范式的研究工作（第 2.1 节）。然后我们回顾子范式：IIRC 的最新进展（第 2.2 节）。最后，我们回顾双曲深度学习（第 2.3 节）、层次分类（第 2.4 节）和最优传输（第 2.5 节）的一些代表性工作。
RTDHH 的方法
第 3.1 节给出了 IIRC 的任务公式化。第 3.2 节给出了 RTDHH 的概述。3.3 动态双曲层次 (DHH) 模块发现软性和动态类关系，3.4 FT 模块用旧知识丰富新类，3.5 BT 模块用新知识丰富旧类 详细说明了 RTDHH 的三个模块。第 3.6 节总结了 RTDHH 的训练和测试过程。
实验
我们进行实验并回答以下研究问题。
RQ1：DHH 模块如何捕获层次关系？
RQ2：FT 模块如何通过旧知识继承促进新类？
RQ3：BT 模块如何通过新知识继承提示旧类？
结论
针对增量隐式细化分类 (IIRC) 中隐式层次的具体灾难性遗忘，我们提出了动态双曲层次下的互惠传输 (RTDHH) 框架，该框架持续利用在双曲空间中构建的动态层次关系作为最优传输成本，以指导旧类和新类之间的互惠知识传输，从而在知识迁移和层次之间建立相互强化循环。
CRediT 作者贡献声明
Qianna Ye：写作 – 初稿，方法论。Shaofan Wang：项目管理。Yanfeng Sun：概念化。Jiangna Xie：验证。Baocai Yin：写作 – 审阅与编辑。
利益冲突声明
作者声明他们没有任何已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
Qianna Ye 于 2023 年获得中国南京邮电大学智能科学与技术学士学位。她目前是中国北京北京理工大学人工智能学院的研究生。她的研究兴趣是增量学习。
Qianna Ye|Shaofan Wang|Yanfeng Sun|Jiangna Xie|Baocai Yin
北京市多模态认知计算与智能软件技术重点实验室，北京理工大学人工智能学院，北京朝阳区平乐园 100 号，100124，中国