ProSe:通过基于原型的选择实现知识解耦,用于数据增量式物体检测

《Expert Systems with Applications》:ProSe: Decoupling Knowledge via Prototype-based Selection for Data-Incremental Object Detection

【字体: 大 中 小 】 时间:2026年01月07日 来源:Expert Systems with Applications 9.4

编辑推荐:

  季泽轩|张健|严硕乐 中国南京,210094,南京理工大学计算机科学与工程学院 摘要 在用连续数据更新模型时,增量物体检测仍面临灾难性遗忘问题。现有方法大多孤立地处理类别增量或领域增量场景,通常依赖复杂的知识蒸馏或数据重放机制。这些策略会带来训练不稳定、可扩展性问题

  季泽轩|张健|严硕乐
中国南京,210094,南京理工大学计算机科学与工程学院

摘要
在用连续数据更新模型时,增量物体检测仍面临灾难性遗忘问题。现有方法大多孤立地处理类别增量或领域增量场景,通常依赖复杂的知识蒸馏或数据重放机制。这些策略会带来训练不稳定、可扩展性问题和优化难题。本文提出一种统一的数据增量学习范式,能够同时应对类别动态和领域变化,为不断变化的数据流提供更现实、更通用的框架。在该范式中,我们引入了基于原型的选择(ProSe)机制,这是一种无需蒸馏且无需重放的框架,适用于基于DETR的检测器。该机制在编码器与解码器之间插入可学习的原型,以捕捉数据集层面的语义信息,并通过基于注意力的选择器在推理过程中动态将每个输入路由到最合适的增量特定分支。由于避免了重复覆盖单一共享模型,而是仅更新选定的分支,ProSe能更好地保留先前学到的特征表示,并在长期增量更新中保持稳定性能。在九个不同基准测试上的大量实验表明,ProSe的性能可与最先进的方法相媲美甚至更优,同时显著简化了训练过程,确保了长期的稳定学习。相关代码可在https://github.com/Kled-Skaarl/ProSe获取。

引言
过去十年间,物体检测技术发展迅速,现已成为自动驾驶、视频监控和遥感等应用的基础。传统的两阶段检测器(Ren等人,2015)、单阶段检测器(Jocher等人,以及Khanam和Hussain等人),以及最近的基于Transformer的检测器(Li等人,2023;Peng等人,2023),都体现了该领域的成熟度,它们在精度与效率之间提供了不同的权衡,并实现了端到端的集合预测功能。除了RGB图像之外,红外小目标检测在监控和遥感领域也日益重要,近期研究着眼于时间上下文建模、小波注意力混合模型、动态注意力Transformer,以及针对低信噪比小目标的频域-空间或边缘感知Transformer(Hu等人,2024;Jing等人,2025a;Zhu等人,2025b)。尽管取得了这些进展,但在实际应用中的推理数据往往因硬件限制和动态环境而偏离训练数据分布。这些偏差主要表现为类别动态——即物体类别的出现、消失或替换——以及领域变化——即现有类别内的分布变化。仅基于初始数据集训练的模型往往无法适应此类变化。

一个简单的解决办法是在包含旧样本和新样本的整合数据集上重新训练模型。然而,由于高昂的计算成本、延迟问题以及隐私限制使得无法获取历史数据,这种方法往往不切实际(Dong等人,2024)。因此,基于重放的策略(Boschini等人,2022;Shin等人,2017;Wang等人,2025)在现实场景中很少适用,而仅基于新数据对模型进行微调(Chen等人,2020;Guo等人,2019;Vrban?i?等人,2020)则不可避免地会导致灾难性遗忘。如图1所示,微调过程中旧数据的特征激活值会发生显著变化,这表明先前学到的知识已经丧失。

为了解决这些问题,增量物体检测技术使模型能够在学习新数据的同时保留原有知识。大多数现有方法(Dong等人,2023;Hao等人,2019;Kang等人,2023;Li等人,2019;Peng等人,2020;Peng等人,2023)采用知识蒸馏技术(KD)(Li和Hoiem,2017),即通过固定的教师模型引导学生网络在训练过程中保留旧知识。然而,将KD应用于基于DETR的检测器时(Carion等人,2020;Hou等人,2024;Zhao等人,2024),往往无法获得理想效果,尤其是在新数据量有限的情况下。如图2所示,传统KD不仅无法有效缓解遗忘问题,还可能降低模型在新任务上的性能。这一限制源于Transformer架构较弱的归纳偏置和庞大的参数空间(d’Ascoli等人,2021;Mao等人,2022;Xu等人,2021),这使得它们对数据分布的变化十分敏感,且难以通过静态的教师监督进行规范化。此外,大多数增量检测器依赖于复杂的蒸馏损失函数和重放机制,需要教师模型以及大量的超参数调整,这进一步增加了训练的不稳定性,降低了可扩展性。我们认为,训练过程中的简洁性与稳定性对于实用的增量学习至关重要,因此有必要探索更为简洁且稳健的优化策略。除此之外,大多数现有范式缺乏通用性,要么仅关注类别增量场景(Dong等人,2023;Feng等人,2024;Kang等人,2023;Kim等人,2025;Wen等人,2024),要么仅关注领域增量场景(Ding等人,2023;Shen等人,2025;Song等人,2024)。而在现实场景中,类别构成和领域特征往往是同时变化的。在这种新的动态环境中——即新类别在不断变化的领域中出现——单轴范式已不足以描述数据持续的演化过程。

鉴于这些局限以及我们在实际应用中的观察结果,我们提出了一种更为广泛且以数据为中心的框架,即数据增量学习范式。如图3所示,传统的类别增量学习假设领域保持不变,而物体类别数量随时间增加;而领域增量学习则保持标签空间不变,但会持续遇到新的领域。然而在实际应用中,数据往往以更灵活的方式演变:有些数据增量在相同领域下引入新类别,有些则带来具有部分重叠类别的新领域,还有些则改变各领域中已有类别的相对比例。我们将这种更一般的场景——即数据增量可能涉及类别动态、领域变化或二者兼有——称为数据增量学习。其目标是让已部署的检测器以最小的额外训练成本适应这类不断变化的数据。

近年来,原型学习领域取得了不少进展(Jetley等人,2020;Yuksekgonul等人,2023),这些研究旨在揭示数据背后的抽象语义概念。受此启发,我们在数据增量学习场景下为DETR系列检测器引入了一种名为基于原型的选择(ProSe)的新方法。在训练过程中,ProSe在编码器与解码器模块之间插入可学习的原型,这些原型经过优化后可捕捉特征空间的结构分布。关键在于,这些原型仅在训练期间起作用,在推理过程中会被排除在外。每个基于新数据增量训练的模型都会被分配一组专用的原型,从而实现跨数据增量的知识有效分离。在推理阶段,我们引入了基于注意力的选择器,用于为给定输入识别最具语义匹配度的模型分支。输入图像会由所有编码器分支并行处理,每个分支对应一组独特的原型和一组解码器查询。选择器会计算两个互补的基于注意力的相似度分数:(1)原型相似度,用于量化输入特征图与对应原型组之间的匹配程度;(2)语义响应一致性,用于根据解码器查询和对编码特征的注意力响应,评估解码器查询与原型之间的连贯性。这两个分数会被综合起来,以选择最佳的编码器-解码器路径用于推理。通过将新信息的学习与先前获得的知识有效分离,ProSe大大降低了灾难性遗忘的风险,并在多种增量学习场景中展现出更优异的性能。此外,ProSe采用模块化设计,且与编码器-解码器架构兼容,因此只需进行少量架构调整即可将其应用于各种基于DETR的物体检测器。

总之,我们的贡献如下:
• 我们构建了一种统一的数据增量学习范式,它融合了类别增量和领域增量方法,为物体检测中的类别演化及分布变化提供了更广泛、更灵活的处理方式。
• 基于该范式,我们提出了基于原型的选择(ProSe)这一新方法,该方法利用可学习的原型池作为动态模型选择机制。ProSe能够捕捉数据集层面的语义信息,并根据输入的特征分布自适应地选择合适的模型分支。
• 我们的方法通过将旧知识与新知识分离到不同的分支中,有效缓解了灾难性遗忘问题,同时保持了训练过程的稳定性。这种设计无需依赖额外的目标函数或教师模型,因而可实现简单且稳定的优化。
• 所提出的原型学习模块具有模块化特性,可直接应用于基于DETR的检测器。它避免了知识蒸馏的复杂性,使得在新数据上能够进行简单的端到端训练。在推理阶段,多个分支与基于注意力的选择器可以并行运行,由于是并行处理,因此几乎不会产生额外的延迟。

我们在由九个常用物体检测数据集构成的多种增量学习场景下对ProSe进行了评估。这些场景是根据我们提出的数据增量学习范式设计的。实验结果表明,ProSe在缓解灾难性遗忘方面具有明显优势,同时能在保留原有知识与获取新信息之间实现良好的平衡。第5.1节将详细讨论多分支设计可能带来的计算开销问题。

片段摘录
端到端物体检测器
最近,DETR系列检测器由于采用了Transformer架构,能够利用全局上下文建模和一对一的匈牙利匹配技术,实现无锚点、无NMS的端到端物体检测,因而受到了广泛关注(Carion等人,2020)。尽管原始的DETR存在收敛速度慢、对小物体检测性能不佳的问题,但已有诸多改进方案被提出:可变形DETR(Zhu等人,2020)提升了多尺度特征的表现能力……

数据增量学习范式
我们考虑这样一种场景:数据流由T个不同的分布组成,这些分布可能会因类别动态(如类别的出现、消失或替换)和/或领域变化(如光照、视角或传感器设置的变化)而发生改变。这个序列记为{D1,D2,?,DT},其中每个分布Dt={Xt,Zt}代表增量学习过程第t阶段的数据库,Xt和Zt分别表示训练集和测试集。具体而言,D1……

实验、数据集与评估指标
为验证所提方法在数据增量学习场景下的有效性,我们设计了模拟单阶段和多阶段增量场景的实验。这些场景体现了我们提出的数据增量学习范式,涵盖了类别变化和领域变化两种情况。我们在九个常用且差异较大的基准数据集上进行了评估。物体检测性能主要通过平均精度均值来衡量……

训练效率与推理开销
ProSe通过消除对复杂知识蒸馏或数据重放的需求,简化了增量训练过程,使得可以在新数据上进行直接的端到端优化。为保持部署效率,RT-DETR架构通过将解码器与共享的骨干网络及编码器分离而实现了模块化设计。在推理过程中,编码器分支会并行运行,而基于注意力的选择器则只会激活最相关的解码器。这种按需加载策略避免了始终保留所有解码器……

结论
本文提出了ProSe(基于原型的选择),这是一种基于DETR的用于数据增量物体检测的方法。首先,我们提出了一种统一的数据增量学习范式,该范式能更真实地反映现实世界中的类别动态和领域变化。在此基础上,ProSe利用仅在训练期间使用的可学习原型池,来表征每个增量阶段的独特数据分布。在推理阶段,一种高效的基于注意力的选择器会动态选择最合适的模型分支……

CRediT作者贡献声明
季泽轩:概念设计、方法论、软件实现、研究实施、初稿撰写。张健:指导监督、项目管理、资金筹措、审稿与编辑。严硕乐:形式分析、验证、可视化、审稿与编辑。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号