一种制备中子敏感的10B掺杂nMCP的新方法

《Optics & Laser Technology》:Novel method for preparation neutron sensitive 10B-doped nMCP

【字体: 大 中 小 】 时间:2026年03月05日 来源:Optics & Laser Technology 4.6

编辑推荐:

  狄刘|张岩|石志光|张宇|凌峰 中国湖南省长沙市开福区德雅路109号,国防科技大学电子科学与技术学院,自动目标识别科技国家重点实验室,邮编410073 **摘要** 近年来,得益于红外传感器的全天候成像能力以及深度学习的快速发展,基于深度学习的红外目标识别系统在民用

  狄刘|张岩|石志光|张宇|凌峰
中国湖南省长沙市开福区德雅路109号,国防科技大学电子科学与技术学院,自动目标识别科技国家重点实验室,邮编410073

**摘要**
近年来,得益于红外传感器的全天候成像能力以及深度学习的快速发展,基于深度学习的红外目标识别系统在民用和军事领域得到了广泛应用。然而,在大多数实际场景中,新类型目标往往伴随着有限的样本出现,这就要求基于深度学习的红外目标识别系统能够不断从稀少数据中学习新知识,同时避免严重遗忘原有知识。为此,我们研究了红外目标识别领域的少样本类增量学习方法,并提出了一种对比式自监督子空间分类器,该分类器既注重模型的通用表示能力,又强调其稳定的区分能力。考虑到目标红外特征的多样性会因拍摄视角、目标姿态及周围环境的不同而变化,我们引入了一种基于MoCo框架的对比式自监督学习架构,并结合多路径对比样本增强策略,以提升模型对预收集的充足样本中的类无关特征的表示能力。在现实世界中,由于新类别的知识往往来自少量样本且存在较大偏差与不完整性,因此需要通过选择已有类别的代表性特征来构建平衡的子空间分类器,以实现点到空间的识别。实验中,我们使用了自建的FSCIL-IRTR和FSCIL-FLIR两个任务数据集进行评估。大量实验结果表明,所提出的CSSC分类器在性能上显著优于众多现有先进方法,证明了其在处理实际红外目标识别任务中的有效性。

**1. 引言**
红外图像作为一种关键技术,因其便捷性、对环境的强适应性以及相比雷达图像更清晰的目标特征,已在现代社会中得到广泛应用。作为红外图像的基本应用之一,红外目标识别旨在利用红外图像中的目标热特征来识别目标类别,其应用范围涵盖民用领域(如人脸识别、安全监控、船舶检测与识别)以及军事领域(如精确制导、战场监视)。

传统上,红外目标识别主要采用模板匹配方法,即预先设计一组手工制作的特征作为类别模板,在推理阶段提取未知目标的特征,再根据这些特征与模板之间的相似度来预测其类别标签。虽然这种方法能够提供直观且易于理解的特征信息,但由于红外图像中目标模式会因目标配置、姿态及场景的不同而发生变化,导致其性能不稳定。近年来,以深度学习为代表的表征学习方法逐渐成为研究热点,因其具备强大的特征提取与区分能力。在深度学习方法中,卷积神经网络经过优化后可以自动提取包含目标层次结构信息的语义特征,推理阶段则通过将未知目标的语义特征与类别特征进行比较,并依据特定的距离准则来确定目标标签。尽管基于深度学习的方案在性能上优于传统方法,但它们大多适用于静态且封闭的场景,即训练和测试阶段的类别及数据分布保持稳定。而在实际的红外目标识别场景中,如预警和异常检测,新类型目标可能会随时出现,这就要求基于深度学习的红外目标识别系统具备在动态环境中持续学习新概念的能力,即类增量学习能力。通常,类增量学习问题假设新类别拥有足够的样本,因此主要关注算法对原有知识的灾难性遗忘问题。目前,由于光学相机能够轻松获取图像,相关研究仍主要集中在计算机视觉领域。然而,在许多对抗性强的非合作场景中,如战场环境,感兴趣的目标往往只能通过有限样本获取,要获得足够丰富且多样的目标信息以实现稳定识别十分困难,甚至不可能。在这种背景下,让基于深度学习的红外目标识别系统具备从少量样本中不断学习新知识的能力显得尤为重要。

少样本类增量学习方法起源于计算机视觉领域,旨在推动基于深度学习的方法从少量连续样本中学习新目标。除了灾难性遗忘问题外,还需同时考虑过拟合问题,即分类器倾向于学习过于具体的新类别模式。解决前者问题需要保持模型对原有知识的稳定性,而提升其对新知识的区分能力则需要模型的可塑性。因此,要在模型对旧知识的稳定性与其对新知识的可塑性之间取得平衡,对于解决少样本类增量学习问题至关重要。目前,该方法通常采用基于最近类均值分类器的CNN特征提取器,其中CNN特征提取部分仅在大规模基础类别样本上进行训练,而新类别的原型则仅被纳入最近类均值分类器中,用于当前推理任务。尽管这种思路较为简单,但由于光学图像与红外图像在目标特征上的巨大差异,直接将其应用于红外目标识别任务既不具备竞争力,也不合理。

为解决这一问题,我们提出了一种新型的对比式自监督子空间分类器,以实现通用的特征表示和稳定的推理性能。具体而言,该分类器结合了MoCo框架支持的对比式自监督学习任务与基础类别分类任务,借助对比队列和对比字典提供的多样化对比目标特征,学习强大的类无关特征。此外,我们还设计了多路径对比样本增强策略,通过几何变换、强度变换和背景变换等方式丰富自监督样本库,进一步帮助模型感知类不变的模式。在增量学习过程中,由于来自有限样本的新类别目标特征极为稀少且不稳定,我们会冻结基于深度学习的特征提取器的参数,以保留原有知识。与基于类别原型的最近类均值分类器不同,我们通过“群体策略”筛选出的基础类别特征以及所有增量类别特征共同构成一个平衡的子空间分类器,从而实现稳定的分类。

实验中,我们构建了FSCIL-IRTR和FSCIL-FLIR两个与任务相关的数据集用于验证。与现有先进方法相比,实验结果充分展示了所提出的自监督策略和损失函数的有效性,证明了CSSC分类器在处理红外目标识别领域的少样本类增量学习问题方面的优异性能。综上,我们的贡献如下:
- 我们研究了红外目标识别领域的少样本类增量学习问题,并提出了一种同时注重模型通用表示能力和稳定区分能力的CSSC框架;
- 我们设计了一种基于MoCo框架且结合多路径对比样本增强策略的自监督对比学习架构,用于提升模型的类无关特征表现,并通过“群体策略”筛选特征构建平衡的子空间分类器,以实现针对特定类别的稳定分类;
- 我们的方法在FSCIL-IRTR和FSCIL-FLIR两个基准数据集上均取得了优异的性能,优于多种现有先进方法,证明了其在实际红外目标识别应用中的实用性。

本文的其余部分结构如下:第2节介绍相关研究工作,第3节阐述整体框架,包括问题定义、研究动机和技术思路;第4节介绍实验设置,并给出详细的实验结果与分析;第5节详细讨论我们的方法,第6节给出结论。

**2. 相关工作**
**2.1 红外目标识别**
温度高于绝对零度的物体都能发出红外辐射,这类辐射可以被红外传感器检测到。红外目标识别主要致力于对红外图像中的目标进行分类,这一领域已有大量研究,例如雷达图像中的目标识别研究[1][2][3][4]。传统上,红外目标识别主要涉及设计与目标纹理和结构信息相关的手工特征,通常通过图像处理技术提取纹理、结构及对比度等低级细节,随后将这些特征输入到最近邻分类器、贝叶斯分类器或支持向量机等分类器中,以确定目标类别,相关研究可见[5][6][7][8]。虽然这些手工设计的特征具有明确且易于理解的物理意义,但它们的泛化能力受到限制,难以在复杂环境中有效区分不同类别的目标。随着红外目标图像的日益增多以及深度学习的快速发展,基于深度学习的红外目标识别系统已成为主流研究方向[9][10][11][12][13][14][15][16]。在这种框架下,基于CNN的分类器可以通过大量红外数据训练,自主学习并识别目标。在推理阶段,只需将红外图像输入到经过训练的深度学习分类器中,即可预测目标类别。尽管这种方法较为简单,但它依赖于大量数据,且通常假设目标类别和成像条件在训练与测试阶段保持不变。而在实际的红外目标识别任务中,如军事监视和边境监测,目标往往处于不断变化且难以预测的状态,因此,让红外目标识别系统能够从新类别中持续学习知识,即类增量学习能力,对于实际应用而言至关重要。

**2.2 类增量学习**
类增量学习旨在训练模型学习一系列新类别,同时不会遗忘之前的类别。根据存储旧知识的方式,类增量学习的解决方案大致可分为三类[17]:基于重放的方法[18][19]、基于正则化的方法[20]以及基于参数隔离的方法[21]。通常,为了复现旧知识,人们会以原始格式存储具有代表性的类别感知样本,或通过生成模型创建此类样本。其中,iCaRL[18]采用“群体策略”筛选旧类别样本,并通过二元交叉熵损失函数对逻辑值漂移进行惩罚,从而防止遗忘。LUCIR[19]提出了一种方法,用于规范存储样本的特征漂移,并采用统一的分类器实现均衡的识别。受神经科学中突触巩固概念的启发,EWC[20]防止与先前任务相关的权重发生偏差。PathNet[21]则利用集成在神经网络中的智能体,识别并演化可用于新任务的路径。近年来,随着大规模预训练视觉Transformer模型的出现,提示学习方法作为一种替代方案被引入数据复现过程,这类模型凭借其强大的通用表示能力而备受青睐[22][23][24]。尽管类增量学习在计算机视觉及相关领域已得到广泛研究[25][26],但现有方法通常需要为每个新类别准备大量的标注样本,而这与现实场景不符——在现实场景中,目标特征往往对应的是质量较低的图像。因此,基于深度学习的红外目标识别系统亟需具备从有限样本中学习新概念的能力。

**2.3 少样本学习**
少样本学习旨在解决标签效率问题,近年来得到了广泛研究。针对这一问题的解决方案大致可分为四个层面:数据层面、特征层面、任务层面以及多模态层面。数据层面的方法主要通过样本扩展[27][28][29]或特征增强[30][31][32][33]来增加可用数据的数量。特征层面的方法则侧重于通过迁移学习和多任务学习建立数据到标签的映射关系。前者将少样本学习视为一种跨域学习任务,通过预训练[34]、微调[35][36][37]以及提示学习[38]来解决该问题。而后者则通常设计多种损失函数,通过硬参数共享和软参数共享[39][40]来优化模型。与数据层面和特征层面不同,任务层面的方法通常会对数据和任务同时进行双重采样,通过学习元学习参数来获取适用于未见任务的全局初始化状态[41][42]。此外,作为元学习中的一个独立分支,度量学习的主要目标是学习一种映射关系,用于计算支撑集与查询集对之间的抽象距离[43][44][45]。

尽管基于深度学习的分类器已经通过四种方式提升了从有限样本中学习新概念的能力,但这些方法都主要关注当前类别,忽视了以往类别的性能。由于在开放且动态的现实中,新目标往往会随机出现,因此,提升模型从少量样本中学习新概念的同时避免遗忘原有知识的能力显得极为重要。

**2.4 少样本类增量学习**
少样本类增量学习是近年来的研究热点,可视为类增量学习的延伸,其目标是让分类器能够从少量样本中持续学习新概念,同时不会严重遗忘原有知识[46][47]。TOPIC[48]首次定义了这一问题,并使用神经气体网络来保留旧类别的特征流形。ERDIL[49]则通过示例关系图筛选旧类别样本,并提取关系特征以实现知识保留。IDLVQC [50]将类别知识表示为量化后的参考向量,并不断调整旧向量的位置以减少错位现象。除了那些致力于解决灾难性遗忘问题的方法外,也有研究着眼于提升模型对新型目标的适应能力。其中,CEC [51]提出了一种能够持续进化以适应新知识的分类器。FACT [52]预先分配了大量原型作为虚拟类别,用以压缩已知目标的嵌入向量,同时为新目标预留空间。ALICE [53]通过结合多个虚拟类别与真实类别的语义,从开放集的角度解决了这一问题。TEEN [54]则利用基础类别与新类别之间的语义相似性来校准新类别的原型。ADBS [55]提出了一种即插即用的策略,用于优化已有类别的决策边界,从而实现平衡预测。在实践中,由于合作场景下收集到的样本丰富多样,且实际动态应用中少数-shot新型目标的信息并不完整,因此提升模型表示类别不变特征的能力以及其对已知目标的稳定区分能力,对于解决IRTR领域的FSCIL问题至关重要。

3. 方法
3.1 问题描述
少样本类别增量学习(FSCIL)[48]需要一种能够持续从标注稀疏的样本中学习的方法,该方法通常包括一个基础阶段以及多个增量阶段,也就是会话,以此模拟实际的识别场景。在基础阶段,会提供具有足够训练样本的类别,而在增量阶段,则会不断出现新的少样本类别,这些样本代表了动态环境中所获取的新知识。理想的FSCIL模型应在基于当前数据优化之后,能够在推理时对已见类别表现出良好的性能。形式上,我们假设有一系列标注过的数据集,记为D1、D2……Dt,其中T=1,2……T,T表示增量会话的数目。xit和yit分别表示一对训练样本及其所属的类别。Ct是Dt对应的类别集合,|Ct|则表示Ct中类别的数量。值得注意的是,对于所有的j,k∈t且j≠k,都有Cj∩Ck=?。基础阶段的数据集D1通常包含每个类别的大量训练样本。而对于每个大于1的增量阶段t,Dt则包含具有少样本示例的新类别,这些样本以N路K-shot的形式呈现。在t阶段,仅使用Dt来进行学习。FSCIL模型需要在推理时能够对所有已见类别C=∪i=1tCi进行分类。

3.2 动机
与光学图像中特征明确的目标相比,在解决IRTR领域的FSCIL问题时,需要特别考虑三个领域内的挑战:细节不完整、同类目标之间的差异性以及不同类别目标之间的相似性,还有背景干扰等问题。
•细节不完整:由于低分辨率红外传感器以及目标自身结构的限制,红外图像只能呈现大致的结构和纹理信息,这限制了模型表达目标多样性红外特征的能力。直观来看,如图1(a)所示,光学图像中的目标往往具有不同的组成部分和结构,比如船体、驾驶室、桅杆,而且船体与海面之间有清晰的边界。然而,红外图像中的目标(如图1(b)和(c)所示)则细节模糊,轮廓不清,这进一步限制了模型捕捉目标整体特征的能力。
下载:下载高分辨率图片(421KB)
下载:下载全尺寸图片
图1. 光学图像与红外图像中不同类别的目标。(a)光学图像中的目标。(b)从左前方视角观察的红外图像中的目标。(c)从正面视角观察的红外图像中的目标。
•同类目标之间的差异性及不同类别目标之间的相似性:受目标姿态、成像条件及周围环境等不稳定因素的影响,同一类别的目标可能会呈现出不同的红外特征,从而导致较大的同类差异(可对比每行中的图1(b)与图1(c))。相反,由于红外图像分辨率较低,加之存在相似的结构和形态,不同类别的目标可能具有相似的红外特征,这就容易导致严重的类别混淆(可参见图1中(b)列的无人潜水艇与渔船,以及(c)列的无人潜水艇与独木舟)。
•背景干扰:由于红外传感器的独特成像机制以及复杂多变的周围环境,目标与背景之间可能存在相似的红外特征(可参见图1中(c)列的渔船以及(b)列的独木舟),这就很容易导致背景信息对目标信息的严重干扰。因此,IRTR系统需要充分利用更多与目标相关的细节,以实现稳定的目标识别。
鉴于上述三个领域特有的挑战以及FSCIL本身存在的固有难题,在设计网络时需要仔细考虑两个核心标准:类别无关的表征能力与类别特定的区分能力。类别无关的表征能力旨在提升模型对红外图像中与类别无关的特征的表征能力。由于观测角度、周围环境、目标类别及形态的多样性,随着环境的变化,可能会出现全新的目标类别。因此,如果IRTR系统能够具备广泛的类别无关知识,就能快速捕捉目标的一般特征,这也是实现快速知识迁移和识别新目标的前提。具体而言,与传统的全局交叉熵(CE)损失函数不同,后者侧重于提升模型对已知目标的感知和区分能力,而自监督学习任务则更注重提升模型对目标多样化特征的表征能力。在典型的CL任务中,是通过特定的变换从原始样本生成增强样本,然后通过精心设计的自监督学习损失函数,提升模型对目标多样化特征的区分能力。尤其是考虑到红外图像中目标特征较为模糊,因此具有领域特性的多样化增强样本对于实现类别无关的表征能力至关重要。类别特定的区分能力则旨在提升模型利用在开放环境中收集到的有限样本,区分不同类别的能力。与光学图像中特征清晰稳定的目标不同,后者可以通过一个单一的向量,比如原型,就能轻松识别未知目标。然而,由于红外成像机制的特殊性,红外图像中的目标通常具有不完整且不稳定的特征。此外,同类目标之间的特征差异较大,而不同类别目标之间的特征又存在较多重叠,这使得仅依靠一个单一向量进行可靠识别变得十分困难。因此,充分发挥少样本目标中稀疏的特征信息,提升模型的类别特定区分能力,对于实现快速适应和可靠推理至关重要。
基于上述标准、领域知识以及IRTR领域解决FSCIL问题所面临的特殊挑战,本文提出了对比式自监督子空间分类器(CSSC),其整体架构如下所述。

3.3 整体架构
如图2所示,所提出的方法由三个阶段组成:基础阶段、增量阶段以及推理阶段。
下载:下载高分辨率图片(755KB)
下载:下载全尺寸图片
图2. CSSC的总体架构。
在基础阶段(t=1),会提供在不同观测角度和环境下拍摄的、包含充足目标-标签对{(xi1,yi1)}i=1|D1|的红外图像D1,这些图像代表了在合作场景中收集到的类别不变知识。基于这些数据训练出的模型应能够在保持对动态环境中新目标适应能力的同时,实现对基础类别的强大区分能力。考虑到目标红外特征的多样性,我们对基于动量机制的对比学习框架MoCo [56]进行了改进,以增强对比监督信号的丰富度。特别是针对同类目标红外特征的多样性,我们专门设计了多路径对比样本增强(MCSA)策略,利用红外图像中的目标相关领域知识,进一步提升对比样本的丰富度。之后,原始样本和增强样本会被送入特征提取器f1(x;Φ),再经过多层感知机(MLP)投影器,从而同时获得分类特征和对比特征。这样一来,经过传统全局交叉熵(CE)损失函数和自监督对比损失函数(SCL)共同优化的模型,就能够对基础类别进行判断,并普遍表征类别不变的特征。训练完成后,还会通过聚类策略构建出类别子空间,以便进行稳定的推理。
在增量阶段(t>1),由于新类别通常是以少样本的方式出现,以此模拟开放式的动态IRTR场景,此时会冻结已经训练好的主干网络f1(?;Φ),以避免旧知识的灾难性遗忘,同时保留模型对新增目标的整体感知能力。为了实现稳定且快速的知识整合,首先会通过主干网络f1(x,Φ)提取所有已知类别的有限样本的特征,然后再利用这些特征来构建与类别相关的子空间。尤其考虑到基础类别样本与增量类别样本之间的不平衡,我们会维护一个平衡的子空间分类器,该分类器由聚类策略选出的基础类别代表性特征以及所有增量类别的样本特征组成,从而实现针对特定类别的稳定推理。
在推理阶段(t≥1),该方法不会像NCM分类器那样采用点对点的识别方式,而是利用包含所有已见类别子空间的构建好的子空间分类器,进行点对空间的判断。此时,会计算测试目标x的深度嵌入f1(x;Φ)与类别j的子空间Yj之间的投影距离d(f1(Φ),Yj),最终可以通过将未知目标分配到距离最近的类别子空间来得到预测结果。

3.4 对比式自监督学习
本节首先介绍基于MoCo的对比式自监督学习框架的流程,随后介绍多路径对比样本增强(MCSA)策略。
3.4.1 基于MoCo的对比学习
传统上,人们使用全局交叉熵(CE)损失函数来训练基于深度学习的分类器,通过最小化预测类别概率pi,c与真实标签yi,c之间的库尔贝克-莱布勒(KL)散度来实现目标识别,其公式如下所示:(1)
L=?1N∑i=1N∑c=1Cyi,clog?(pi,c)
虽然这种损失函数简洁高效,但它只能引导深度学习模型专注于当前任务中的类别相关特征,而忽略其他通用信息,这严重限制了模型对实际场景中出现的新类别的预处理能力。相比之下,自监督学习任务则更注重正样本与负样本之间的相似性。此外,通过多种对比样本训练出的模型能够学习到更通用的目标特征,从而提升模型在下游任务中的迁移能力。尽管自监督学习相比CE损失函数具有明显优势,但它通常需要大量来自原始图像的多样化对比样本,而这在大多数红外场景中很难实现。因此,与SSFE-Net [57]和Re-FSCIL [58]类似,这里也采用了基于动量机制的对比学习框架MoCo,以满足对比样本对的需求。
总体而言,如图2所示,对于给定的图像-标签对(xi1,yi1),首先通过多视图对比样本增强(MCSA)策略生成查询视图xq=Augq(x)和键视图xk=Augk(x),用于后续的对比学习。之后,这两个增强后的图像会被分别送入查询网络gq=f1(x;Φ)°h和键编码器gk=fk°hk,从而得到两个经过L2归一化的表示结果g(xq)和gk(xk)。这里的查询网络gq由可训练的编码器f1(x;Φ)和MLP投影层h组成,gq和gk具有相同的架构。在训练过程中,为了降低内存占用并存储那些变化较慢的特征,不会像传统方法那样维持大量图像批次以获取多样化的对比样本,而是维护一个特征队列Q,其中存储着最新的键嵌入信息及相关标签。因此,无论是当前增强后的样本gk的特征,还是队列Q中的特征,都会被用于基于公式(2)给出的监督对比损失函数(SCL)进行优化。其中,A(x)=gk∪Q,P(x)则是A(x)中与x具有相同标签的子集,k+则是P(x)中作为比较的正样本特征。通过最小化Lcont(g;x,τ,A)函数,就可以学习到丰富的类别间及类别内特征。(2)
Lcont(g;x,τ,A)=?1|P(x)|∑k+∈P(x)log?exp?(qTk+/τ)∑k′∈A(x)exp?(qTk′/τ)
3.4.2 多路径对比样本增强
与使用随机大小调整和裁剪等常见增强策略来为基于MoCo的学习生成对比样本不同,由于本文特别考虑了第3.2节中提到的红外图像的独特成像机制、领域特定知识以及IRTR领域的特殊挑战,因此设计了多路径对比样本增强(MCSA)策略,该策略通过几何变换、强度变换和背景变换三种处理方式来为基于MoCo的学习生成对比样本,如图3所示。
下载:下载高分辨率图片(320KB)
下载:下载全尺寸图片
图3. 对原始目标进行三种类型变换以生成对比样本的示意图。(a)几何变换 (b)强度变换 (c)背景变换。
几何变换:在现实场景中,同一类别的目标往往可能处于不同的视角、位置和成像距离下。因此,在对比学习过程中,提升模型对具有平移和尺度变化特征的目标的适应能力至关重要。如图3(a)所示,为生成具有对比度的样本,构建了一组包含随机裁剪和尺度调整操作的几何变换Hg。通过学习这些变换后的样本,可提升模型对目标局部及全局语义特征的理解能力。强度变换:目标的表观温度易受环境因素(环境温度、太阳辐射、风速、降水量)以及目标自身状态(运行状态、运行时长)的影响。因此,在不同场景下,相同目标的温度对比度(最亮与最暗部分之间的差异)及整体亮度可能会发生显著变化。如图3(b)所示,为进行强度变换,设计了基于直方图量化的强度变换操作HI。通过学习这些经过强度变换的样本,可提升模型在不同环境及配置条件下的目标识别能力。背景变换:红外成像系统(尤其是微测辐射热计)固有的噪声,如固定模式噪声和时间噪声,是这类系统的典型特征。在大气传播过程中,红外辐射会遭到吸收和散射,从而导致图像模糊、对比度降低。在雾天、阴天、雨天或雪天等条件下,这种效应尤为明显。如图3(c)所示,为进行背景变换,设计了包含高斯模糊和斑点噪声的背景变换操作HB。这样一来,模型对在复杂环境中拍摄的目标的感知稳定性就能得到一定提升。3.4.3. 综合目标在基础阶段学习中,由分类任务和自监督对比学习任务构成的综合目标由公式(3)给出。此处,D1表示基础类训练样本,超参数β用于平衡这两类任务的贡献。(3)Ltotal=Lce+βLcont=?∑(xi,yi)D1yilog?p(xi)+βLcont3.5. 子空间分类器由于红外图像中用于区分目标的特征较为稀疏,且在动态环境中收集的样本数量有限,因此本方法构建了一种平衡型子空间分类器,以稳定地识别 incoming目标。首先介绍构建具有类别意识的子空间的方法,随后说明分类准则。3.5.1. 子空间构建与用简化向量(如原型或全连接节点)表示类别n的识别特征不同,此处构建了一个由f1(?;Phi)提取的一组类别意识特征组成的子空间Yc∈Rd×K,以此完整保存与类别相关的目标,其表达式如公式(4)所示。其中,K和d分别表示类别特征的数量和维度,xKn是属于类别n的第K个选定样本,其语义特征表示为f1(xKn;Φ)。(4)Yc=[f1(x1n;Φ),f1(x2n;Φ),…,f1(xKn;Φ)]尤其由于基础类和新增类的目标样本数量存在极大差异,因此构建了包含相等数量的代表样本的平衡型子空间分类器。对于基础类子空间:与iCaRL [18]中用于旧知识复现的筛选策略不同,本方法采用更为简单有效的策略来选择用于子空间构建的基础类特征。在算法1中,从类别c的N个样本中选取K个样本,尽可能精确地逼近真实类别均值μc。f1(?;Φ)是在基础阶段训练好的固定特征提取器,x?为每次迭代中的优选样本,pk表示当前选定特征的平均值。最终,特征集Ec被视为用于基础类判断的类别c子空间Yc。对于新增类子空间:由于新类别的少量样本难以提供有效线索,因此直接采用所有类别意识语义特征来进行子空间构建,即Ec=Yc={f1(xi;Φ)}i=1N,?c∈Ct,t>1。这样一来,原始目标特征就能被充分考虑并用于实现稳定推理。算法1 基础类子空间构建的筛选策略通过构建这种平衡型子空间分类器,本方法不仅能充分保留旧知识,还能无需迭代优化就能快速融入新知识,从而为实际应用带来便利与高效。3.5.2. 子空间分类如图2右侧所示,子空间分类可理解为寻找一个投影点,使其到测试样本所在子空间中的距离d(xi,Yc)最小。该投影点可由特定的类别意识子空间通过系数矩阵α∈RK×1进行线性组合得到,如公式(5)所示。在d≥K的条件下,可通过公式(6)得到可导的封闭形式解。此处,Pc是Yc的变换矩阵,用于将原始目标特征f1(xi;Φ)正交投影到由Yc构成的子空间上。最终,测试样本x属于类别c的概率可通过公式(7)计算,而x的所属类别则可通过公式(8)确定。(5)d?(xi,Yc)=minαd(f1(xi;Φ),Ycα)=mina‖f1(xi;Φ)?Ycα‖2(6)d(xi,Yc)=‖f1(xi;Φ)?(Yc?Yc)?1Yc?f1(xi;Φ)‖2=‖f1(xi;Φ)?Pcf1(xi;Φ)‖2(7)P(y=c∣xi)=e?d(xi;Yc)∑k=1∪j=1tCje?d(xi;Yk)(8)y?=arg?maxP(y=c∣xi),?c∈∪j=1tCj通常而言,与单一类别均值相比,子空间能够保留更多多样且独特的特征,从而为评估提供更准确、更稳定的参考依据。4. 实验4.1. 数据集描述由于红外成像的特殊机制以及实际的红外遥感应用场景,现有的公共红外数据集主要用于封闭环境下的目标识别。这些数据集中的目标通常是在不同环境下拍摄的,但类别数量有限,甚至仅为单一类别,因此在满足FSCIL场景需求方面存在较大差距。为便于评估,我们构建了两个与任务相关的数据集,即FSCIL-IRTR和FSCIL-FLIR,以便进行全面评估。FSCIL-IRTR数据集源自我们自行收集的红外数据集,其中包含了12种类型的船舶,包括军舰、渔船、散货船、独木舟、帆船、集装箱船、班轮、无人水面艇、矿石运输船、摩托艇、游艇以及电动休闲船。这些船舶是在不同的姿态、观察角度和距离下拍摄的,背景也各不相同。如图4所示,前七种船舶共有9402张图像,这些图像是在不同的分辨率、焦距以及海洋环境中拍摄的;其余五种船舶则有5427张图像,像素分辨率为640×512像素,这些图像是由安装在烟台黄海沿岸和长沙湘江沿岸的中波及长波非制冷红外探测器拍摄的。具体而言,拍摄时采用了水平视角,以确保数据场景的真实性和实用性。下载:下载高分辨率图像(696KB)下载:下载完整尺寸图像图4. FSCIL-IRTR数据集中的十二类目标。在处理过程中,目标主体会从原始图像中被裁剪成正方形块,然后调整大小至256×256像素。如表1所示,样本数量最多的前6个基础类被用于基础阶段学习。我们为每个类别随机选取500个样本以实现均衡训练,剩余6个类别则各随机选取5个样本用于增量学习。在推理阶段,每个类别使用400个样本进行评估。表1. FSCIL-IRTR数据集的配置信息。阶段顺序类型训练集测试集基础类1军舰5004002无人水面艇5004003渔船5004004散货船5004005矿石运输船5004006独木舟500400增量类7帆船54008摩托艇54009集装箱船540010游艇540011班轮540012电动休闲船5400FSCIL-FLIR数据集则源自公开的FLIR ADAS热成像数据集[59],用于进一步评估该算法在多种数据上的性能。该原始数据集是为自动驾驶而设计的,包含26,442帧带有完整标注的红外与光学图像对,涵盖了16种类型的目标。为了进行分类,根据所提供的标注,通过正方形裁剪从原始图像中提取出单个目标。具体而言,采用了30%的重叠阈值,以避免出现模糊不清的实例以及严重的遮挡情况。此外,所有裁剪出的目标图像都会被标准化并调整大小至64×64像素。最终,只有那些图像数量充足的10种类型的目标被保留下来,即人、自行车、汽车、摩托车、公交车、卡车、交通信号灯、消防栓、标识牌以及其他车辆,如图5所示。与FSCIL-IRTR数据集的处理方式一致,FSCIL-FLIR数据集的配置信息详见表2。其中样本数量充足的前四种类型目标被用于基础学习,其余6种类型则用于增量学习。在训练时,我们保持与FSCIL-IRTR数据集相同的类别样本数量。下载:下载高分辨率图像(459KB)下载:下载完整尺寸图像图5. FSCIL-FLIR数据集中的十类目标。表2. FSCIL-FLIR数据集的配置信息。阶段顺序类型图像数量训练集测试集基础类1汽车74965004002路灯47895004003标识牌43445004004人4078500400增量类5自行车147354006公交车103054007消防栓66954008摩托车65254009其他车辆584540010卡车57454004.2. 实施细节在所有实验中,我们为每个增量类随机选取五次采样的样本,并进行十次试验以进行统计比较。在所有对比实验中,均采用在ImageNet上预训练的ResNet-18网络作为基于深度学习的特征提取核心f(x;Φ),因为它能在效率与精度之间实现良好的平衡。MSCA策略中的各种变换都是使用PyTorch库实现的。几何变换包括概率为0.5的镜像翻转操作,以及范围在0.75到1.0之间的尺度调整操作;强度变换包括概率为0.5的直方图量化操作以及自动对比度调整操作;背景变换则包括锐化处理以及核值为3、标准差范围在1到2之间的高斯模糊操作。在基础阶段学习时,根据超参数搜索结果,MoCo框架中用于对比学习样本的数量和特征维度分别设置为64和128。为确保公平比较,所有方法均使用随机梯度下降(SGD)优化器进行训练,训练周期为50轮。初始学习率设定为1e-2,分别在第30轮和第40轮时逐渐降至1e-3和1e-4。小批量大小设定为16。在增量学习阶段,学习率设定为1e-4,并在第30轮时降至1e-5。FSCIL-IRTR和FSCIL-FLIR数据集中的图像分别独立调整大小至224×224和64×64,之后再被标准化到[0,1]区间,以便进行稳定优化。所有实验均在配备三块NVIDIA GeForce RTX 3080 Ti显卡的服务器上进行,操作系统为Ubuntu 20.04.06,Python、PyTorch和CUDA的版本分别为3.10.11、1.13.1和11.7。4.3. 评估本节将介绍评估标准以及所对比的基准方法。4.3.1. 指标在实验中,我们使用了四种常见的指标来进行评估,包括准确率Acc、平均准确率Avg.Acc、平均谐波准确率Avg.HA以及性能下降率PD。其中,准确率Acc指的是分类准确率,用于衡量模型在每轮训练中对所有已见过类别的识别表现。平均准确率Avg.Acc则是用于评估该方法在所有训练轮次中的平均准确程度。ALICE [53]提出的平均谐波准确率Avg.HA,则用于衡量该方法在所有增量训练轮次中的谐波准确率平均值,这一指标能够全面反映算法在平衡稳定性与灵活性方面的能力。最后,性能下降率PD指的是性能衰退程度[51],通过用第一轮训练的准确率减去最后一轮的准确率来计算,用以衡量性能恶化的程度。4.3.2. 基准方法在实验中,我们采用了众多先进的解决方案,涵盖传统方法、增量学习方法以及FSCIL相关任务的方法,以便进行全面评估。传统基于深度学习的基准方法:采用了Ft-CNN和Oracle [60]这两种方法。其中,Ft-CNN通过交叉熵损失函数,利用当前轮次的训练数据对基于深度学习的分类器进行微调;而Oracle作为一种离线学习器,则会在截至当前轮次的所有训练数据上不断优化。增量学习基准方法:比较了三种典型的基于增量学习的方法,即iCaRL [18]、EEIL [61]和LUCIR [19]。在这些方法中,会挑选出具有代表性的样本并存储起来,以便后续进行知识回放。FSCIL相关基准方法:为了进行对比,我们采用了符合向前兼容和向后兼容原则的各种方法,包括ERDIL [49]、IDLVQC [50]、CEC [51]、FACT [52]、ALICE [53]、SAVC [62]、S3C [63]、TEEN [54]以及ADBS [55],这些方法的技术细节和特点已在2.4节中详细介绍。4.4.4. 消融研究本节旨在研究所提出的基于MoCo的对比式自监督学习框架以及子空间分类器的效果,其数值性能表现如表3所示。为了便于对比,我们以采用NCM分类器的增量冻结型骨干网络作为基准,对应的实验结果显示在表3的第一行。表3. 所提出的损失函数和模块的效果(百分比)。MoCo MCSA 子空间平均准确率平均基础类准确率平均增量类准确率平均谐波准确率性能下降率↓↓–82.32 96.34 48.68 64.50 24.60?↓↓83.68 95.73 53.66 68.73 23.76??–83.85 95.26 54.82 69.59 23.50???86.25 94.35 67.13 78.22 18.154.4.1. 基于MoCo的对比式自监督学习的效果在本节中,我们通过定性和定量实验来验证基于MoCo的对比学习框架的有效性。•定量分析:表3的第二行展示了基于MoCo的框架所带来的数值提升效果。其中,平均准确率和平均谐波准确率分别达到了83.58%和68.73%,相比未采用MoCo的方案分别高出1.36%和4.23%。值得注意的是,Avg.Inc的值上升到了53.66%,比基准值高出4.98%,这表明基于自监督学习的方法在识别目标方面具有有效性。与基准方法相比,MoCo框架能够引入多种丰富的监督信号,而不仅仅是分类信号,从而提升模型感知不同目标特征的能力。为了进一步研究,我们还将MoCo框架与传统的监督对比学习方法(SupCon)[64]进行了比较。结果如表4所示。与维持基于动量的特征队列不同,SupCon框架在最小批次内构建自监督图像对。因此,对比特征的多样性受到批次图像数量的严重限制。结果,基于SupCon的框架的Avg.Inc和Avg.HA得分分别为50.32%和65.63%,比基于MoCo的框架低3.34%和3.1%。表4. 不同自监督学习策略的效果(%)。SSL模式平均准确率平均基础值Avg.Inc平均HA值PD ↓SupCon83.1594.3350.3265.6322.98MoCo83.6895.7353.6668.7323.76•定性分析:除了数值比较外,还研究了特征多样性和分布情况,结果分别见图6和图7。首先,通过奇异值分解(SVD)得到的基准方法、SupCon方法和MoCo方法提取的基类和增量类的特征特征值分别显示在图6(a)和(b)中。曲线越高,说明该方法学习的模式越多样化。总体而言,与基准方法相比,经过改进的方法(使用SupCon和MoCo)的曲线更高(以紫色和红色曲线为例),表明这些方法通过额外的自监督信号学习了更多样化的模式。此外,红色曲线高于紫色曲线,间接证明了MoCo框架在捕获更丰富信息方面的优势。另外,Orig、SupCon和MoCo方法生成的各类特征分布分别显示在图7(a)、(b)和(c)中。如图中箭头所示,使用MoCo框架的方法在不同类别之间提取的特征更为分离,而在同一类别内部则更为聚集,进一步体现了MoCo框架在提升模型跨类别泛化能力方面的优势。下载:下载高分辨率图像(225KB)下载:下载完整尺寸图像图6. 不同方法特征特征值所反映的特征多样性。(a) 基类特征多样性。(b) 增量类特征多样性。下载:下载高分辨率图像(258KB)下载:下载完整尺寸图像图7. 通过t-SNE反映的特征多样性。(a) 基准方法的结果。(b) 使用SupCon框架的方法的结果。(c) 使用MoCo框架的方法的结果。4.4.2. MCSA策略的效果在我们的方法中,MCSA策略旨在基于目标的红外特性生成多样化的对比样本,以提高模型对多样化特征的表征能力。•定量分析:总体而言,MCSA策略的贡献显示在表3的第三行。此处,平均准确率和平均HA值分别上升至83.85%和69.59%,比未应用MCSA时的值分别高出0.17%和0.86%。尽管平均基础值略有下降,但Avg.Inc从53.66%上升至54.82%,比未应用MCSA的方法高出1.16%,表明该策略有助于提升模型感知和区分不可预测目标的能力。此外,还研究了MCSA策略的三种变换(几何变换、强度变换和背景变换)的贡献,结果见表5。为了便于比较,表中的第一行展示了不进行任何变换的基准结果。与没有变换的算法相比,加入不同的变换模块提升了算法的目标识别精度,这从平均分类精度和平均谐波分类精度的持续提升中可以看出。具体而言,与第一行和第二行相比,引入几何变换后,算法的目标分类精度从82.32%上升至83.02%,谐波分类精度也从64.50%上升至67.92%。再者,引入强度变换后,目标分类精度从83.02%上升至83.32%,谐波分类精度从67.92%上升至68.52%。当同时应用这三种变换策略时,算法的分类精度提升至83.68%,谐波分类精度进一步提升。值得注意的是,从增量类分类精度来看,采用不同策略后,算法对目标的增量分类精度显著提升,从64.50%上升至68.73%,提升了4.23%,进一步证明了自监督学习在提升模型表示新知识能力方面的优势。表5. MCSA策略中设计的变换效果(%)。HGHIHBAvg.Acc平均基础值Avg.Inc平均HA值PD ↓–––82.3296.3448.6864.5024.60?––83.0296.0052.8967.9225.52??–83.3295.3353.4868.5224.39???83.6895.7353.6668.7323.76•定性分析:为了进一步验证MCSA策略中变换模式的有效性,分别用图8(a)和(b)展示了使用不同变换策略后,我们的方法提取的基类和增量类特征的特征值。可以看出,与基准方法相比,使用几何变换、强度变换和背景变换后,我们方法提取的特征丰富度显著提升。尤其是绿色曲线明显高于基准方法和几何变换方法的曲线(以深蓝色和紫色曲线为例)。由于变换可以通过修改像素值来显著改变目标的红外特征,而这些像素值正是目标的基础红外特性。因此,目标的对比度、亮度和动态范围都会发生显著变化,进而改变其感知到的热特征,使得目标根据其热分布更容易或更难被区分。这样一来,我们的方法就能在变换的支持下学习到更多样化的目标特征。下载:下载高分辨率图像(260KB)下载:下载完整尺寸图像图8. 我们的方法针对不同类别的正确和错误预测产生的标准化逻辑值。(a) 基类目标的逻辑值。(b) 增量类目标的逻辑值。具体来说,如图8(b)所示的增量类结果,得益于大量自监督学习任务的引入,我们的方法能够捕捉到更多通用信息,从而提升其对未知目标多样化特征的感知能力,这进一步证明了所设计的变换在提升算法泛化能力和表征能力方面的有效性。4.4.3. 子空间分类器的效果•定量分析:总体而言,借助子空间分类器,我们方法的性能显示在表3的最后一行。通过充分利用有限样本中的新类模式,采用子空间分类器的方法相比仅使用普通(NCM)分类器的方法取得了更具竞争力的性能。具体而言,平均准确率和平均HA值分别为86.25%和78.22%,分别比不使用子空间分类器的方法高出2.4%和8.63%,也比基准方法高出3.93%和13.72%,体现了子空间分类器在实现稳定分类方面的有效性。表6展示了群体策略的效果。值得注意的是,由于子空间构建采用了更具代表性的类别特定特征,我们的方法在识别基类目标方面取得了更好的性能。此外,我们还研究了模型对正确和错误预测的逻辑值的均值和方差,结果分别显示在图9(a)和(b)中。总体来看,采用子空间分类器的方法比未使用的方法具有更高的准确性和稳定性。例如,图9(a)中正确和错误预测的橙色条形高于深蓝色条形。而在图9(b)中,橙色条形则低于深蓝色条形,这也间接体现了子空间分类器在实现稳定推理方面的优势。表6. 子空间分类中群体策略的效果(%)。模式平均准确率平均基础值Avg.Inc平均HA值PD ↓无群体策略85.8992.9869.0978.8519.59有群体策略86.2594.3567.1378.2218.15下载:下载高分辨率图像(181KB)下载:下载完整尺寸图像图9. 正确和错误预测的标准化逻辑值的均值和方差。(a) 所有类别的均值。(b) 所有类别的总体方差。•定性分析:为了进一步研究模型对正确和错误预测的区分能力,图10给出了预测不同类别的标准化结果。对于基类分类,如图10(a)所示,借助子空间分类器的我们的方法,对于分类错误的基类实例产生的标准化逻辑值更低,这一点从绿色点的分布位置低于灰色点可以看出。这说明模型能够有效区分错误的基类类别。对于增量类分类,如图10(b)所示,借助子空间分类器的我们的方法在为目标分配正确类别方面表现出更强的稳定性。直观上,正确预测的点(橙色散点)比深蓝色散点更为集中,而绿色散点仍然低于灰色散点。此外,如图11所示,还研究了群体策略的效果。为了便于比较,还提供了由随机选取样本构建的子空间分类器作为基准。在这里,橙色和绿色点分别比灰色和深蓝色点更为稳定,这体现了该策略在保留已知目标代表性特征方面的优势。下载:下载高分辨率图像(360KB)下载:下载完整尺寸图像图10. 子空间分类器在实现稳定预测方面的效果。(a) 基类目标的逻辑值。(b) 增量类目标的逻辑值。下载:下载高分辨率图像(357KB)下载:下载完整尺寸图像图11. 群体策略在实现稳定预测方面的效果。(a) 基类目标的逻辑值。(b) 增量类目标的逻辑值。4.5. 基准测试在FSCIL-IRTR和FSCIL-FLIR数据集上进行了大量实验以及定量和定性分析,以便进行全面评估。4.5.1. 定量分析我们在FSCIL-IRTR和FSCIL-FLIR数据集上测试的方法的数值性能分别显示在表7和表8中。以下是一些分析结果。表7. FSCIL-IRTR数据集上各基准方法的比较(%)。方法训练轮数平均准确率平均HA值PD ↓1234567Ft-CNN97.3383.3172.8764.7458.2552.8548.4968.260.3148.84Oracle [60]97.7185.4379.0676.2868.1863.1467.8876.8139.3329.83iCaRL [18]97.3383.4673.0064.8958.4353.0548.6768.4069.6748.66EEIL [61]97.3383.5073.2267.0863.1859.2756.1571.3963.4741.18LUCIR [19]95.0083.3374.9072.8967.4861.9158.0173.3661.9636.99IDLVQC [50]90.8777.4964.7360.2253.6448.0143.4862.6349.4847.39CEC [51]93.7284.2875.5470.7762.9857.8153.2671.1962.1740.46FACT [52]92.0677.5567.5861.6856.0950.9446.6864.6535.8145.38ALICE [53]90.3176.4968.6865.0858.4853.2349.3765.9561.6440.94S3C [63]95.5681.6572.7967.3661.9154.9250.6369.2643.9144.93SAVC [62]93.8179.6071.4667.5460.8154.1749.6368.1548.8344.18TEEN [54]94.0081.1372.6466.9959.5654.4850.1568.4250.7043.85ADBS [55]94.0081.1372.6667.1159.7954.6850.4068.5450.7643.60我们的方法97.7592.0788.6685.6181.6878.3979.6086.2578.2218.15表8. FSCIL-FLIR数据集上各基准方法的比较(%)。方法训练轮数平均准确率平均HA值PD ↓1234567Ft-CNN93.8174.8862.1653.4246.4741.0736.9158.391.2356.90Oracle [60]93.5775.0566.3358.9052.9446.8342.2762.2717.5651.30iCaRL [18]93.8175.2362.7053.7146.9741.7337.5458.8153.2256.27EEIL [61]93.8175.3562.6353.6847.1242.4440.2059.3250.1253.61LUCIR [19]95.0083.3374.9072.8967.4861.9158.0173.3661.9636.99IDLVQC [50]90.8777.4964.7360.2253.6448.0143.4862.6349.4847.39CEC [51]93.7284.2875.5470.7762.9857.8153.2671.1962.1740.46FACT [52]92.0677.5567.5861.6856.0950.9446.6864.6535.8145.38ALICE [53]90.3176.4968.6865.0858.4853.2349.3765.9561.6440.94S3C [63]95.5681.6572.7967.3661.9154.9250.6369.2643.9144.93SAVC [62]93.8179.6071.4667.5460.8154.1749.6368.1548.8344.18TEEN [54]94.0081.1372.6466.9959.5654.4850.1568.4250.7043.85ADBS [55]94.0081.1372.6667.1159.7954.6850.4068.5450.7643.60我们的方法95.3984.6775.1673.5869.3362.8060.1274.4368.1135.27首先,我们的方法在FSCIL-IRTR和FSCIL-FLIR数据集上的平均准确率和平均HA值均表现最佳,显示出其在分类所有类别以及同等好地识别旧目标和新目标方面的优势。如表7和表8所示,我们方法的平均准确率分别达到86.25%和74.43%,比排名第二的TEEN和LUCIR方法分别高出1.45%和1.07%。此外,我们在这两个数据集上测试的平均HA值分别为78.22%和68.11%,比IDLVQC和CEC方法分别高出2.94%和5.94%。其次,我们的方法能够有效解决灾难性遗忘问题,使得性能下降率降至最低。在两个表格中,我们方法的性能下降率分别为18.15%和35.27%,比排名第二的CEC和LUCIR方法分别低3.18%和1.63%,进一步证明了我们的方法在保留旧知识方面的有效性。第三,与大多数基准方法相比,我们的方法在分类当前会话中的目标方面也取得了优异的性能,证明了其在区分不同类别方面的有效性。简而言之,与那些只专注于区分已知类别而忽视未知类别预测的现有解决方案不同,后者容易导致对新知识的被动适应,而我们的方法则结合了基于MoCo的对比自监督损失函数与原始分类功能,经过优化后能够捕获更通用的目标红外特征。此外,与广泛使用的1维类别感知向量不同,类别子空间能够保留目标的详细和原始特征,从而提升模型在识别任务中的鲁棒性。4.5.2. 定性分析本节将探讨我们方法与其他先进基准方法相比的定性结果,包括性能曲线、混淆矩阵以及t-SNE分布。性能曲线:图12和图13分别展示了所有对比基准方法的分类准确率随训练轮数的变化曲线,以及部分方法的谐波准确率曲线。以下是一些分析要点。下载:下载高分辨率图像(260KB)下载:下载完整尺寸图像图12. 两种自构建数据集上各基准方法在不同训练轮数下的准确率曲线。(a) FSCIL-IRTR数据集的结果。(b) FSCIL-FLIR数据集的结果。下载:下载高分辨率图像(275KB)下载:下载完整尺寸图像图13.在两个自构建数据集上,不同训练阶段下基准测试的谐波精度曲线。(a) FSCIL-IRTR数据集上的测试结果。(b) FSCIL-FLIR数据集上的测试结果。首先,随着新知识的不断学习,已识别类别的特征空间与模式之间的差异会逐渐增大。因此,该方法区分已知类别的能力会显著下降,如图12所示的性能持续走低便体现了这一点。其次,我们的方法在保留先前学到的知识方面表现远优于其他方法,这从两幅图中红色曲线的下降幅度最小可以看出。与大多数需要额外优化步骤来整合新知识的对比方法不同,我们的方法参数是固定的,在增量学习过程中仅更新子空间分类器。这样一来,模型识别先前学习目标的一般特征的能力就能得到有效保持,从而实现更稳定、更可靠的判断。第三,所提出的方法在各个学习阶段都能为基础类别和增量类别保持均衡的区分能力。如图13所示,由于特别注重对与类别无关的模式的一般化处理能力以及对与类别相关的模式的区分能力,红色曲线在所有对比基准的曲线中仍处于最高位置。

混淆矩阵:除了考虑训练阶段的分类趋势外,还通过混淆矩阵分析了FSCIL-IRTR和FSCIL-FLIR数据集中不同类别的最终分类性能,相关结果分别显示在图14和图15中。其中,图14和图15中的前六类和前四类属于基础类别,其余则为增量类别。混淆矩阵中对角线上的数值越亮,说明算法区分正确分类和错误分类目标的性能越好。以下是一些可从中得到的启示。

下载:下载高分辨率图像(2MB)
下载:下载完整尺寸图像
图14. 在FSCIL-IRTR数据集上最后一次测试时各基准的混淆矩阵。
下载:下载高分辨率图像(2MB)
下载:下载完整尺寸图像
图15. 在FSCIL-FLIR数据集上最后一次测试时各基准的混淆矩阵。

首先,充足的基础类别样本所提供的具有类别信息的丰富特征,有助于所有对比方法有效学习区分特征和通用特征,从而确保在基础类别上的最佳性能。这从图14和图15中对应的前六组和前四组对角线区域的亮度提升就可以看出来。其次,由于传统方法和基于IL的方法无法从少量样本中获取新类别的特征信息,因此它们在新类别的学习能力方面较弱,这导致最后六组对角线区域的亮度较低且分布不均。第三,得益于针对任务设计的策略,FSCIL系列方法,即CEC、ALICE和SAVC,在识别基础类别和增量类别方面的表现通常更好。值得注意的是,我们的方法在对角线区域的亮度分布上更为均匀且数值更高,这体现了它对新旧类别都具有强大且均衡的区分能力。

t-SNE分布图:为了进一步验证我们方法在特征分布方面的改进效果,图16展示了每个训练阶段具有类别信息的特征的t分布随机邻域嵌入结果。为了便于直接比较,基线方法的结果绘制在图的顶部行。从该图中可以得出一些结论。首先,随着目标类别数量的逐渐增加,具有类别信息的特征空间会变得越来越紧凑,不同类别之间的重叠也会逐渐加剧。其次,与基线方法相比,我们的方法在保持类别间清晰边界的同时,还能让类别内的特征保持更高的紧凑性。第三,由于某些特定类别的结构或配置较为相似,这些目标的高维语义特征会存在一定程度的混淆,这种混淆表现为图中某些颜色之间的重叠。然而,我们方法提取的特征在不同类别之间的重叠程度相对较低,这间接体现了我们方法区分不同目标的能力。

下载:下载高分辨率图像(327KB)
下载:下载完整尺寸图像
图16. 在FSCIL-IRTR数据集上最后一次测试时,基线方法与我们方法的t-SNE结果。

5. 讨论
针对红外目标识别领域面临的挑战以及FSCIL任务中存在的困境,我们的方法既强调又验证了两种能力:一是对目标通用红外模式具有与类别无关的表征能力,二是能够对新出现的目标进行类别特定的区分。与大多数方法致力于减少旧知识被遗忘的问题不同,我们的方法特别重视并通过基于MoCo的对比学习来提升模型对目标通用特征的预先表征能力,该方法通过维护和更新对比特征队列,提供大量多样化的对比信号。尤其不同于其他类似的基于MoCo的方法,比如用于超细粒度视觉分类的SSFE-Net和用于视网膜疾病识别的Re-FSCIL,那些方法是通过随机增强原始样本来完成对比学习任务的,而我们的方法则采用了包含几何变换、强度变换和背景变换的MCSA策略,专门用于根据红外图像中各种特定的目标属性来提升对比样本的特征多样性。这样一来,模型感知更多细节的能力就能得到进一步提升,从而在动态环境中实现更快速的迁移能力。在推理过程中,由于来自新类别样本的信息极为罕见,因此会保留由基于群体策略选出的基础类别代表性特征构成的子空间分类器,以及所有新类别的特征,以此实现强大的区分能力。

不过,我们的方法也存在一些局限性。首先,模型适应新知识的能力相对有限。具体来说,增量学习过程中模型的参数是固定的,因此模型在很大程度上依赖于初始训练阶段学到的特征,这就不可避免地导致新目标缺乏有效的表征。其次,模型区分不同类别的能力仍然不足。这是因为我们的方法的表征能力是与类别无关的,且是由基础类别来提升的,而基础类别和增量类别之间存在着潜在的联系。尽管所设计的子空间分类器能够保证稳定的推理结果,但由于忽视了基础类别和增量类别之间的紧密关联,导致我们的方法很容易无法准确区分它们。

6. 结论
为了提升红外目标识别系统在动态环境中发现新目标的能力,我们研究了少样本类别增量学习问题,提出了一种对比式自监督子空间分类器,该分类器注重兼具与类别无关的表征能力和类别特定的区分能力。针对红外目标识别领域面临的挑战,以及旧知识被彻底遗忘与新概念过度拟合之间的固有矛盾,我们除了原有的分类任务外,还设计了基于MoCo的对比式自监督学习模块,用以提升模型预先表征通用红外模式的能力。此外,我们还设计了一种多路径对比样本增强策略,该策略通过基于原始目标样本的几何变换、强度变换和背景变换来生成对比样本。在动态环境中部署该模型后,会逐步冻结模型以保留旧知识。具体而言,我们会维护并更新一个平衡的子空间分类器,其中包含通过群体策略选出的具有代表性的基础类别特征,以及所有新类别的特征,以此提升模型的区分稳定性。在FSCIL-IRTR和FSCIL-FLIR这两个针对特定任务的数据集上进行的大量实验,证明了基于MoCo的框架在实现通用表征方面的有效性,以及子空间分类器在保证稳定推理方面的作用。我们的方法在多项先进的基准测试中取得了优异的性能,进一步证明了其在实际红外目标识别应用中解决FSCIL问题的有效性。

CRediT作者贡献说明
刘迪:写作——审阅与编辑,写作——初稿撰写,方法论研究。
张岩:指导工作,形式化分析。
史志光:写作——审阅与编辑,可视化处理,验证工作,形式化分析。
张宇:验证工作,方法论研究。
凌峰:可视化处理,验证工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号