一种用于提高遥感图像分类准确性的数据增强方法,且无需额外推理成本
《Machine Learning with Applications》:A data augmentation method for improving accuracy in remote sensing image classification without inference cost
【字体:
大
中
小
】
时间:2026年05月15日
来源:Machine Learning with Applications 4.9
编辑推荐:
王文渊
首都经济贸易大学人工智能学院,北京,100070,中国
**摘要**
遥感图像分类对于包括城市规划和环境监测在内的广泛实际应用至关重要。然而,最近的深度学习方法主要关注于设计越来越复杂的架构,并配备了注意力机制。尽管这些方法有效,但它们引入了大量的计算开销,
王文渊
首都经济贸易大学人工智能学院,北京,100070,中国
**摘要**
遥感图像分类对于包括城市规划和环境监测在内的广泛实际应用至关重要。然而,最近的深度学习方法主要关注于设计越来越复杂的架构,并配备了注意力机制。尽管这些方法有效,但它们引入了大量的计算开销,对实际部署构成了重大挑战。为了克服这些限制并在不增加模型复杂性的情况下提高泛化能力,我们提出了一种新颖且高效的数据增强策略,称为“拼接裁剪”(cat-and-crop)。该方法在语义层面操作,将同一类别的多张图像拼接成一个复合网格,然后随机裁剪以生成新的训练样本。实验表明,“拼接裁剪”有效扩展了训练数据分布,并增强了模型在多样化空间背景下识别对象的能力。在NWPU-RESISC45和UCMerced-LandUse数据集上的广泛测试显示,“拼接裁剪”一致性地提高了各种最先进且广泛使用的模型(包括基于CNN的架构和基于Transformer的模型)的性能。具体来说,在NWPU-RESISC45上从头开始训练ResNet18时,与基线方法CutOut和CutMix相比,该策略分别提高了3.51%、2.85%和0.98%的准确率,突显了其在提升分类性能方面的有效性。此外,Grad-CAM和特征图分析验证了该方法有效捕捉了全局上下文依赖性,并增强了旋转特征表示。作为一种纯粹的数据级干预措施,“拼接裁剪”引入了零推理延迟,并且仅带来微小的训练开销。总体而言,“拼接裁剪”提供了一种高效、即插即用的数据增强解决方案,与现有流程完全兼容,并显著推进了遥感场景分类技术的发展。
**1. 引言**
遥感图像在包括自然环境管理、环境监测(Chen等人,2026年)和土地覆盖分类(Fayaz等人,2025a年)在内的众多实际应用中具有广泛的应用。遥感图像(RSI)分类的目标是根据光谱、纹理和空间特征将图像分配到预定义的类别中(Lu等人,2024年)。早期的图像分类方法通常依赖于手工制作的特征提取,随后使用支持向量机(SVM)等传统机器学习模型进行分类。随着深度学习的出现,基于卷积神经网络(CNN)和Transformer的现代方法作为强大的替代方案出现,并在图像分析中展示了卓越的表征能力。因此,传统方法在遥感应用中已被大幅取代。然而,当前的研究范式仍然主要集中在架构修改上。一种常见的策略是将性能增强模块(如Squeeze-and-Excitation块(Hu等人,2017年)或CBAM(Woo等人,2018年)以及其他特定于任务的组件(Chen等人,2026年)集成到强大的大规模骨干网络(如ResNet(He等人,2016年)中。尽管这种方法通常能带来细微的准确率提升,但不可避免地会导致模型参数和计算复杂性的显著增加。因此,对于受限于计算资源和功率预算的实际遥感系统来说,这带来了重大挑战。此外,不同骨干架构之间的通用性往往不足;例如,专门为基于CNN的骨干设计的模块难以适应基于Transformer的框架。因此,能够在保持跨多种骨干网络类型兼容性的同时实现准确性和效率之间最佳平衡的方法对于实际的基于深度学习的遥感图像分类至关重要。
数据增强技术通过几何和光度变换(如随机水平翻转)来扩展数据集多样性,从而提高模型性能。通过观察和Grad-CAM分析遥感图像与自然图像,发现一个显著特征:遥感图像中的语义信息倾向于在整个图像中全局分布,而不是集中在局部区域。这一观察既提出了需要多尺度和整体分析能力的挑战,也为开发新的增强策略提供了机会。基于这一见解,我们提出了一个假设:当将单个遥感图像的多个旋转视图在空间上组合时,得到的复合图像既保留了原始语义类别,又丰富了局部上下文多样性。为了验证这一假设,并受到Mosaic增强技术(Bochkovskiy等人,2020年)的启发,我们开发了一种名为“拼接裁剪”的类别一致增强方法。具体来说,将单个输入图像旋转以生成四个正交变体,然后将它们拼接成一个网格结构。接着从原始图像中随机裁剪出一定尺寸的片段以生成新的训练样本。这种方法有效增加了数据多样性,同时保留了原始语义标签。与主流的多图像增强方法(如Mixup(Zhang等人,2018年)、CutMix(Yun等人,2019年)和原始的Mosaic不同,所提出的方法不会改变输入图像的原始标签。相反,它通过引入额外的多视图空间上下文来增强数据多样性,从而在不需要引入标签噪声或额外注释工作的情况下提供扩展的训练样本。此外,由于严格保持了原始标签,因此可以无缝集成到任何现有的数据增强流程中。
**2. 相关工作**
**2.1. 图像分类**
随着深度学习的进步,基于手工特征和传统机器学习的方法大多已被基于深度学习的方法取代,特别是那些利用卷积神经网络(CNN)和Transformer的方法(Chen等人,2021年)。图像分类及其下游任务(如对象检测和分割)在基于各种类型图像的众多实际应用中发挥着重要作用。这些应用包括医学图像分析用于临床诊断(Chen等人,2021年;Khater等人,2023年)、肿瘤检测(Akter等人,2024年)、农业监测中的作物病虫害识别(Yang等人,2026年)以及基于遥感图像的土地利用分类(Fayaz等人,2025b年)。
**2.2. 遥感图像分类**
遥感图像与深度学习的结合在许多实际应用中有着广泛应用,例如城市发展、气候监测、应急响应和土地利用分类(Fayaz等人,2025b年)。这项任务利用计算机算法自动识别和分类遥感数据中的不同地理特征。通过将图像表示映射到特定的类别标签,分类成为下游任务(如对象检测(Sagar等人,2024年)和实例(语义)分割(Sun等人,2025年)的基础。当前的遥感分类研究通常分为两类:在预训练的骨干网络上开发复杂的架构(Chen等人,2026年)和使用大规模基础模型(Wang等人,2026年;Wu等人,2026年)。随着深度学习的快速发展,遥感分类已转向复杂的神经网络范式。常用的方法通常采用在大型数据集(如ImageNet(Deng等人,2009年)上预训练的先进架构,包括卷积神经网络(CNN),如ResNet(He等人,2016年)。为了进一步提高性能,研究人员经常集成辅助模块,如Squeeze-and-Excitation(SE)块(Hu等人,2017年)或卷积块注意力模块(CBAM)(Woo等人,2018年)以精细化特征表示。然而,这些架构增强往往导致参数和计算复杂性的显著增加。此外,它们还引入了优化挑战,如过拟合和梯度不稳定,这阻碍了这些模型在资源受限的遥感边缘平台上的部署。
为了在性能和效率之间取得平衡,知识蒸馏(KD)被广泛用于模型压缩,其中高容量的教师模型指导轻量级学生模型的训练。然而,KD在遥感背景下存在固有的局限性。首先,学生模型的有限表征能力往往使其无法完全捕捉复杂遥感场景的高层级抽象和复杂空间细节(Mirzadeh等人,2019年)。其次,针对特定遥感任务微调或完全训练高性能教师模型需要大量的计算资源,这降低了基于蒸馏的方法在资源受限的实际应用中的可行性。
**2.3. 数据增强**
在图像分类任务中,数据增强技术用于根据原始数据集图像生成新样本,生成的图像通常仍属于同一类别。常见的增强方法包括随机水平翻转、随机颜色抖动、随机擦除(Zhong等人,2017年)和CutOut(DeVries & Taylor,2017年)。另一类增强方法修改训练标签,MixUp(Zhang等人,2018年)和CutMix(Yun等人,2019年)是分类任务中的典型例子。这两种方法混合不同类别的样本,生成不再是独热编码的训练标签,而是基于混合强度计算出的软标签。Mosaic(Bochkovskiy等人,2020年)采用类似的方法,将四张图像拼接在一起。Mosaic不是逐像素混合,而是进行空间组合,同时产生复合训练信号,其中每个子图像的真正标签保持稀疏,但总损失是在多个原始标签上聚合的。这种方法有效地防止了过度自信的预测,并提高了对不同对象规模的泛化能力。受到Mosaic和第1节中提出的假设的启发,原本用于对象检测任务的图像拼接概念被应用于遥感图像分类。来自单一来源的图像被拼接在一起,然后裁剪以生成新的训练样本。
**3. 方法**
**3.1. 动机**
基于第1节中提出的假设,如图2所示,将单个遥感图像的k个旋转视图拼接起来,并从生成的复合图像中随机裁剪一个子区域。虽然得到的裁剪片段具有与原始图像不同的空间布局,但其所属类别的基本语义特征仍然得到严格保留。通过这种方法,有效增加了训练数据分布的多样性,而无需引入任何外部样本。此外,这种轻量级的数据增强策略可以作为即插即用的模块,无缝集成到现有的数据增强流程中。
**3.2. 算法**
在训练过程中,对于每个包含图像I及其相应类别标签ci的输入样本(I, ci),通过随机变量p~U(0,1)确定一种增强策略。如果p低于预定义的阈值R,则应用所提出的“拼接裁剪”增强;否则,仅使用一组基本增强方法。基础增强包括调整大小(Resize)、随机水平翻转(Random Horizontal Flip)、转换为Tensor(ToTensor)和标准化(Normalization),其详细配置在表2中提供。对于裁剪拼接方法(cat-and-crop method),为了避免直接连接同一类别样本时可能出现的显著空间不连续性(因为在遥感图像中不同样本的天气和气候差异可能很大),这种方法不会从同一类中抽取k个独立图像。相反,它是从单一原始图像生成k个旋转变体。具体来说,每个变体都是通过均匀采样旋转角度{0°, 90°, 180°, 270°}来自源图像生成的。这种策略在两个关键方面不同于传统的随机旋转增强:首先,在角度选择上,传统方法通常从连续范围(例如[-10°, 10°])进行采样,以模拟传感器姿态或物体方向的微小变化;而在提出的方法中,旋转严格限制在四个正交方向上,以便在随后的基于网格的拼接过程中保持几何对齐。其次,在后处理方面,传统方法将旋转后的图像直接馈入下游训练流程,而提出的方法则不是将旋转变体作为独立训练样本使用,而是首先将它们拼接成一个大的合成图像,然后从中随机裁剪出新的训练块。通过这种裁剪拼接方法,模型能够从单个源图像中获取更丰富的空间上下文和更多样化的局部结构组合,从而充分利用遥感图像的独特语义分布来提高对方向变化的感知能力。
基础增强包括调整大小、随机水平翻转、转换为Tensor和标准化,详细配置见表2。对于裁剪拼接方法,为了避免直接连接同一类别的样本时可能出现的显著空间不连续性(因为在遥感图像中不同样本的天气和气候差异可能很大),该方法不从同一类别中抽取k个独立图像。相反,它是从单个原始图像生成k个旋转变体。具体来说,每个变体是通过旋转源图像产生的,旋转角度从离散集合{0°, 90°, 180°, 270°}中均匀采样得到的。这种策略在两个关键方面不同于传统的随机旋转增强:首先,在角度选择上,传统方法通常从连续范围(例如[-10°, 10°])进行采样,以模拟传感器姿态或物体方向的微小变化;而在提出的方法中,旋转严格限制在四个正交方向上,以便在随后的基于网格的拼接过程中保持几何对齐。其次,在后处理方面,传统方法将旋转后的图像直接馈入下游训练流程,而提出的方法则不是将旋转变体作为独立训练样本使用,而是首先将它们拼接成一个大的合成图像,然后从中随机裁剪出新的训练块。通过这种裁剪拼接方法,模型能够从单个源图像中获取更丰富的空间上下文和更多样化的局部结构组合,从而充分利用遥感图像的独特语义分布来提高对方向变化的感知能力。
接下来,生成一对随机坐标(x, y)来指定裁剪区域的左上角。这些坐标需要满足以下约束:0 ≤ x ≤ HC ? HKi, 0 ≤ y ≤ WC ? WKi。然后,根据生成的坐标(x, y)从合成图像C中随机裁剪一个大小为WKi × HKi的图像块,记为Ki,其中Ki ∈ RHKi × WKi × 3。接着对该图像块依次应用调整大小、随机水平翻转、转换为Tensor和标准化操作,得到最终输入K,其中K ∈ RH × W × 3。最后,使用K及其对应的类别ci进行训练。详细的裁剪拼接过程在算法1中给出,整个训练流程结合这种增强方法的总结在算法2中给出。图3展示了几个增强后的实例。
3.3. 与其他增强方法的比较
与所提出的方法最相关的四种方法是Mixup、CutOut、CutMix和Mosaic。其中,Mosaic最初是为对象检测任务设计的,它将四个输入图像拼接在一起,并合并所有相关的边界框,从而间接增加有效批量大小并提高训练效率(Bochkovskiy等人,2020年)。受到Mosaic的启发,本工作中引入了一种结构修改:基于第1节中提出的假设,待拼接的图像来自单个源图像,并通过离散的正交旋转进行处理。拼接后进行随机裁剪,确保保留原始图像的标签。在实现方面,所提出的方法在数据加载阶段应用,这与随机翻转等标准几何增强技术一致。这种操作范式不同于Mixup和CutMix,因为Mixup和CutMix需要批量级数据作为输入,并在训练循环中进行标签/图像混合。此外,如表1所示,裁剪拼接是唯一一种同时保持one-hot标签、在数据加载阶段操作并且不进行跨类别标签插值的方法。
4. 实验
4.1. 数据集
在本节中,实验是在NWPU-RESISC45数据集(Cheng等人,2017年)和UCMerced LandUse数据集(Yang & Newsam,2010年)上进行的。
NWPU-RESISC45:该数据集包含31,500张遥感图像,涵盖45个场景类别,每个类别有700张图像。收集的图像在平移、旋转、比例和光照条件上存在显著差异。
UCMerced LandUse:该数据集包含2100张图像,分布在21个土地利用类别中,每个类别有100个样本。这些图像是从USGS国家地图城区影像集合中手动提取的,覆盖了美国的各种城市区域。
由于这些数据集没有提供官方的训练-测试划分,因此最初使用7:3和2:8的比例来评估所提出方法的有效性(NWPU-RESISC45)和7:3的比例(UCMerced LandUse)。所有实验配置都记录在表2中,完整的实验流程详见第4.2节。此外,由于没有引入任何架构修改,所有骨干网络都是直接使用torchvision.models和timm(Wightman,2019年)的官方存储库实现的,以保证正确性和可复现性。
4.2. 实验流程
实验按照以下顺序进行。首先,为了验证假设,将所提出的裁剪拼接方法在六种广泛采用的骨干架构上进行评估:ResNet18、ResNet34、DenseNet121、DenseNet169、EfficientNet-B0和ViT-S/16。与标准数据增强实践一致,随机水平翻转被用作基线。在对比分析中,将所提出的技术与3.3节讨论的几种已建立的增强方法(包括Mixup、CutOut和CutMix)进行基准测试。所有超参数以及旋转操作的消融研究都是独立进行的。所有超参数(包括所提出方法特有的参数p、选取的图像数量k和裁剪大小)以及训练周期数和硬件/软件配置都总结在表2中。随后,通过评估三个主要参数的所有组合,系统地分析了与所提方法相关的超参数的影响。最后,在测试阶段引入三种不同类型的随机噪声,并彻底研究了在扰动条件下的性能。
4.4. 假设验证和所提出方法的有效性
为了验证所提出方法的有效性,将其与以下基线算法进行基准测试。每种方法的超参数根据其原始出版物中的值进行配置,或设置为PyTorch的默认值。为了保证可复现性,所有实验中使用了固定的随机种子42。对于UCMerced-LandUse数据集,由于其规模非常小,还使用了不同的随机种子进行了额外的独立训练和测试,并将结果报告为3次单独运行的平均准确率。
4.4.1. 对比算法
为了验证所提出方法的有效性,将其与以下基线算法进行基准测试。每种方法的超参数根据其原始出版物中的值进行配置,或设置为PyTorch的默认值。为了保证可复现性,所有实验中使用了固定的随机种子42。对于UCMerced-LandUse数据集,由于其规模非常小,还进行了额外的独立训练和测试,并将结果报告为3次单独运行的平均准确率。
1. 随机水平翻转(基线):图像以50%的概率进行水平翻转,引入镜像不变性,是最简单的几何增强方式。
2. Mixup(DeVries & Taylor,2017):两个图像及其对应的标签进行线性插值,以生成软标签,从而促进训练样本之间的线性行为。
3. CutOut(Zhang等人,2018):在图像中随机屏蔽一个方形区域,迫使模型利用非局部上下文信息而不是依赖孤立的特征。
4. RandomErasing(Zhong等人,2017):在图像中随机屏蔽一个方形区域,并用随机噪声或随机像素值填充(而不是像CutOut那样的固定值),迫使模型依赖非局部上下文信息并对不同的遮挡模式具有鲁棒性。
5. CutMix(Yun等人,2019):将 donor 图像中的一个矩形块粘贴到原始图像上,并根据块的比例混合标签,有效地结合了Mixup的软标签策略和CutOut的区域屏蔽机制。
4.4.2. 在不同骨干网络上的应用
在这个实验中,选择了四个概率阈值,即0.25、0.5、0.75和1,代表从轻微到完全使用的范围,因为应用概率p直接影响正常数据与增强数据的比例。
表4和表5展示了实验结果,证实了所提出的裁剪拼接策略的有效性。当与代表标准最小增强协议的RandomHorizontalFlip基线进行基准测试时,所提出的方法在所有骨干架构和数据集分区中始终显著提高了准确率。这种系统的性能提升表明,多方向拼接和随机裁剪机制有效地丰富了训练分布,超出了传统的几何变换。如图5中的收敛曲线所示,使用所提出的策略训练时,所有架构都能保持稳定的优化。这一实证观察直接支持了第1节中提出的假设,表明从旋转变体构建的合成块可靠地保留了原始语义标签。同时,还显示了一致的规范化效果:验证准确率与基线相当或更高,而训练准确率相对较低。这种差异表明,模型被引导学习空间不变表示,而不是记忆训练实例。在绝对性能方面,所提出的方法在卷积网络中始终获得最先进或高度竞争性的第二名结果,显著优于传统的硬增强技术(如CutOut和RandomErasing),后者在更深层次的架构上由于严格的遮挡模式和缺乏标签级监督而只有边际提升。这种模型和数据感知的敏感性强调了校准增强强度的必要性,以使其与特定的归纳偏差和数据集容量相一致。尽管在CNN上表现稳健,但所提出策略的比较优势在不同容量架构中有所不同。在视觉变换器上,软标签方法(MixUp和CutMix)始终优于所提出的方法,因为它们的标签插值机制有效地平滑了决策边界并减轻了过度自信,这与基于变换器的模型中缺乏强烈的空间先验是一致的。然而,在EfficientNet-B0上,性能差距明显缩小,在特定配置下,所提出的方法甚至取得了竞争性或更优的结果,特别是在数据受限的情况下。这种差异突显了正则化范式之间的根本区别:在硬标签语义下,裁剪和拼接策略优先考虑空间和旋转多样性,保持清晰的决策边界,补充了卷积归纳偏差;而标签混合技术强制学习明确的类间关系,对于容易发生校准错误的模型来说是有利的(DeVries & Taylor, 2017)。因此,所提出的方法提供了一种计算效率高、保持语义的增强方式,能够与标准的骨干训练流程有效协同工作。为了细致评估各类别的分类性能,在NWPU-RESISC45和UCMerced-LandUse数据集的70%训练子集上训练的ResNet18的混淆矩阵分别在图6和图7中展示。如图6和图7所示,纵轴对应于真实标签,横轴表示预测类别,对角线上的值量化了每个类别的准确性。可视化结果确认,在NWPU-RESISC45的45个遥感场景类别和UCMerced-LandUse的21个不同类别中,都一致地实现了高度区分性的性能。此外,使用ResNet18对NWPU-RESISC45进行的t-SNE可视化展示在图8中。
4.5 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。特别是在资源匮乏的场景中,旋转引入的角度多样性进一步缓解了由于训练样本有限而导致的分布偏移,验证了所提出策略的数据效率优势。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。特别是在资源匮乏的场景中,旋转引入的角度多样性进一步缓解了由于训练样本有限而导致的分布偏移,验证了所提出策略的数据效率优势。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。特别是在资源匮乏的场景中,旋转引入的角度多样性进一步缓解了由于训练样本有限而导致的分布偏移,验证了所提出策略的数据效率优势。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。特别是在资源匮乏的场景中,旋转引入的角度多样性进一步缓解了由于训练样本有限而导致的分布偏移,验证了所提出策略的数据效率优势。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中70%的数据用于训练,ResNet18被用作基础模型。为了隔离所提出组件的单独贡献,针对旋转操作的消融实验总结在表6中。结果表明,仅空间拼接和裁剪机制(无旋转)就在所有评估的架构中带来了显著的性能提升。例如,在NWPU-RESISC45数据集上,ResNet18的准确率相比基线提高了2.96%,在20%数据受限的情况下,这一提升扩展到了5.90%。这证实了即使没有旋转变换,补丁组装和随机裁剪策略也能有效扩大上下文覆盖范围,并减少对局部判别区域的过度依赖。当集成多方向旋转操作(有旋转)时,在所有模型中都观察到一致且额外的性能提升。具体来说,ResNet18在70%的设置中进一步提高了0.71%,在20%的配置中提高了2.35%。这种逐步提升的模式表明,旋转组件强制学习方向不变的语义表示,与基础的空间拼接机制协同工作,以促进增强的泛化能力。
4.5. 消融研究
在本节中,首先使用ResNet18、ResNet34、ViT-T/16和DenseNet121在NWPU-RESISC45数据集上对所提出方法中的旋转操作进行了消融实验。随后,为了彻底研究超参数的影响,对三个超参数进行了成对组合消融实验:应用概率p、拼接图像的数量k和裁剪大小。超参数实验在NWPU-RESISC45和UCMerced-LandUse数据集上进行,其中7
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号