《Remote Sensing》:Preprocessing Mismatch and Input Normalisation in Transferring a Multispectral Foundation Model to Marine Surface Segmentation
编辑推荐:
摘要翻译:地球观测基础模型通常在下游任务中迁移时,未明确关注预训练与目标分布之间的预处理不匹配问题。本研究将预处理不匹配作为受控实验因素,用于将Hydro多光谱基础模型(一种通过SimMIM在Sentinel-2 Level-2A水体影像上预训练的Swin T
摘要翻译:地球观测基础模型通常在下游任务中迁移时,未明确关注预训练与目标分布之间的预处理不匹配问题。本研究将预处理不匹配作为受控实验因素,用于将Hydro多光谱基础模型(一种通过SimMIM在Sentinel-2 Level-2A水体影像上预训练的Swin Transformer V2 Base编码器)迁移至海洋碎片与石油泄漏(MADOS)海洋污染基准数据集。该数据集通过ACOLITE瑞利反射率处理,并提供预训练期间使用的12个光谱波段中的11个。因此,这两个数据集由不同的大气校正算法在不同反射率约定下生成,由此产生的逐波段统计差异被量化作为分析的起点。随后,在保持所有其他设置不变的情况下,系统性地变化三个预处理维度:输入归一化、缺失B09波段的频谱适应以及编码器迁移模式。由此得出四个发现。训练与推理之间的归一化不匹配是性能下降的最大单一来源,使平均交并比(mIoU)降低0.458,是测试的最大辐射扰动幅度的七倍以上。一种零参数的Frobenius匹配列裁剪(对预训练嵌入层权重进行裁剪和重新缩放)将12波段预训练编码器适应至11波段目标,其效果至少与任何学习的线性或非线性适配器相当,且跨种子方差更低。在有限目标监督下(1433个训练样本面对8790万参数编码器),冻结编码器优于完全微调和从随机初始化训练。部分解冻的收益归因于增强训练(非常简单的复制-粘贴(VSCP)增强、指数移动平均(EMA)和测试时增强(TTA)),而非编码器适应。在匹配预处理条件下,冻结的Hydro编码器达到0.600的mIoU,并在种子变异性内与已发表的MariNeXt基线匹配。通过波段遮挡归因和特征空间可分性的机制分析表明,输入归一化决定了编码器依赖哪些光谱波段,且重要性转移与逐波段源-目标差距相关。在操作上,预处理对齐(而非架构修改)承担了将多光谱基础模型迁移至海洋表面分割的大部分实际工作。这些结果是在有限目标监督下针对单一编码器-基准对建立的。所识别的机制比报告的数量更具可移植性。冻结编码器的表示仍然与预训练数据集的归一化统计相关,因此任何在推理时偏离这些统计的迁移预计将随两个分布之间的逐波段距离成比例地急剧退化。
论文解读:
**研究背景与问题**
地球观测基础模型在遥感领域日益普及,通常通过自监督学习在大规模影像上预训练,再迁移至下游任务。然而,预训练数据与下游数据集之间的预处理不匹配问题常被忽视。在遥感中,模型输入强烈依赖于预处理链,不同的大气校正(AC)方法、反射率约定和波段配置可产生不同输入分布。例如Sentinel-2影像中,ACOLITE、Sen2Cor和LaSRC等处理算法在理论和参数化上存在差异,导致逐波段统计显著不同。这种差异对预训练编码器尤为重要,因为模型在特定统计结构的数据上优化,若下游数据分布不同,首层将接收与预训练不同的输入,降低特征质量和任务性能。此外,目标数据集缺少预训练波段时,输入嵌入层需修改。海洋污染测绘中,目标类别光谱对比弱、空间范围变化大,且受采集条件影响,这些特征使该任务成为研究预处理不匹配的理想场景。
**研究内容与结论**
研究人员使用Hydro基础模型(基于Swin Transformer V2编码器,通过SimMIM在Sentinel-2 Level-2A水体影像上预训练)和MADOS海洋污染基准数据集,在受控框架内系统变化三个预处理维度:输入归一化、光谱波段适应(缺失B09)和编码器迁移模式,同时保持其他设置固定。研究发现:归一化不匹配是性能下降的最主要来源,使mIoU降低0.458,是最大辐射扰动的七倍以上;零参数的Frobenius匹配列裁剪适应12波段编码器至11波段目标,性能不低于任何学习的适配器,且跨种子方差更低;在有限目标监督下,冻结编码器优于完全微调和随机初始化训练;部分解冻的收益归因于增强训练(VSCP、EMA、TTA)而非编码器适应;匹配预处理下冻结编码器与MariNeXt基线在种子变异性内匹配。该研究发表在《Remote Sensing》。
**主要技术与方法**
研究人员使用MADOS数据集(2803个影像块,174个全球场景,2015-2022年,ACOLITE处理至瑞利反射率,11个波段,15类标签)和Hydro预训练数据集(约10万个256×256像素块,Sen2Cor处理,12个波段)。架构采用Swin Transformer V2 Base编码器(8790万参数)加Hamburger解码器(69.4万参数)。受控实验中,所有配置训练80轮,Adam优化器,初始学习率2×10??,批量大小5,交叉熵损失,逆对数类权重γ=1.02。对五种波段适应策略(直接裁剪D1、Frobenius匹配裁剪D2、线性适配器D3、部分解冻D4、非线性MLP适配器D5)、五种归一化策略(MADOS z-score、Hydro z-score、逐块z-score、仿射M2H、可学习仿射)和三种编码器迁移模式(冻结、部分解冻、完全微调)进行比较。每个配置以两个随机种子(0和1)训练,报告均值和标准差。
**研究结果**
4.1 迁移策略:冻结编码器(A2)mIoU最高(0.574),高于部分解冻(A3,0.540)和完全微调(A4,0.489),且完全微调的预训练编码器不如随机初始化从零训练(A1,0.527)。添加D2波段适应后达0.600,超过重新训练的无增强MariNeXt基线(0.559)。桥接消融和冻结镜像实验表明,部分解冻的增益来自增强训练而非编码器适应。
4.2 波段适应:Frobenius匹配裁剪(D2)mIoU最高(0.600)且跨种子方差最低(0.004),直接裁剪(D1)为0.553,线性适配器(D3)为0.582但方差较高(0.043),MLP适配器(D5)最低(0.509)。D2以零参数达到最优性能。
4.3 归一化:MADOS z-score(B1,0.571)和Hydro z-score(B2,0.560)均优于其他策略,差异不显著。但测试时应用错误归一化统计使mIoU从0.571降至0.113(C5),反向从0.560降至0.241(C6),均为灾难性下降。三种标签无关的协调变换(H1-H3)均未能恢复匹配性能。
4.4 机制:特征空间可分性分析显示,Hydro归一化下油污与海水类质心的余弦距离更大(pre-HAM从0.079增至0.117,post-HAM从0.194增至0.388)。波段遮挡归因表明,归一化改变编码器对波段的使用,油污和海水的重要性转移与绝对值归一化平均差距的Spearman相关系数分别为0.836和0.791。
4.5 空间结构:逐块分析显示,与MADOS参考分布偏差更大的样本在归一化不匹配下mIoU下降更大(欧氏距离ρ=0.105,SAM ρ=0.080),但效应量较小,测试集存在两个潜在辐射簇(k=2,轮廓系数0.67)。
**结论**
研究证明,将多光谱基础模型迁移至海洋表面分割时,预处理对齐(而非架构修改)承担了大部分实际工作。四种关键发现:归一化不匹配是性能下降的主因;零参数Frobenius匹配裁剪优于所有学习的适配器;在有限数据下冻结编码器最佳;匹配预处理下冻结编码器与MariNeXt基线相当。机制分析表明,输入归一化决定编码器的光谱利用模式,不匹配导致结构性的重新加权而非泛化性损失。该结论对单一编码器-基准对有效,但所识别的机制更具可移植性:任何偏离预训练归一化统计的迁移预计将按逐波段距离比例衰退。未来工作需扩展到更多基础模型和数据集,探索标签感知的协调策略,以及将补丁级脆弱性分析集成到业务化监测流程中。