《Neurocomputing》：Data-centric benchmark for label noise estimation and ranking in remote sensing Binary building segmentation
编辑推荐：
高质量像素级标注对于遥感影像的语义分割至关重要。然而，由于像素级标注的劳动密集性和耗时性，这类标注获取成本高昂且常常受到噪声影响，这使得人工标注者难以准确标注每一个像素。标注错误会显著降低现代分割模型的性能和鲁棒性，从而促使需要可靠的机制来识别和量化有噪声的训
高质量像素级标注对于遥感影像的语义分割至关重要。然而，由于像素级标注的劳动密集性和耗时性，这类标注获取成本高昂且常常受到噪声影响，这使得人工标注者难以准确标注每一个像素。标注错误会显著降低现代分割模型的性能和鲁棒性，从而促使需要可靠的机制来识别和量化有噪声的训练样本。本文引入了一种新颖的以数据为中心的基准（Data-centric benchmark），以及一个新的公开可用的二值建筑分割数据集。该特定任务作为一个具有代表性且实际相关的测试平台，允许对不同标注扰动进行受控实验。此外，研究人员还引入了两种技术，用于根据遥感语义分割中训练样本的标签噪声水平对其进行识别、量化和排序。这些提出的方法利用了基于模型不确定性（model uncertainty）、预测一致性（prediction consistency）和表示分析（representation analysis）的互补策略，并在多种实验设置中持续优于已建立的基线。本工作的成果公开于 https://github.com/keillernogueira/label_noise_segmentation。
遥感影像语义分割是土地覆盖制图、环境监测和城市分析等下游应用的基础，但获取高质量像素级标注成本高昂且易受噪声影响。现实数据集中的噪声比率可达8.0%至38.5%，而深度学习模型会记忆噪声标签，导致过拟合和泛化性能下降。现有研究多聚焦于修改模型架构或损失函数以提升鲁棒性，但缺乏统一基准来评估标签噪声的识别与量化方法。为此，研究人员提出了一种以数据为中心的基准（Data-centric benchmark），将语义分割中的标签噪声估计重新定义为排序问题，即根据像素级标注错误程度对图像从低到高排序，而非简单判断标签是否干净。该基准源自2024年地球观测与环境监测机器视觉研讨会（MVEO）组织的数据中心土地覆盖分类挑战赛，包含一个公开数据集（基于SpaceNet8，提取5000张训练样本和1298张验证/测试样本，图像来自美国东路易斯安那和德国，空间分辨率0.3-0.8 m/像素）以及两项获胜技术。论文发表于《Neurocomputing》。
研究人员为开展研究主要采用了以下关键技术方法：增强集成排序（Augmented Ensemble Ranking）基于RefineNet架构，使用预训练权重并在数据集上微调，通过强数据增强（几何变换和外观变换）及5个模型的集成（像素级多数投票），利用预测与标注的交并比（IoU）计算噪声分数（1 - IoU）进行排序。正则化方差排序（Regularized Variance Ranking）采用预训练ScaleMAE编码器和随机初始化的UperNet解码器，在SpaceNet2上预训练后，通过交叉验证（CV）微调8个网络，结合IoU和像素级方差（对所有模型预测计算方差并取平均）计算分数，对高IoU高方差样本惩罚，对低IoU高方差样本赋予更大权重。样本来源为SpaceNet8数据集，仅使用洪水前影像和建筑物相关类别，构建二值建筑分割任务。
研究结果部分包含三个子标题：
**6.1 排序结果**：通过Kendall’s τ和Spearman’s ρ相关系数评估排名质量。增强集成排序取得最佳性能（Kendall’s τ=0.6104，Spearman’s ρ=0.7709），正则化方差排序次之（τ=0.5683，ρ=0.7312），两者均显著优于基线方法CleanLab（τ=0.1717，ρ=0.2383）和不确定性量化（τ=0.1262，ρ=0.1383），表明所提方法能有效捕捉标签噪声信息并与真实排名高度一致。
**6.2 噪声效应结果**：采用U-Net和SegFormer模型，分别使用排名前25%、50%、75%和100%的训练样本进行训练，以F1分数评估性能。关键发现：使用较少但更干净的样本（如前50%排名补丁）训练始终优于使用全部噪声数据集，表明存在噪声阈值，超过该阈值后增加样本会因噪声累积导致性能下降。所提方法在所有训练比例下均优于基线，证明了其在数据选择中的实用价值。
**6.3 噪声类型消融**：对不同噪声类型（全局缩放、单侧缩放、适度旋转、小平移、删除、顶点添加、假阳性添加）分别分析。所提方法（组合排名）在所有噪声类型上一致优于基线，对假阳性添加和假阴性删除的识别效果最佳，而对涉及标注收缩和膨胀的噪声类型相关性最低，原因是物体边界处的几何畸变导致像素级偏差大但语义身份保留，增加了检测难度。
总结讨论部分：研究人员指出，在有限标注预算下，优先选择高质量样本进行训练可提升模型精度并降低计算成本。本工作为遥感语义分割中的噪声感知学习、置信学习（Confident Learning）和以数据为中心的方法论提供了统一基准和比较框架。研究结论翻译如下：本文引入了一种新颖的以数据为中心的基准，将语义分割中的标签噪声估计重新定义为排序问题，而非二元决策。该基准包含一个基于SpaceNet8构建的新噪声建筑分割标签数据集，包含多种真实噪声类型，并公开了干净标签掩码。同时，研究人员分析了两项挑战赛获胜技术，均依赖神经网络集成并通过预测与真实掩码的差异作为噪声估计代理。实验结果表明，所提方法在多个评估协议中持续优于基线，关键经验发现是使用较少但更干净的样本（如前50%排名补丁）训练往往优于使用全部噪声数据集，突显了噪声对分割性能的损害和选择性数据使用的重要性。未来工作方向包括：将基准扩展到更多语义类别和遥感模态，以及在真实噪声数据集上验证方法的可迁移性。
