《Cold Regions Science and Technology》：Automated river ice classification of true colour and near-infrared Sentinel-2 satellite data using deep learning
编辑推荐：
Sentinel-2影像能够实现大尺度动态河冰状况的监测。YOLOv8深度学习模型提升了河冰类型的分割与分类能力。多模态方法对九种关键河冰类型实现了高精度识别。近红外（NIR）数据改善了部分特征（如岸冰和开放水道）的检测。该研究为寒冷地区冰塞洪水预报与应急管理
Sentinel-2影像能够实现大尺度动态河冰状况的监测。YOLOv8深度学习模型提升了河冰类型的分割与分类能力。多模态方法对九种关键河冰类型实现了高精度识别。近红外（NIR）数据改善了部分特征（如岸冰和开放水道）的检测。该研究为寒冷地区冰塞洪水预报与应急管理提供了支撑。
基于深度学习的Sentinel-2真彩色与近红外影像河冰自动化分类研究解读
一、研究背景与问题
冰塞洪水是寒冷地区河流系统面临的严重自然灾害之一。当破碎的冰 floes 堆积堵塞河道时，上游水位抬升，可能引发具有破坏性的冰塞洪水。除洪水本身外，冰塞还会严重影响基础设施、水电运行、航运及河流生态，造成巨大的经济损失。例如，1993年圣劳伦斯河冰塞导致海洋运输生产力损失约2亿加元；2020年4月亚伯达省麦克默里堡阿萨巴斯卡河大型冰塞造成数千人疏散、持续数周的煮水建议、一人死亡，以及约11亿加元的保险及非保险损失合计。
寒冷地区河流每年都会形成河冰，其年循环通常包括三个阶段：晚秋至初冬的封冻期，过冷水体在湍流条件下产生细小的盘状晶体即冰晶（frazil ice），聚集成漂浮的冰盘（frazil pans），最终形成逐渐增厚的冰盖；冬季中期，连续冰盖持续存在并热力增厚，在融化和快速流动水体附近偶尔出现小型开放水道；春季解冻期，受升温、太阳辐射增强和融雪径流驱动，冰盖破裂。每个转变阶段都可能改变河道水力学和泥沙输移，导致危险的冰塞洪水，因此系统监测河冰过程对理解这些响应、管理河流运行和生态影响至关重要。
然而，传统的河冰监测方法面临诸多挑战。现场实地巡查能提供详细的原位观测，但劳动强度大、危险性高且空间覆盖有限。航空侦察提供概览视角，但成本高、受天气制约、缺乏回溯性观测，通常仅用于针对性事件。现场仪器如气象站、声纳冰剖面仪和延时相机等受维护需求、场地限制和空间覆盖不足的约束。被动光学或多光谱卫星遥感为解决这些挑战提供了安全、广覆盖的替代方案，自20世纪70年代起便被用于河冰监测。但以往基于被动卫星影像的研究大多局限于冰与水二值制图，无法提供冰类型的详细信息。合成孔径雷达（SAR）虽对冰面粗糙度敏感，可区分光滑完整冰与粗糙冰塞，但现有方法仅针对解冻季验证，且为像素级方法，无法利用目标形状和颜色等特征进行分类。
深度学习目标检测模型为突破像素级分类局限提供了新途径。目标检测模型基于形成连贯图像对象的区域进行工作，并根据形状、纹理和空间上下文进行分类。YOLO（You Only Look Once）作为基于深度学习的目标检测模型，可应用于光学Sentinel-2影像，生成详细的段级预测。然而，目前河冰监测的深度学习应用多依赖地面或航空倾斜影像，且多为单一影像类型输入。多模态学习整合不同数据源，如结合Sentinel-2真彩色影像（TCI）与近红外（NIR）波段，有望提升分类性能。NIR波段对冰和植被强反射而对水强吸收，能形成水与冰之间的清晰对比，有利于分类。
二、研究内容与方法
研究人员在加拿大亚伯达省皮斯河和阿萨巴斯卡河两大河流系统开展研究。皮斯河发源于不列颠哥伦比亚省落基山脉，全长约1920公里，受水坝调节，封冻期延长，易发生封冻冰塞和动态解冻事件；阿萨巴斯卡河为无调节河流，全长1230公里，冰过程自然且季节一致。研究利用欧洲空间局（ESA）哥白尼计划Sentinel-2任务的高分辨率被动卫星影像，使用10米分辨率波段，选取TCI（红B04、绿B03、蓝B02）和NIR（B08）两种数据模态。皮斯河影像采集自2023年11月至2024年4月，涵盖封冻和解冻季；阿萨巴斯卡河影像采集自2020年4月至5月，聚焦解冻期。所有影像被裁剪为以每第四河公里为中心的4公里×4公里边界框，生成400×400像素影像瓦片，共1748个瓦片上传至Roboflow平台进行人工标注。
研究人员与亚伯达大学专家及亚伯达环境和保护区（AEPA）河流预报中心合作，制定了九类河冰分类方案：岸冰（border ice）、冰晶泥（frazil slush）、冰晶盘（frazil pans）、岛屿/沙洲（island/bar）、完整冰（intact ice）、开放水道（open lead）、冰塞（ice jam）、冰运行（ice run）和开放水域（open water）。标注主要采用Roboflow的Smart Polygon工具，由Segment Anything Model（SAM）驱动，标注人员点击目标区域后工具建议多边形轮廓，再由标注人员检查和调整。标注完成后进行质量控制审查，确保分类标准一致。数据集按80%-10%-10%比例划分为训练、验证和测试子集，并通过90°、180°和270°旋转增强数据，使图像数量翻四倍。研究采用YOLOv8-seg模型进行分割和分类，设置两种训练配置：仅TCI的单模态配置和TCI+NIR早期融合的多模态配置。通过学习曲线确定单模态150个epoch、多模态175个epoch为最佳训练轮数。模型训练在Google Colab云端环境完成，使用NVIDIA A100 GPU，约6小时完成。评估聚焦精确率（Precision）、召回率（Recall）和IoU阈值0.5下的平均精度（mAP@0.5）三项核心指标，同时计算mAP@0.5:0.95作为补充的严格空间精度检查。
三、研究结果
3.1 验证指标
3.1.1 检测
单模态配置下，所有类别的检测mAP@0.5为84%。混淆矩阵显示，“冰塞”有6%被误分类为“冰运行”、3%被误分类为“完整冰”，表明模型在仅使用TCI时有时难以区分拥挤堆积的冰塞、自由漂移的线性冰运行和更连续完整的冰盖。“岸冰”有2%与“岛屿/沙洲”混淆，因为岸冰常邻近岛屿或沙洲形成且视觉相似。薄、碎片化或低对比度类别如冰晶泥、冰运行、开放水道和岸冰误分类为背景的情况较明显。
多模态配置下，NIR的加入减少了几种关键误分类模式。冰塞/冰运行/完整冰的混淆降至为零，“岸冰”误分类为“岛屿/沙洲”的比例从2%降至1%。“冰晶盘”有1%被误分类为“冰晶泥”，但这对运行用户可能不构成问题，因为两类别常代表相同的封冻过程。两种配置下“开放水域”均有1%被误分类为“开放水道”。多模态配置下所有类别的预测置信度提高，分配到背景的像素减少。检测的mAP@0.5:0.95单模态为0.70，多模态为0.75。
3.1.2 分割
单模态配置下，分割mAP@0.5为80%，平均为80.3%。“开放水道”（0.669）和“岸冰”（0.632）值明显较低，反映将这些细微特征与周围陆地、冰和水分离的困难。被雪覆盖的河岸在真彩色影像中与岸冰视觉相似，因为两者反射率相近且均邻近河流边缘。对比之下，具有明亮独特特征的类别如冰晶盘、冰晶泥、冰塞、冰运行、完整冰和开放水域均呈现近乎完美的精确率-召回率曲线。
加入NIR波段后，多模态配置的分割mAP@0.5提升至83%，平均为83.0%。“开放水道”提升至0.709，“岸冰”提升至0.699。精确率-召回率曲线更陡峭且平台值更高，表明包含NIR信息时假阳性更少、检测更自信。分割的mAP@0.5:0.95单模态为0.56，多模态为0.59。标注不一致、类别不平衡和样本多样性有限可能导致了部分分类错误。NIR波段与TCI天然配准，无需额外预处理即可有效过滤陆地和植被区域。
3.2 测试数据集预测输出与性能指标
测试数据集评估显示，多模态配置在所有类别上均优于单模态配置。检测方面，多数类别加入NIR后提升3-10个百分点，如“岸冰”从65.3%提升至74.9%，“冰运行”从93.8%提升至97.6%，“完整冰”从78.7%提升至80.1%，“开放水域”从73.8%提升至78.5%。分割方面同样呈现改进趋势，所有类别均有提升，“岸冰”增益最大，从58.0%提升至71.6%。“冰晶泥”、“冰晶盘”、“冰塞”和“岛屿/沙洲”在单模态下已表现优异（检测和分割均超过75%），加入NIR后仍有小幅但积极的提升。“开放水道”仍属较弱类别，但检测从63.3%提升至65.6%，分割从58.5%提升至59.8%。所有情况下检测mAP@0.5比分割高几个百分点，反映绘制精确多边形比放置边界框更具难度。训练与测试性能的一致性表明模型泛化良好，未表现出明显过拟合。
3.3 模型可迁移性与适用性
该框架的适用性受Sentinel-2影像空间分辨率和河冰特征相对于像素尺寸大小的影响。方法预期在中等至大型河流上表现最佳，此时冰类别占据多个像素并保持可区分的空间模式。基于研究评估的河流宽度，框架目前预期最适用于约250米宽及以上的河流，此时河冰特征占据多个Sentinel-2像素并保留可区分的空间模式。基于当前工作流程，约10公里或更长的河段长度预期能提供足够的空间连续性和河冰过程代表性。然而，仍需在不同形态、宽度、长度和冰情制度的河流上进行额外测试，以更好地界定模型的运行适用性边界。
四、结论与讨论
研究开发了基于深度学习的被动卫星影像河冰自动化分类工具，采用九类河冰分类方案，区别于以往聚焦二值（有冰/无冰）分类的研究。多模态配置纳入Sentinel-2近红外波段08作为第四输入通道，验证数据集上分割精度mAP@0.5=83%、检测精度mAP@0.5=87%，优于单模态配置。NIR的加入通过增强边界对比和减少困难案例的模糊性提升了类别可分性，如区分岸冰与邻近岛屿/沙洲特征、描绘开放水道，同时减少了冰塞、冰运行和完整冰之间的混淆，并帮助避免雾霾条件下将开放水域误分类为冰晶泥。由于波段08与TCI波段天然配准且几乎同时获取，直接整合进早期融合既高效又方法学上合理。
研究仍存在一些局限：部分代表性不足的类别如“开放水道”和“岸冰”因类别不平衡、训练样本较少和纹理相似性而分类精度较低；光学影像中的云覆盖减少了可用影像数量。未来工作将扩展训练数据集至更广泛的季节和地理位置，探索更先进的多模态融合策略（如中间和晚期融合），并整合SAR数据作为额外模态，由于SAR获取不受云覆盖影响，这将扩展模型的时间和空间适用性。研究计划将模型和支持工具打包部署，以便整合进运行性河冰监测系统。该研究发表于《Cold Regions Science and Technology》，受加拿大自然科学与工程研究理事会发现基金项目和亚伯达创新推进计划资助。
