HyTC-Net：面向高分辨率影像云纹理识别的多尺度多分支混合注意力云检测网络

《Sensors》：HyTC-Net: A Multi-Scale, Multi-Branch Hybrid Attention Cloud Detection Network for High-Resolution Image Cloud Texture Recognition

　　

针对ZY-3卫星高分辨率影像在OmniCloudMask (OCM)基线模型训练后出现的云边界模糊、薄云分割不完整，以及雪覆盖等高亮背景下检测到的云易与背景混合等问题，该研究提出一种混合CNN–Transformer网络HyTC-Net，旨在增强云纹理识别能力。该模型以ConvNext-Tiny为骨干，创新性引入CloudTextureAttention (CTA)模块和轻量Transformer模块LightweightMobileViT (LM)，并将ASPP与深度监督(DS)机制相结合，以增强对云纹理和边界的感知，从而提升厚云、薄云、高亮场景云和斑块云等复杂场景的分割能力。在ZY-3数据集上，HyTC-Net取得94.73 ± 0.18%的准确率(accuracy)和92.28 ± 0.21%的精确率(precision)，较基线模型OCM分别显著提高1.12个百分点和2.4个百分点。与UNet和DeepLabV3+等主流模型相比，准确率最高提升6.6个百分点，精确率最高提升17.9个百分点。结果表明，HyTC-Net能够有效应对高分辨率影像纹理不均匀和光谱信息有限所带来的挑战，如边界不清晰、高反射地物误分类和薄云漏检等。

研究背景与问题：ZY-3卫星是中国首颗民用高分辨率立体测绘卫星，携带正视全色、前后视全色和多光谱相机；其影像仅有红、绿、蓝和近红外四个波段，缺少短波红外和热红外波段。高分辨率影像使地物细节被放大，云边界模糊、薄云分割不完整、厚云与碎片云分割不连续，以及雪覆盖等高亮背景与云混淆等问题突出。OCM基线模型在ZY-3二分类数据上存在漏检和误检，因此需要增强云纹理识别能力，以改善有限光谱信息和高分辨率条件下的云检测性能。该研究提出HyTC-Net（混合CNN–Transformer云检测网络），以ConvNext-Tiny为编码骨干，引入CloudTextureAttention (CTA，云纹理注意力)模块、LightweightMobileViT (LM，轻量移动视觉Transformer)模块、轻量空洞空间金字塔池化(L-WASPP)和深度监督(DS)机制，并设计复合损失函数，以提升厚云、薄云、高亮场景云和斑块云的分割能力。研究得出，HyTC-Net在ZY-3数据集上准确率达94.73 ± 0.18%、精确率达92.28 ± 0.21%，较OCM分别提高1.12和2.4个百分点；与UNet、DeepLabV3+等模型相比，准确率最高提高6.6个百分点、精确率最高提高17.9个百分点。其意义在于为光谱信息有限的高分辨率卫星数据预处理提供更准确的云检测方案，并改善模糊边界和纹理变化带来的分割困难。

关键技术方法：样本来自ZY-3卫星01和02影像，裁剪为1024×1024，共1833幅原始影像，按来源场景随机分为训练、验证、测试集1467/183/183幅，训练集经8种增强扩至13203幅。模型以ConvNext-Tiny为编码骨干，插入LM（LightweightMobileViT，轻量移动视觉Transformer）和CTA（CloudTextureAttention，云纹理注意力；含通道、多尺度纹理及局部统计/F-branch）；瓶颈采用L-WASPP（轻量空洞空间金字塔池化）；解码器引入DS（深度监督）；损失函数由CE、DT（Dynamic Tversky，动态Tversky损失）、TAB（Texture-Aware Boundary，纹理感知边界损失）和Con（Consistency Loss，一致性损失）组合，采用AdamW优化器。

研究结果：3.1 实验与结果分析：通过ZY-3 01/02影像构建数据集，按厚云、薄云、云–雪和碎片云分类，采用半自动标注并结合归一化红–近红外光谱对比辅助人工修订，应用8种数据增强和两阶段迁移学习，并以5个随机种子重复训练，得出模型在固定数据划分和评价协议下具有稳定性能。3.2 评价标准：通过准确率、精确率、召回率、平均交并比(mIoU)、F₁分数、参数量、边界交并比(BIoU)和边界F₁(BF₁)进行评价，其中BIoU和BF₁用于边界质量评估，得出模型评价覆盖区域重叠和边界 delineation。3.3.1 不同模型间的对比实验：通过将HyTC-Net与OCM、UNet、DeepLabV3+、TransUNet、HRNet、SwinUnet、D-LinkNet和Swin-UperNet比较，得出HyTC-Net在准确率、精确率、召回率、F₁和mIoU上均领先；较OCM准确率提高1.12个百分点至94.73 ± 0.18%，精确率提高2.4个百分点至92.28 ± 0.21%，召回率提高1.24个百分点至90.54 ± 0.25%，F₁提高1.14个百分点至89.76 ± 0.22%，mIoU提高1.19个百分点至86.65 ± 0.27%，BIoU和BF₁分别提高2.74和1.92个百分点，且可视化结果显示厚云和碎片云漏检、误检较少。3.3.2 不同场景下不同模型的对比实验：通过在厚云、薄云、云–雪和碎片云子集上评估，得出HyTC-Net相对OCM在厚云场景准确率提高2.5个百分点至95.79 ± 0.16%、精确率提高4.2个百分点至93.29 ± 0.20%；薄云场景准确率提高0.5个百分点至94.04 ± 0.22%、精确率提高2.2个百分点至91.16 ± 0.26%；云–雪场景准确率提高0.53个百分点至93.97 ± 0.28%、精确率提高4.39个百分点至92.25 ± 0.31%；碎片云场景准确率提高1.3个百分点至95.19 ± 0.20%、精确率提高2.16个百分点至92.42 ± 0.25%，且各场景BIoU和BF₁均高于OCM。3.4.1 模块消融实验：通过单独及组合加入CTA、L-WASPP、LM和DS，得出单独加入时性能稳定或略升，CTA单独使用可提升BIoU和BF₁但召回率略降，四模块组合取得最佳综合性能，说明各模块在多尺度特征提取、全局上下文建模和梯度传播方面互补。3.4.2 损失函数消融实验：通过比较CE、Dice、IoU、Boun与DT、TAB、Con的不同组合，得出最终复合损失配置在七项指标上取得最高均值，较OCM准确率提高1.12个百分点、精确率提高2.40个百分点、召回率提高1.24个百分点、F₁提高1.14个百分点、mIoU提高1.19个百分点，BIoU和BF₁分别提高2.74和1.92个百分点，说明DT自适应调节假阳性/假阴性、TAB利用纹理信息处理复杂边界、Con增强扰动下输出稳定性。

讨论与结论：讨论部分总结认为，HyTC-Net针对ZY-3 01和02高分辨率影像中OCM在云边界、薄云、碎片云和雪背景下的误检漏检问题，通过CTA、L-WASPP、LM和DS在多层次优化多尺度特征提取、全局上下文建模与深度监督训练，并以TAB、DT和Con改进区域重叠、边界描绘和分割稳定性；模型训练时间较长，未来需在跨传感器、跨区域、跨季节和跨分辨率数据上评估泛化能力，扩展训练数据多样性，并研究自监督预训练、域适应和边界感知学习，重点评估薄云及高反射背景下的稳健性和迁移性。结论部分翻译：该研究主要针对原始OCM模型在ZY-3影像中薄云边界识别不完整、厚云和碎片云分割不连续、雪覆盖等高亮背景下云雪混淆以及训练中梯度消失等问题。HyTC-Net中LM模块的自注意力机制使不同形状云的分割更完整；CTA模块利用多尺度卷积和局部统计纹理分析检测能量分布，减少云雪混淆和薄云分割不完整；L-WASPP模块的多尺度感受野使云分割更完整、边界更清晰。训练结果显示，HyTC-Net较原始模型准确率提高1.12%、精确率提高2.4%。在光谱信息有限和高分辨率影像条件下，该模型能够保留薄云边缘细节，在雪覆盖高亮背景下清晰识别云特征，并连续分割厚云和碎片云。对于ZY-3类卫星影像，通过整合纹理敏感和上下文响应模块，模型形成全局上下文理解并学习不同云纹理的细节特征；CTA结合通道注意力、多尺度纹理注意力和基于局部空间统计的调制，F-branch保持局部变化描述符的空间对齐并补充其他分支，最终由分割网络生成云分类结果。未来工作将提高HyTC-Net跨传感器、地理区域、季节和空间分辨率的泛化能力，扩展训练数据多样性，研究自监督预训练、域适应和边界感知学习，并开展独立多模态评估，重点关注薄云层和高反射背景下的稳健性与迁移性。