基于遥感影像梯田提取的混合CNN–Transformer模型(TerraceNet)

《Remote Sensing》：A Hybrid CNN–Transformer Model for Terrace Extraction from Remote Sensing Imagery

　　

摘要：梯田是重要的地表改造形式，既是关键农业资源也是有效水土保持措施，但其形态多样、尺度变化显著及几何边界模糊，给高分辨率遥感影像自动提取带来挑战。现有基于卷积神经网络(CNN)和基于Transformer的方法难以同时兼顾细粒度空间细节保留与长距离上下文建模。为此，研究人员提出TerraceNet——一种采用编码器–双解码器(encoder–dual-decoder)设计的混合CNN–Transformer架构。该框架采用ConvNeXt编码器提取多尺度特征，经动态融合特征金字塔网络(DF-FPN, Dynamic Fusion Feature Pyramid Network)聚合后送入两个并行解码器：专用于细粒度边缘定位的边界解码器(boundary decoder)，以及融入边界先验、通过自注意力机制建模全局上下文的多尺度Transformer分割解码器(multi-scale Transformer segmentation decoder)。在黄土高原无定河流域2 m分辨率GF?1卫星影像数据集上的实验表明，TerraceNet的交并比(IoU, Intersection over Union)达77.61%，F1?Score达87.39%，验证了所提架构对复杂地形下形态多样梯田提取的有效性。

论文解读——《Remote Sensing》发表于Remote Sensing期刊的"A Hybrid CNN–Transformer Model for Terrace Extraction from Remote Sensing Imagery"一文解读

梯田广泛分布于山地丘陵区，兼具农业生产与水土保持功能，准确制图与动态监测对农业管理、生态评估及水土流失防治具有重要意义。然而梯田存在窄条带状与连片斑块等多种形态、尺度差异大、与周边地物边界模糊且易受阴影和季节影响，传统机器学习依赖人工特征泛化性差；纯卷积神经网络(CNN, Convolutional Neural Network)受局部感受野限制难以建模长距离依赖，纯Vision Transformer因缺乏卷积归纳偏置易丢失局部细节，尤其对窄小破碎梯田边界刻画不佳。因此亟需融合CNN局部细节保持能力与Transformer全局上下文建模能力的混合方法以实现高精度梯田提取。

研究人员以黄土高原无定河流域(Wuding River Basin)2 m分辨率GF?1卫星影像构建梯田数据集（含1538个512×512样本，训练集1127、测试集411，无空间重叠），提出混合CNN–Transformer梯田提取网络TerraceNet，采用ConvNeXt?Tiny为编码器，衔接动态融合特征金字塔网络(DF?FPN)进行自适应多尺度特征融合，再分别送入边界解码器(boundary decoder)生成梯田边界结构先验与多尺度Transformer分割解码器(multi?scale Transformer segmentation decoder)进行边界引导的全局语义分割，并以分割损失(BCE+Dice)与加权边界损失联合优化(λ=0.3)。实验对比UNet、DeepLabV₃₊、K?Net、SegFormer、Mask2Former五类代表性模型，并开展消融实验验证各模块贡献。

研究背景与意义

梯田作为重要的地表覆被类型，其精确空间分布信息是坡面水土保持与农田管理的依据。现有深度学习方法在梯田提取中面临局部细节丢失或全局语义不一致问题，混合架构可互补二者优势，边界–分割联合优化机制则针对性增强对梯田几何边界的感知，为复杂地形下精度农业遥感监测提供技术路径。

关键技术方法

研究人员选用无定河流域2 m分辨率GF?1多光谱影像，经人工目视解译与专家校验矢量化后栅格化为二值标注掩膜，裁切为512×512像素样本构成梯田数据集。构建TerraceNet模型：以ConvNeXt?Tiny为骨干编码器输出四层级多尺度特征{C₁–C₄}（通道96/192/384/768，下采样倍率4/8/16/32）；通过DF?FPN对各层做1×1卷积通道统一至256，自上而下以可学习空间门控权重动态融合高层语义与低层细节特征，输出{P₁–P₄}；边界解码器取P₁–P₃经ConvBNReLU压缩至64通道、双线性上采样对齐后拼接融合并输出1/4分辨率边界预测及边界结构先验B_prior（边界真值由分割掩膜腐蚀运算自动生成）；多尺度Transformer分割解码器将P₁–P₄投影至256维嵌入，经含多头自注意力(MHSA, Multi?Head Self?Attention)与前馈网络(FFN, Feed?Forward Network)的Transformer Stage（块数配置2,2,2；头数8；FFN隐维1024）捕获全局依赖，自上而下特征融合块逐步融合并引入边界引导模块（1×1卷积对齐边界特征后与解码器特征拼接再残差相加）增强边界感知，经深度可分离卷积细化及分割头输出类别logits上采样至原分辨率。总损失L_total=L_seg(BCE+Dice)+λL_bnd(加权BCE, λ=0.3)。PyTorch 2.4.1实现，RTX 3090单卡训练100 epoch，batch size=4，AdamW(lr=1×10^?4, wd=1×10^?4)，余弦退火衰减，ConvNeXt?Tiny加载ImageNet?1K预训练权重；数据增强含随机水平/垂直翻转、90°旋转（同步作用于图像与掩膜）及对比度、亮度调整和高斯噪声注入（仅作用于图像）；测试阶段不做后处理。

研究结果

3.1. Datasets

数据集来源于2024年5月GF?1影像，经QGIS手工勾绘并由领域专家核验后栅格化为二值掩膜，随机划分为训练集1127片与测试集411片无重叠，涵盖窄条状、破碎小块及连片宽幅梯田，适用于像素级语义分割评估。

3.2. Evaluation Metrics

采用精确率(Precision)、召回率(Recall)、F1?Score及交并比(IoU, Jaccard Index)四项指标综合评价。

3.3. Comparison Methods

选取UNet、DeepLabV₃₊(ASPP+解码器)、K?Net(动态核统一分割)、SegFormer(分层Transformer+MLP解码器)、Mask2Former(掩码注意力通用分割)五类对照模型同环境训练对比。

3.4. Implementation Details

如上关键技术方法中所述训练超参、数据增强策略、预训练初始化及固定随机种子(seed=42)确保可复现，推理阶段无形态学后处理。

3.5. Computational Complexity Analysis

TerraceNet参数量40.05 M，FLOPs 103.45 G，低于UNet与DeepLabV₃₊、K?Net，但因双分支解码及边界引导融合推理时间略高于对照方法，精度提升在可接受计算代价范围内。

3.6. Comparison Results

TerraceNet(无增强) IoU=76.44%、F1?Score=86.65%，优于最佳CNN对照K?Net(IoU 74.87%)与最佳Transformer对照Mask2Former(IoU 75.41%)；加入数据增强后TerraceNet最优性能为IoU=77.61%、F1?Score=87.39%、Precision=87.88%、Recall=86.92%。可视化显示TerraceNet在窄条梯田完整性、边界间隙识别及减少误检漏检方面均优于对照方法。

3.7. Ablation Study

基线(仅ConvNeXt+普通分割头)IoU=76.89%；单独加DF?FPN提至77.23%；单独加边界解码器IoU=77.21%(Recall升Precision降)；单独加多尺度Transformer解码器未配边界引导反而微降；三者联合(DF?FPN+boundary decoder+multi?scale Transformer decoder)取得最高IoU=77.61%、F1?Score=87.39%，且常规FPN替换DF?FPN后性能下降(IoU 77.13%)，证实动态融合权重、边界先验与全局上下文三者协同互补。

讨论与结论翻译

讨论指出：(1)Transformer类方法(Mask2Former)总体优于多数CNN方法，印证全局上下文对长条形及连片梯田有利；(2)边界监督单独加于CNN解码器致Recall升Precision降收益有限，而与Transformer全局建模结合能更好平衡二者，说明全局语境有助于抑制边界先验引入的假阳性；(3)DF?FPN、边界解码器与多尺度Transformer解码器协同达最优，证明自适应多尺度特征、结构边界先验与全局上下文相互强化，混合CNN–Transformer适合梯田等尺度多变目标。局限性含数据集限于无定河流域、2 m分辨率外其他分辨率待验证、推理速度需轻量化。未来方向含跨域泛化(域适应/迁移学习)、多时相动态监测、轻量化部署及耦合水土流失模型。

结论(翻译)：本研究提出用于高分辨率遥感影像梯田提取的混合CNN–Transformer架构TerraceNet，集成ConvNeXt编码器、DF?FPN自适应多尺度融合、边界解码器(显式边界监督与结构先验生成)及多尺度Transformer分割解码器(融入边界先验进行全局上下文建模与最终分割)。无定河流域数据集实验显示，无数据增强下TerraceNet达IoU 76.44%、F1?Score 86.65%，优于同条件下Mask2Former；采用数据增强后IoU和F1?Score进一步提升至77.61%和87.39%。消融实验证实DF?FPN、边界解码器与多尺度Transformer解码器联合使用效果最佳，三者对梯田提取具互补作用。该方法可为丘陵山区梯田资源调查和水土保持监测提供潜在技术工具，支持梯田空间格局评估与保护状况动态监测。