# 中文标题 基于TTST超分辨率重建与MSRAG-UNet级联框架的遥感影像水体分割方法研究

《International Journal of Remote Sensing》：A cascaded TTST and MSRAG-UNet framework for water body segmentation in remote sensing imagery

　　

# 摘要专业翻译

低分辨率（Low-Resolution, LR）遥感数据中空间细节信息不足，往往会掩盖微小水体斑块、纤细河流廊道以及复杂的岸线过渡区域，这严重制约了基于航空和卫星影像的水体提取精度。本研究提出了一种两阶段级联框架，将用于图像超分辨率（Super-Resolution, SR）重建的Top-k Token选择性Transformer（Top-k Token Selective Transformer, TTST）与用于二值水体分割的MSRAG-UNet相结合。TTST在2×、4×和8×超分辨率因子下重建LR图像，随后将重建图像分别输入U-Net、ResUNet和MSRAG-UNet进行处理。研究在S1S2-Water和LoveDA数据集上开展了实验，以评估重建保真度、分割性能、边界保持能力和计算复杂度。其中，2×设置取得了最高的重建质量。在该设置下，MSRAG-UNet在两个数据集上分别取得了0.8122和0.8358的Dice分数，优于U-Net和ResUNet。随着超分辨率因子的增大，重建和分割精度逐步下降，这是因为严重的下采样操作剔除了无法可靠恢复的精细空间信息。精度-复杂度分析表明，2×配置提供了最高的精度，而4×配置在保持具有竞争力的分割性能的同时，将计算成本降低了约73%。上述结果表明，超分辨率辅助分割受细节恢复能力、重建伪影和计算成本之间的权衡关系支配，所提出的框架为面向精度优先和资源受限两种场景的水体制图均提供了有效的配置方案。

# 论文解读

## 一、研究背景与意义

河流、湖泊、水库、湿地等水体在维持生态稳定、保护生物多样性和支撑人类生产生活方面发挥着核心作用，水资源的安全与可持续利用是全球可持续发展的重要基础。精确地从高分辨率遥感影像中提取水体信息，对于水文模拟、洪水动态监测和气候变化影响评估等任务至关重要。然而，传统的水体提取技术，如阈值分割、光谱指数方法和传统机器学习策略，在面对水体光谱特征多样、水陆边界像素模糊以及季节水位变化、云层遮挡和大气噪声等外部干扰时，仍存在明显的局限性。广泛采用的归一化差异水体指数（Normalized Difference Water Index, NDWI）和改进归一化差异水体指数（Modified NDWI, MNDWI）主要依赖水体与其他地物在光谱反射率上的差异来实现提取，但在复杂场景下的精度仍受制约。深度学习的兴起为水体提取带来了重要转变，全卷积网络（Fully Convolutional Network, FCN）和U-Net等架构奠定了编码器-解码器的基础范式，后续研究通过引入注意力机制、残差连接和多尺度特征融合等策略进一步提升了分割精度。然而，分割性能不仅取决于网络架构，还深受输入图像质量的影响。在低分辨率（Low-Resolution, LR）遥感影像中，精细水体边界、小水体斑块和狭窄河道可能被模糊或丢失，直接限制了下游分割精度。超分辨率（Super-Resolution, SR）重建为从LR输入恢复高分辨率（High-Resolution, HR）图像提供了可行的解决方案，但SR重建对下游水体分割的影响仍存在不确定性，且SR可能引入人工纹理、边界扭曲和结构伪影，对水体提取产生负面影响。因此，系统分析SR预处理是否真正提升分割性能及其适用条件，具有重要的研究价值。

## 二、研究内容与总体结论

针对上述问题，研究人员开发了一种两阶段级联框架用于遥感水体提取。该框架首先使用Top-k Token选择性Transformer（TTST）SR模型在2×、4×和8×放大因子下重建LR图像，然后将重建图像输入基于U-Net架构的分割模型以生成二值水体掩膜。为考察残差学习、注意力机制和多尺度上下文增强能否提升超分图像的水体提取效果，研究在原始U-Net之外引入了ResUNet和多尺度残差注意力门控U-Net（Multi-Scale Residual Attention-Gated U-Net, MSRAG-UNet）。在S1S2-Water和LoveDA两个数据集上的实验表明，2×设置保留了更多的空间信息，取得了最佳的重建和分割性能，MSRAG-UNet分别获得0.8122和0.8358的Dice分数。随着退化因子增大，严重下采样导致边界和小目标信息逐步丢失且无法被TTST完全恢复，造成Dice和IoU值下降，各分割模型间的性能差异也随之缩小。该研究的核心意义在于揭示了SR辅助分割受输入信息保留量、分割网络容量与计算效率三者之间的权衡关系支配，而非仅由名义放大因子决定，为遥感水体监测中兼顾提取精度与计算成本提供了实践依据。

## 三、关键技术与方法

研究人员采用的主要方法包括以下方面：第一，TTST超分辨率重建网络，其核心由堆叠的残差token选择性组（Residual Token Selective Group, RTSG）构成，内部包含基于窗口的自注意力（Window-based Self-Attention, WSA）、top-k token选择性注意力（Top-k Token Selective Attention, TTSA）、多尺度特征聚合和全局上下文注意力模块；第二，MSRAG-UNet分割网络，采用四层编码器-解码器结构，融合残差卷积块、scSE（Concurrent Spatial and Channel Squeeze & Excitation）模块、空洞空间金字塔池化（Atrous Spatial Pyramid Pooling, ASPP）和注意力门控（Attention Gate, AG）跳跃连接；第三，实验数据来源于S1S2-Water全球Sentinel-2水体基准数据集（选取蓝B2、绿B3、红B4三波段，裁剪为256×256像素）和LoveDA高分辨率土地覆盖数据集（将水体类别作为前景，其余地物作为背景），通过双三次下采样生成2×、4×和8×的LR图像，按8:1:1划分训练、验证和测试集；第四，采用峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）和结构相似性指数（Structural Similarity Index Measure, SSIM）评估重建质量，采用Dice系数、交并比（Intersection over Union, IoU）、精确率（Precision）和召回率（Recall）评估分割性能，并以乘累加操作数（Multiply-Accumulate Operations, MACs）衡量计算复杂度。

## 四、主要研究结果

### 4.1 超分辨率重建性能评估

在S1S2-Water数据集上，2×设置下TTST取得最佳重建性能，PSNR为38.16±3.13 dB，SSIM为0.93±0.04；4×时PSNR下降8.05 dB至30.11±2.49 dB，SSIM降至0.79±0.07；8×时进一步下降至28.62±2.85 dB和0.70±0.10。LoveDA数据集呈现相似趋势，2×时PSNR为39.58±4.52 dB，SSIM为0.96±0.03；8×时降至27.64±3.53 dB和0.69±0.10。交叉数据集比较显示，LoveDA在2×和4×下的重建指标均高于S1S2-Water，这归因于其场景中较规则的几何结构和较强的局部对比度；而在8×时，两数据集差异缩小，表明严重下采样已基本消除了数据集间的优势差异。定性可视化表明，TTST在2×和4×下能清晰恢复水体轮廓和边界，但高倍数下轮廓趋于平滑，小尺度细节丢失或偏移。

### 4.2 水体分割性能评估

在2×设置下，MSRAG-UNet在S1S2-Water上取得Dice/IoU为0.8122/0.6838，在LoveDA上为0.8358/0.7179，相较于最强基线分别提升5.70和7.71个百分点（S1S2-Water）以及2.42和3.49个百分点（LoveDA）。随着退化因子从2×增至8×，所有模型的Dice和IoU均持续下降。在8×时，MSRAG-UNet相对于最强基线的Dice优势在S1S2-Water上收窄至1.51个百分点，在LoveDA上仅为0.03个百分点。定性误差叠加图显示，分割误差主要集中在陆水边界、破碎池塘、狭窄河道和不规则岸线区域，且随着退化加剧，边界不确定性更加明显。边界保持评估进一步表明，MSRAG-UNet在2×下能准确刻画大型水体的主要边界并保持碎斑区域和窄河道的整体拓扑结构，但在高倍数下预测边界趋于平滑并可能出现空间偏移。

### 4.3 效率与精度权衡分析

2×配置的总计算量约为301-311 G MACs，4×配置降至约80-91 G MACs，8×配置仅为约25-35 G MACs，计算量的大幅下降主要归因于TTST在更高SR因子下处理更小的LR输入。在精度方面，2×配置在两个数据集上均取得最高Dice分数；4×配置在减少约73%计算量的同时，MSRAG-UNet仍保持0.7921（S1S2-Water）和0.8099（LoveDA）的Dice分数；8×配置计算成本最低但精度损失最大，在LoveDA上三种分割模型的Dice分数趋于一致（0.7713-0.7785），表明严重信息损失已成为主导性约束。跨模型比较显示，U-Net在每个SR因子下计算成本最高但未取得最高Dice，ResUNet计算复杂度最低，而MSRAG-UNet相对于ResUNet仅引入有限的额外计算量却持续取得更高Dice分数，因而在计算开销与分割精度之间实现了更优平衡。

### 4.4 讨论与结论

讨论部分指出，更大的重建因子并不必然为水体分割提供更有用的输入。在实验设计下，高因子对应更严重的先验下采样，导致LR输入中精细边界梯度、窄水道和碎斑水体已被削弱或移除，TTST虽可恢复主要空间结构，但无法可靠重建已完全缺失的信息。分割网络使用原始HR图像训练，重建图像在推理时作为输入，由此产生的训练-推理分布差异也可能降低模型对边界和纹理线索的依赖可靠性。增强的分割架构（如MSRAG-UNet）可以在空间信息相对充足时有效缓解中等退化，但在8×严重退化下无法完全补偿输入信息损失。研究强调，在级联遥感应用中，SR配置应依据下游任务的精度需求和计算预算来选择，2×配置适合精度优先场景，而更高退化配置适用于资源受限场景。

研究结论表明，低分辨率遥感影像限制水体分割精度的问题，可通过所提出的分离训练两阶段级联框架得到有效缓解。在S1S2-Water和LoveDA数据集上的实验证实，2×设置保留了更多空间信息并取得最佳重建与分割性能，MSRAG-UNet分别取得0.8122和0.8358的Dice分数。随着退化因子增大，边界和小目标信息逐步丢失且无法由TTST完全恢复，导致Dice和IoU下降以及各分割模型间性能差异缩小。上述发现表明，下游分割性能同时取决于重建输入质量和分割网络容量，而非仅取决于名义放大因子。因此，所提出的框架为遥感水体监测中平衡提取精度与计算成本提供了实践基础。