一种基于深度学习的优化框架,用于从Cartosat-2S卫星图像中进行土地利用制图
《Remote Sensing Applications: Society and Environment》:An optimized deep learning based segmentation framework for land-use mapping from Cartosat-2S satellite images
【字体:
大
中
小
】
时间:2026年08月02日
来源:Remote Sensing Applications: Society and Environment 3.8
编辑推荐:
摘要:作为全球第二大连接城乡地区的道路网络,加之高度密集且结构多样的建筑基础设施,从印度地区提取道路和建筑物是一项极具挑战性的任务。尽管已有大量关于基于深度学习技术的卫星图像目标分割研究,但在如此复杂的场景中,模型性能仍会下降。在包含与印度类似地形区域的数据集上训练的模型,能够提
摘要:作为全球第二大连接城乡地区的道路网络,加之高度密集且结构多样的建筑基础设施,从印度地区提取道路和建筑物是一项极具挑战性的任务。尽管已有大量关于基于深度学习技术的卫星图像目标分割研究,但在如此复杂的场景中,模型性能仍会下降。在包含与印度类似地形区域的数据集上训练的模型,能够提升印度地区建筑物和道路的提取精度。本文提出了一种新的土地利用制图数据集——Cartosat Land-Use(CartoLU),该数据集源自班加罗尔、博帕尔和因帕尔等印度地区的Cartosat-2S卫星影像,这些影像具有复杂的结构和光谱特征,同时附有对应的真实数据。此外,为克服基于块训练的分割模型存在的局限性,并通过考虑不同大小的对象及其相关性来提取更有效的特征,本文提出了基于视觉Transformer(ViT)和卷积神经网络(CNN)的模型——优化残差变换器基分割网络(OTTSegNet),用于从Cartosat-2S卫星影像中进行土地利用制图。OTTSegNet主要由优化残差块(OTB)和轻量级多孔卷积ViT(LAC ViT)组成:前者用于解决基于块训练时块边界处的模糊问题,后者则能在保持参数数量较少的同时,通过多尺度特征提取实现更广泛的依赖关系捕捉。实验表明,OTTSegNet在所提出的CartoLU数据集以及现有的BLU和UOS2数据集上的平均IoU值分别达到0.647、0.656和0.281,性能优于现有最先进模型,同时还具备较低的计算复杂度。因此,该模型可成为卫星图像分割的有效解决方案,有助于推动可持续的城市化进程。随着CartoLU数据集的引入,这项研究将为印度及类似地区的智慧城市基础设施规划提供有力支持。
引言:由于人类活动与自然过程的共同作用,地球表面特征正在迅速发生变化。对自然及人造地表特征的分析通常被称为土地覆盖与土地利用分析。这类分析有助于简化诸多工作,如城市规划、农业监测、环境变化监测、森林砍伐监测以及灾害评估。大量卫星影像的日益丰富为这些应用提供了重要支撑(Sishodia等人,2020;Gu和Zeng,2024)。然而,卫星影像易受大气条件影响,分析解读难度较大。分割是指为图像中的每个像素分配标签的过程。深度学习的快速发展极大提升了这一过程的效率和精确度,有效突破了传统分割方法——如基于阈值的算法(Meyer和Neto,2008)、基于边缘的算法(Qi等人,2022)以及基于区域的算法(Salih和Ramli,2001)——的局限性。这些传统方法无法充分考虑图像中的潜在特征,在处理像卫星影像这类复杂场景时表现不佳。Long等人(2015)提出了全卷积网络(FCN),将分类模型拓展用于分割任务。在FCN之后,Ronneberger等人(2015)又提出了U-Net,这一模型成为了分割领域的里程碑。U-Net在每个编码器阶段与对应的解码器阶段之间引入了跳跃连接,显著提升了分割性能。模型结构越深,通常能提取出越抽象的特征,但也会增加模型的复杂度。一些研究者致力于开发更高效的模型(Paszke等人,2016;Romera等人,2018;Zhao等人,2018;Mazzini等人,2018)。大多数模型会在早期就使用下采样层,还有一些模型利用分解式卷积层的优势,通过扩张卷积在保持相同效果的同时减少参数数量(Paszke等人,2016;Romera等人,2018;Alonso等人,2020)。另一类模型则采用多分辨率分支来降低延迟并获得相近的识别效果(Zhao等人,2018;Mazzini等人,2018)。不过,在降低计算复杂度的过程中,模型性能仍会出现下降。多尺度特征提取对分割过程有着重要作用,因为目标对象的大小可能各不相同。常见的分割架构中的编码器由卷积层和池化层构成,池化层虽能降低计算成本,但可能会丢失有关细微对象的信息,从而导致预测错误。金字塔池化网络可用于在不同尺度上进行特征提取。一些模型采用了带有多孔空间金字塔池化(ASPP)的技术,通过不同扩张率的卷积来提取多尺度特征(Chen等人,2017;Chen等人,2018;He等人,2019)。Kim等人(2019)则在U-Net架构中加入了不同池化尺寸的金字塔池化层。还有一些模型(Wang等人,2021;Priyanka等人,2022;Nedungatt等人,2023)引入了高级模块,用于在不同尺度上提取特征。在分割任务中,重视关键特征、抑制无关特征的思路正逐渐被广泛接受。通道注意力机制能够从每个通道中提取全局信息并为其赋分,而空间注意力机制则会存储所有通道中每个像素位置的平均或最大信息,并为该位置赋分。Fu等人(2019)在扩张FCN模型中加入了通道注意力模块和位置注意力模块,这种双重注意力机制有助于模型捕捉长距离的上下文信息,但模型本身的计算复杂度较高。Schlemper等人(2019)则将注意力门(AG)与U-Net架构相结合,用于医学图像的分割,该机制通过整合解码器和编码器阶段并应用注意力机制,实现了高效的目标定位。Li等人(2021)将轻量级的通道注意力与空间注意力以级联方式集成到ResNet-50和SegNet模型中,从而获得了更精细的特征表达。目前大多数深度学习模型都依赖于注意力机制(Ding等人,2021;Peng等人,2022;Li等人,2022;Zhang等人,2024)。Ding等人(2021)提出了两种能够实现逐块注意力的模块,但它们无法解决物体边界处预测结果碎片化的问题。Peng等人(2022)设计了通道注意力优化模块,用于进行小尺度特征提取,但该模型的推理速度较低。Mu等人(2022)提出了像素自适应视野(PA_FoV)模块,能够对不同视野下提取的特征给予相应权重。Zhao等人(2022)也将注意力机制与多尺度特征提取相结合,他们在扩张ResNet101模型中采用了区域自注意力模块和全局多孔空间金字塔池化块。Eerapu等人(2022)有效地结合了引导注意力机制与8级金字塔池化网络(PPN),该方案虽能保留道路网络的连通性以及相邻建筑物之间的间距,但平均测试时间较长。Li Chen等人(2022)提出了EFCNet模型,该模型通过可分离卷积模块(SCM)和自适应融合模块(AFM)将基础U-Net模型中的多尺度特征融合在一起。不过,这种整合多尺度特征的方法仅适用于结构相同的模型。视觉Transformer(ViT)因其诸多优势而被广泛应用于分割任务,比如无需考虑物体位置即可预测图像类别,且即便数据集规模较小也能进行训练。不过,该方法的一个明显缺陷是参数数量庞大,因为其参数量会随图像尺寸呈二次方增长。与CNN相比,ViT在图像处理方面的效率较低,因为它需要处理每一个像素块,即便这些像素块对任务并无贡献。Swin Transformer(Liu等人,2021)的出现通过用移位窗口多头自注意力替代多头自注意力,使得模型参数量能随图像尺寸线性增长。基于ViT的分割模型(Tao Chen等人,2022;He等人,2022;Xin Chen等人,2022;Wang等人,2022;Zhang等人,2022;Ding等人,2022;Jing等人,2022;Xu等人,2023)有助于保留局部细节、增强特征表达能力,同时还能实现空间域和通道域间的长距离依赖关系。不过,He等人(2022)提出的模型无法准确拟合物体形状,边界线条也不够平滑。Ding等人(2022)提出的模型仍存在全局一致性问题和局部分割错误。与CNN相比,ViT的参数数量更多,所需内存也更大。为了解决ViT的高计算成本问题,人们开发了Mamba架构,近期也有研究证明Mamba架构可用于复杂的图像分割任务(Zhao等人,2025;Tao等人,2025)。在分割领域始终存在的性能与计算成本之间的权衡背景下,本文提出了一种基于深度学习的模型,其编码器和解码器的设计旨在通过解决零填充卷积带来的问题以及采用参数量远低于传统ViT的轻量级ViT瓶颈结构,从而便于基于块的模式训练,进而提升模型性能。此外,基于同质数据集训练的道路和建筑物分割模型,由于假设空间模式一致、建筑物形状规整、光谱特征均匀,往往无法用于印度地区的图像分割。印度的道路网络规模庞大且结构复杂,连接着城乡地区,密度也不均匀,这些都增加了分割的难度。印度建筑物的结构也不规则,视觉特征多样,再加上地形变化和不同的城市发展模式,使得建筑物的提取工作同样具有很高难度(Akshit和Reedhi,2025)。本文提出的一种土地利用制图数据集包含了印度多个不同地理区域的Cartosat-2S卫星影像。本文的主要贡献如下:1. 提出了一种全新的土地利用制图数据集Cartosat Land-Use(CartoLU),可用于提取道路、建筑物及背景像素信息,该数据集包含印度三座主要城市的Cartosat-2S卫星影像及对应真实数据;2. 提出了优化残差块(OTB)和优化可分离残差块(OSTB),旨在解决零填充卷积带来的问题,尤其适用于基于块的模式训练;3. 提出了一种改进型的ViT算法——轻量级多孔卷积ViT(LAC ViT),该算法通过采用一维卷积大幅减少了参数数量,同时还能通过考虑相邻像素来提取特征,从而更好地实现多尺度特征提取;4. 提出了基于ViT和CNN的轻量级深度学习模型OTTSegNet,该模型采用编码器-解码器架构,能够提取多尺度特征并通过注意力机制进一步提升分割精度,同时也能解决零填充卷积带来的问题,尤其适合基于块的模式训练。实验结果表明,OTTSegNet在三种遥感数据集上均取得了更好的分割效果,可应用于城市扩张监测、基础设施规划、农业监测以及森林砍伐监测等诸多领域。所引入的CartoLU数据集有助于印度及类似地区对道路和建筑物进行精准分割,为城市基础设施的规划与监测提供支持,这与联合国的可持续发展目标高度契合。通过分割建筑物和道路,相关管理部门能够分析现有基础设施状况,轻松识别未经规划的贫民区,进而制定相应的规划措施。此外,通过使用最新影像对大范围区域进行图像分割,也能更便捷地完成地图维护工作。本文的其余部分包括:第2节详细介绍了OTTSegNet模型的各个子模块,第3节说明了数据集及实现细节,第4节通过消融实验分析了各个模块的效果,第5节呈现了实验结果并进行了讨论,第6节则对全文进行了总结。
模型架构:本节详细介绍了所提出的模型,图1展示了该模型的完整工作流程。在训练阶段,会使用训练集和验证集。此时,模型会使用初始权重开始对训练集和验证集进行预测,然后将预测结果与真实数据对比,通过稀疏分类交叉熵函数计算损失值。如果损失值尚未达到最小值,就会使用Adam优化算法更新模型权重。
训练与实现:所提出的OTTSegNet模型以及对比模型都在相同的实验环境中,针对三种不同的数据集进行了训练和测试。关于这些数据集及训练环境的详细信息将在后续小节中阐述。
消融实验:OTTSegNet模型由OTB块和LAC ViT块两个部分组成,通过消融实验可以分析这两个部分的贡献。为此,研究人员通过逐一移除某些模块或用标准方法替换某些组件,共创建了四种中间模型。这四种模型在CartoLU、BLU和UOS2三种数据集上的性能都会被进行评估。所有的消融模型以及所提出的模型都进行了多次训练,最佳结果分别列于表1、表3和表3中。实验结果方面,对所提出的OTTSegNet的性能和计算复杂度进行了评估,并与诸如SegFormer(Xie等人,2021年)、HRFormer(Yuan等人,2021年)、PA_FoV(Mu等人,2022年)、ConvNeXt-v1(Liu等人,2022年)、DPPNet(Nedungatt等人,2023年)、LDCANet(He等人,2023年)、LCNet(Shi等人,2024年)、CTCFNet(Lu等人,2024年)、DBBANet(Lu等人,2024年)以及CPSSNet(Yang等人,2025年)等最先进模型进行了比较。
结论:鉴于印度复杂的建筑基础设施和庞大的道路网络,本文引入了一个新的土地用途测绘数据集CartoLU,该数据集可用于从Cartosat-2S卫星图像中提取印度地区的道路、建筑物及背景像素。此外,还提出了一种基于CNN和Transformer的分割模型OTTSegNet用于土地用途测绘。OTTSegNet主要通过引入OTB和OSTB模块来降低基于块训练所带来的边界模糊风险,同时利用LAC ViT来提升性能。
CRediT作者贡献声明:
Sravya Nedungatt:撰写——初稿、可视化、验证、方法论、研究分析、正式分析、数据整理、概念设计。
Shyam Lal:撰写——审阅与编辑、可视化、验证、监督、资源协调、资金获取、正式分析、概念设计。
J. Nalini:撰写——审阅与编辑、验证、资源协调、资金获取、正式分析、数据整理。
Chintala Sudhakar Reddy:撰写——审阅与编辑。
未引用参考文献:表6、表12
利益冲突声明:作者们声明存在以下可能被视为潜在利益冲突的财务利益/个人关系:Shyam Lal表示获得了印度空间研究组织的财政支持。其他作者则声明没有已知的可能影响本文所述工作的财务利益或个人关系。
Sravya Nedungatt | Shyam Lal | J. Nalini | Chintala Sudhakar Reddy
印度卡纳塔克邦曼加洛尔苏拉特卡尔,卡纳塔克邦国家技术学院电子与通信工程系,邮编575025
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号