《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Geometry-Aware Transformer for Weakly Supervised Semantic Segmentation of Aerial Point Clouds
编辑推荐：
针对航空点云逐点标注成本高昂的问题，研究人员开展了弱监督语义分割研究。他们提出了一种几何感知Transformer方法，通过融合基础几何描述符和设计双向交互注意力模块，增强稀疏标注下的特征判别力，并利用伪标签自适应训练提升性能。在SensatUrban和DALES数据集上，仅用10%标注数据分别取得了58.69%和74.80%的mIoU，超越了全监督基线，为大规模三维地理信息智能解译提供了高效解决方案。
随着无人机和倾斜摄影技术的飞速发展，我们能够以前所未有的细节获取地球表面的三维信息，形成海量的航空点云数据。这些数据如同给城市和地形拍下了高精度的“三维CT”，其精准的结构表征和地表特征，为智慧城市、环境监测、灾害评估等领域带来了巨大的应用潜力。然而，要让机器真正“理解”这些杂乱无章的三维点集——识别出哪些点是建筑、哪些是树木、哪些是道路——即进行点云语义分割，是一项核心且极具挑战的任务。近年来，基于Transformer的模型凭借其强大的全局上下文捕捉能力，在这一领域大放异彩。但当我们将目光投向广阔的天空，面对动辄覆盖数平方公里、包含数十亿个点的航空点云时，一个现实的难题横亘在眼前：为如此海量的数据提供逐点的人工标注，其工作量堪称“愚公移山”，既费力又费时。
这就引出了弱监督学习的用武之地。研究者们希望只用极少量的标注（例如，只标注10%的数据），就能训练出性能优异的模型。但现有的Transformer方法在标注稀疏的条件下，暴露出了两大“软肋”：一是对局部精细几何结构建模不足，模型可能更关注全局模式而忽略了屋檐的线条、树叶的轮廓等细节；二是对小物体分类效果不佳，稀疏的标签难以让模型学会准确区分散布的汽车、单个的街灯等目标。那么，能否在“吃不饱”（标注少）的情况下，依然让模型“学得好”呢？这正是本篇发表在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上的研究旨在攻克的核心问题。
为了应对上述挑战，研究人员开展了一项创新性的研究，提出了一种用于航空点云弱监督语义分割的几何感知Transformer方法。该方法主要依托几个关键技术：首先，设计了一个几何感知编码层，它显式地融入了线性度、平面度等基础几何描述符，以补偿细粒度局部监督的缺失，从而在稀疏标签下增强特征判别力。其次，引入了一个双向交互注意力模块，该模块同时显式地建模了局部邻域对中心点的影响，以及全局上下文感知的语义从中心点向其邻域扩散的过程，从而最大化稀疏标注的效用。最后，研究还设计了一个伪标签自适应训练模块，利用大量未标注数据来生成并迭代优化伪标签，以此增强模型的性能和泛化能力。实验所使用的数据来源于公开的大规模航空点云数据集SensatUrban和DALES。
研究结果通过系统的实验得以验证，并得出了以下主要结论：
1. 提出的方法在弱监督设置下超越了全监督基线
实验表明，在仅使用10%标注数据的弱监督条件下，本研究提出的方法在SensatUrban数据集上达到了58.69%的平均交并比（mIoU），在DALES数据集上达到了74.80%的mIoU。这一结果不仅显著优于其他弱监督对比方法，甚至超过了使用100%标注数据进行训练的全监督Point Transformer基准模型。这强有力地证明了该方法能够高效利用稀缺的标注信息，实现“小样本，大性能”。
2. 几何感知编码有效提升了局部特征判别能力
通过消融实验和可视化分析，研究人员发现，显式引入的几何描述符（如线性度、平面度）为模型提供了关键的局部几何先验。这使得模型在标注点极少的情况下，依然能够更好地区分具有不同几何结构的类别（如将线状的电缆与平面的墙面分开），验证了该模块对于弥补细粒度监督缺失的有效性。
3. 双向交互注意力机制促进了局部-全局语义的协同优化
对注意力权重的分析显示，所提出的双向交互注意力模块不仅让中心点聚合了邻居的信息，还使得中心点学习到的富含全局上下文的语义能够反馈并增强其邻域的表征。这种“礼尚往来”的交互机制，确保了对稀疏标注点的语义信息进行充分挖掘和扩散，从而让有限的监督信号能够惠及更广泛的未标注区域。
4. 伪标签自适应训练稳定提升了模型泛化性
在整个训练过程中，伪标签自适应训练模块通过动态阈值选择和一致性约束，生成了质量持续提升的伪标签。这些伪标签作为未标注数据的额外监督，有效正则化了模型，缓解了过拟合，促使模型学习到更稳健的特征表示，从而在测试集上表现出更强的泛化能力。
综上所述，本研究的结论清晰地指出，通过显式建模局部几何特征与设计局部-全局双向语义交互机制，能够显著缓解航空点云在弱监督语义分割中面临的局部结构建模不足和小物体分类不佳的核心挑战。结合伪标签自适应训练充分利用未标注数据，可以在标注成本大幅降低（仅需10%）的情况下，获得媲美甚至超越全监督基准模型的分割性能。这项研究的重要意义在于，它为大规模三维地理信息的高效智能解译提供了一条切实可行的技术路径。其成果不仅推动了弱监督学习在三维视觉领域的发展，也为智慧城市、实景三维中国建设等需要处理海量航空激光雷达（LiDAR）与倾斜摄影数据的国家级应用，提供了关键的算法支撑，具有重要的理论价值与广阔的工程应用前景。
