《IEEE Access》:SPTM: A Transformer-Mamba Decoder With Superpoint Pooling for Semantic Segmentation of Power Tower Point Clouds
编辑推荐:
三维(3D)电力铁塔点云语义分割是智能电网巡检与输电走廊数字化建模的关键技术。然而,电力线等细长结构在无人机(UAV)载激光雷达(LiDAR)点云中呈现出稀疏、不连续且易受遮挡的特性,导致现有方法的分割精度不足。针对该问题,研究人员提出了一种新颖的3D电力铁塔
三维(3D)电力铁塔点云语义分割是智能电网巡检与输电走廊数字化建模的关键技术。然而,电力线等细长结构在无人机(UAV)载激光雷达(LiDAR)点云中呈现出稀疏、不连续且易受遮挡的特性,导致现有方法的分割精度不足。针对该问题,研究人员提出了一种新颖的3D电力铁塔语义分割方法——超点TransMamba(SPTM)。首先,采用稀疏3D U-Net作为主干网络,并利用超点池化层对局部几何一致区域内的特征进行聚合;随后,在解码阶段引入融合Transformer与Mamba状态空间模型的混合查询解码器,以平衡局部几何细节与全局长程依赖的建模需求。最后,在无人机采集的电力铁塔点云数据集上开展了一系列实验以验证所提方法的有效性。实验结果表明,SPTM在平均交并比(mIoU)和平均准确率(mAcc)等指标上均优于现有主流方法(如Point Transformer、Stratified Transformer和3DSwin Transformer),尤其在电力线分类方面取得了显著提升。消融实验进一步验证了超点池化与Mamba模块在识别细长结构时的互补性与有效性。该方法为复杂输电场景下的3D点云语义分割提供了一种高效且准确的解决方案。
**研究背景与问题**
随着电网规模的持续扩大与复杂化,输电线路与电力铁塔的安全运行对社会经济发展及能源供应保障至关重要。传统人工巡检方式存在效率低、成本高的问题,且高空作业的复杂环境与高风险对工作人员安全构成威胁。近年来,无人机(UAV)凭借灵活机动、成本低廉及高分辨率感知能力,逐渐成为电力巡检的重要工具。UAV搭载的3D激光雷达(LiDAR)和高精度传感器可获取大规模、高密度的三维点云数据,并对电力设备、线缆等要素进行语义标注,从而辅助机器人巡检与智能分析,为实现输电线路与电力铁塔的自动化检测评估提供数据基础。
然而,从点云中自动分割输电线路以实现智能巡检仍面临诸多挑战。点云数据具有固有的稀疏性、非规则性和严重的类别不平衡性。稀疏性源于LiDAR采集过程中存在的大范围空域和不均匀点密度;非规则性体现在空间点的无序非均匀采样,缺乏规则网格结构;类别不平衡则指不同语义类别上的点数量差异悬殊,如地面、植被等主导类别远多于铁塔、电力线等少数类别。在复杂输电场景中,电力线等细长结构尤为稀疏且易受遮挡,使得传统深度学习方法难以实现对这些狭长构件的准确一致识别。因此,研究高效准确的3D语义分割方法,不仅有助于提升UAV巡检的智能化水平,也为电力系统的可靠运维提供重要技术支撑。
**已有研究局限与本研究开展**
近年来,传统语义分割方法主要依赖手工特征提取策略,如边缘检测和区域生长,通常结合几何约束与统计先验,利用支持向量机(SVM)、条件随机场(CRF)和马尔可夫随机场(MRF)等机器学习模型实现分割。这些方法在初期取得了一定成功,但普遍存在计算复杂度高、对噪声敏感及泛化能力有限等问题。随着数据规模和场景复杂度的增加,传统方法的固有局限性日益凸显,难以满足实际应用需求,从而催生了深度学习方法的发展。
深度学习兴起后,直接作用于点云的端到端学习框架成为 prominent 研究领域。针对电力输电场景中的点云分割任务,大量工作探索了点云神经网络(PointNet)及其改进架构。Zhou等提出了双线性距离特征网络,利用双线性距离特征与注意力机制构建分层编解码结构以增强细粒度特征表达;Wang等引入基于PointNet++的坐标注意力模块,提升了局部几何特征的建模能力;Hu等基于RandLA-Net提出了新的特征聚合模块,有效提取3D点云的局部几何细节;Wu等通过向PointNet++框架添加梯度注意力模块(GAM)和点注意力模块(PAM)来增强局部特征提取与上下文建模。此外,Liu等提出了SS-IPLE框架,通过轴对称搜索与空间聚类分离单根电力线;Zhou等引入基于KPConv的空间注意力模块以提升输电走廊点云的全局上下文建模能力;Pan等利用KD树加速DBSCAN聚类效率并进行电力线3D建模;Li等提出了基于方向注意力(PDA)的PointNet++模型,通过引入空间和通道自注意力模块增强特征关联以提升绝缘子点云分割精度。这些研究充分展示了深度学习方法在自动特征提取、上下文建模和鲁棒性方面的优势,但仍面临标注成本高和模型泛化不足等问题。
在此基础上,Transformer架构的引入显著推进了3D点云语义分割领域的发展。Nie等提出了RSA-PT模型,将残差空间注意力模块(RSA)集成到点云Transformer架构中,显著增强了局部特征捕获能力并通过改进损失函数缓解了类别不平衡问题;Qu等构建了基于点云掩码自编码器(Point-MAE)的自监督学习框架,通过随机掩码点云并重建坐标实现无监督预训练,降低了对大规模标注数据的依赖;Wu等和Chen等将统计特征与机器学习方法(如随机森林和多尺度特征直方图)相结合实现绝缘子的识别与提取;Zhang等提出了APE,通过异常引导集成学习从不平衡的LiDAR数据中准确提取稀有绝缘子;Lu等提出了EMAFL-PTv3,通过引入高效多尺度注意力模块改进点云TransformerV3,提升输电线路走廊点云关键类别的语义分割精度。这些基于Transformer和自监督学习的工作展示了进一步提升3D点云语义分割任务中模型表现力和实用性的趋势。
然而,现有方法仍存在一定不足:一方面,深度学习模型在处理复杂输电场景时难以同时兼顾细粒度局部结构信息;另一方面,虽然Transformer具有强大的全局建模能力,但在高效捕获长程依赖与保持计算效率之间仍存在矛盾。为应对这些挑战,研究人员提出了一种名为SPTM的新型端到端3D电力铁塔点云语义分割方法。
**主要研究结论与意义**
该研究发表于《IEEE Access》。研究提出的SPTM方法通过稀疏3D U-Net主干网络提取多尺度几何特征,利用超点池化层聚合局部结构表征,并设计融合Transformer自注意力与Mamba状态空间模块的混合查询解码器(TransMamba),以联合建模细粒度局部几何与全局长程依赖。实验结果表明,SPTM在铁塔、背景、植被和电力线四个类别上均取得了优异性能,平均交并比(mIoU)达到0.728,相较最优对比方法提升约1.8%;平均准确率(mAcc)达到0.838,相较其他方法提升1.2%–3.4%。尤其值得关注的是,电力线类别的交并比(IoU)和平均类别准确率(mAcc)分别提升至0.622和0.734,显著优于现有方法,充分验证了其在建模稀疏长序列结构方面的优势。消融实验表明,超点池化层显著提升了背景和植被的识别效果,而Mamba模块对电力线和铁塔的识别贡献显著,两者联合使用使mIoU从0.677提升至0.728,mAcc从0.791提升至0.838,验证了其互补协同效应。该方法在保持计算效率的同时显著提升了铁塔和电力线的分割精度,为复杂输电场景下的3D点云语义分割提供了高效准确的解决方案,对智能电网巡检和输电设施数字化管理具有重要的应用价值。
**关键技术方法**
研究所用的关键技术方法包括以下几方面。首先,采用基于子流形稀疏卷积(SSC)的稀疏3D U-Net作为主干网络,通过编码器中的步幅为2的稀疏卷积实现空间下采样,在解码器中利用稀疏反卷积进行渐进上采样,并通过特征拼接与残差块实现跨尺度信息融合,从而高效提取大规模稀疏点云的多尺度几何特征并保持输入稀疏性。其次,引入超点池化层作为中间表征,根据点云三维坐标和体素尺寸将点云划分为互不重叠的超点,并通过均值聚合形成区域级特征表示,以压缩点级特征空间并保留结构连通性。第三,设计TransMamba混合查询解码器,借鉴基于查询的分割范式,每个解码层由混合交叉注意力模块、Mamba序列构建模块和前馈神经网络组成:混合交叉注意力模块以超点为几何语义单元,通过自适应注意力掩码建立预测与聚焦的反馈机制,实现查询向量与区域特征的高效交互;Mamba模块则在查询表示序列上进行线性时间复杂度的状态转移,通过输入依赖的参数动态调整,捕获电力线等细长结构的空间连续性及铁塔拓扑规则性。研究使用的数据集为研究团队自行构建的UAV-LiDAR点云数据集,采集自复杂山地丘陵环境中110kV至500kV输电走廊的低空激光雷达扫描数据。
**研究结果**
**对比实验**:为验证SPTM的优越性能,研究人员与PointTransformerV2、PointTransformerV3、Stratified Transformer、Swin3D Transformer和HybridTM等代表性方法进行了对比。结果显示,在3D电力铁塔点云数据集上,SPTM在所有类别的交并比(IoU)和准确率(Acc)指标中均取得最佳性能,且在mIoU和mAcc等总体评价指标上显著超越对比方法。这些发现清晰展示了SPTM针对输电铁塔和电力线等复杂结构组件的3D语义分割任务所具备的优越特征表征能力和分类准确性。混淆矩阵结果进一步提供了类别级预测性能的详细比较。
**消融实验**:为评估框架内各模块对3D电力铁塔和电力线语义分割性能的贡献,研究人员设置了四种实验配置:无任何附加模块的基线模型、仅加入超点池化层的变体、仅加入TransMamba模块的变体,以及同时集成超点池化层和TransMamba模块的完整配置。消融实验结果表明,超点池化层和Mamba模块各自对性能提升均有贡献:超点池化层显著提升了背景和植被的分割精度,而Mamba模块对铁塔和输电线的分割效果显著更优。两者集成后在全部四个类别上均取得最优结果,mIoU从0.677提升至0.728,mAcc从0.791提升至0.838,凸显了它们的互补性,带来了整体分割精度和模型鲁棒性的显著提升。
**参数敏感性分析**:研究人员对SPTM的两个关键超参数进行了系统分析,即输入特征体素尺寸λ
1和Mamba模块的状态维度λ
2。对于体素尺寸λ
1,模型性能呈现明显的单峰趋势,在λ
1=0.02m时达到最优:过小导致局部区域划分过于细碎、特征聚合不足;过大则造成过度聚合、侵蚀几何细节,这一效应在电力线类别上表现尤为明显,其IoU从0.728骤降至0.610,Acc从0.838降至0.713。对于状态维度λ
2,性能在λ
2=16时达到峰值:较小的λ
2限制了Mamba捕获长程依赖的能力,尤其降低电力线类别的IoU;而λ
2>16导致性能下降,表明过大的状态维度可能引入过拟合或训练不稳定性,证实了平衡模型容量与泛化能力的必要性。综上,当λ
1=0.02且λ
2=16时,SPTM在几何细节保持与序列建模能力之间达到最优权衡,精细化的局部几何建模对于提升电力铁塔点云语义分割中稀疏目标的识别至关重要。
**讨论、研究结论与展望**
SPTM方法有效解决了UAV LiDAR采集的3D点云中电力线等细长物体准确分割的难题。通过设计融合稀疏3D U-Net、超点池化层以及Transformer与Mamba状态空间模型的混合查询解码器框架,实现了局部几何特征与全局长程依赖的联合建模。基于自建有铁塔点云数据集的实验结果表明,该方法在四个类别上均表现优异,尤其在电力线建模方面展现出显著优势。然而,实时机载UAV部署仍可能受限于边缘设备的计算和内存预算,且在大域偏移下性能可能下降。未来研究将进一步探索跨模态特征融合以增强感知鲁棒性,推动轻量化模型在UAV等边缘平台上的实时部署,并提升方法在更大规模和多样化场景中的泛化能力,从而促进电力巡检的智能化和自动化发展。