基于时空分数的联邦生成学习方法,用于环境监测中的多源遥感时间序列数据
《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:Spatiotemporal score-based federated generative learning for multi-source remote sensing time series in environmental monitoring
【字体:
大
中
小
】
时间:2026年01月20日
来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.2
编辑推荐:
孙一帆|戴晨光|李文科|刘新普|孙永奇|张叶|关伟军|张永生|郭玉兰|王汉云
信息工程大学,郑州,450001,中国
**摘要**
激光雷达点云的语义分割对于自动驾驶中的场景理解至关重要,然而点云的稀疏性和无纹理特性给这项任务带来了巨大挑战。为了解决这个问题,许多研
孙一帆|戴晨光|李文科|刘新普|孙永奇|张叶|关伟军|张永生|郭玉兰|王汉云
信息工程大学,郑州,450001,中国
**摘要**
激光雷达点云的语义分割对于自动驾驶中的场景理解至关重要,然而点云的稀疏性和无纹理特性给这项任务带来了巨大挑战。为了解决这个问题,许多研究尝试利用RGB图像中的丰富颜色和细粒度纹理进行多模态3D语义分割。然而,这些方法在面对复杂场景时仍存在局限性,因为RGB图像在光照条件不佳时会退化。相比之下,热红外(TIR)图像可以提供道路物体的热辐射信息,并且对光照变化具有鲁棒性,为RGB图像提供了互补优势。因此,在这项工作中,我们引入了RTPSeg,这是第一个也是唯一一个同时提供RGB和TIR图像用于点云语义分割的多模态数据集。RTPSeg包含了由RGB相机、红外相机和激光雷达收集的3000多帧同步帧,为自动驾驶中的18个语义类别提供了超过2.48亿个点级注释,涵盖了白天和夜间的城市和乡村场景。基于RTPSeg,我们还提出了RTPSegNet,这是一个结合RGB和TIR图像辅助的点云语义分割的基线模型。广泛的实验表明,RTPSeg数据集为现有的点云语义分割方法带来了显著的挑战和机遇,我们的RTPSegNet在联合利用点云、RGB图像和TIR图像之间的互补信息方面表现出良好的效果。更重要的是,实验结果还证实,通过引入额外的TIR图像模态可以有效地提升3D语义分割的性能,揭示了这项创新研究和应用的巨大潜力。我们预计RTPSeg将促进该领域的深入研究。RTPSeg和RTPSegNet将在https://github.com/sssssyf/RTPSeg上发布。
**引言**
语义分割旨在为每个感知单元(例如2D像素或3D点)分配一个语义标签,在许多应用中发挥着关键作用,如自动驾驶和机器人技术(Guo等人,2021年)。近年来,人们为相机图像(Long等人,2015年;Liu等人,2022b年;Liu等人,2022a年;Chen等人,2024年)和激光雷达点云(Wu等人,2019年;Milioto等人,2019年;Xu等人,2020年;Cortinhal等人,2020年;Zhu等人,2021年;Lai等人,2023年;Han等人,2024年;Wu等人,2024b年)的语义分割做出了大量努力。然而,由于单模态传感器在捕捉场景固有物理特性方面的局限性,单模态语义分割方法在复杂场景中往往表现不佳。例如,RGB图像可以提供丰富的颜色和细粒度纹理,但在深度估计方面存在不确定性,并且在光照条件不佳时不稳定。相比之下,激光雷达点云可以提供准确的3D几何信息,并且对光照条件具有鲁棒性,但它是稀疏且无纹理的。因此,许多研究团队致力于融合RGB图像和激光雷达点云进行3D语义分割(Madawi等人,2019年;Vora等人,2020年;Zhuang等人,2021年;Xu等人,2022b年;Rong等人,2023年;Li等人,2023年;Sun等人,2024b年;Sun等人,2024a年;Wu等人,2024a年;Zeid等人,2025年;Cao等人,2025年)。尽管这些方法取得了显著进展,但RGB相机的固有局限性仍然限制了它们在复杂场景中的适用性。例如,在光照条件不佳的情况下,RGB图像会失去颜色和纹理优势。在这种条件下提高语义分割性能仍然是一个未解决的问题。
尽管热红外(TIR)图像在捕捉颜色和纹理信息方面效果较差,但它们可以捕捉场景的热辐射信息,并突出显示表面温度高于周围环境的物体,在不同的光照条件下保持稳定的性能。最近,TIR图像越来越多地被用作补充数据,以应对复杂的城市驾驶场景,促进了RGB-热2D语义分割的发展(Wang等人,2023年;Zhou等人,2025b年;Geng等人,2024年;Liang等人,2024年;Liu等人,2024年;Li等人,2025年)。然而,目前的多模态数据集仅包含RGB图像,如表1所示。因此,尽管如何有效利用热辐射信息来提升3D语义分割是一个有意义且有前景的研究领域,但目前尚未得到充分探索。造成这一问题的主要原因是缺乏专门用于自动驾驶的RGB-热图像辅助的3D语义分割研究的数据集,这表明迫切需要一个专门的数据集。因此,为了填补这一空白并促进该领域的深入研究,我们引入了RTPSeg,这是第一个也是唯一一个同时提供RGB和TIR图像用于3D语义分割的多模态数据集,如图1所示。RTPSeg包含了由RGB相机、热红外相机和激光雷达收集的3000多帧同步帧,为自动驾驶中的18个语义类别提供了超过2.48亿个点级注释。RTPSeg提供的丰富模态和注释使其成为3D语义分割的新基准。然而,RTPSeg数据集完全是在深圳收集的,深圳是一个现代化的大城市,环境拥挤且行人车辆众多。RTPSeg收集的场景多种多样,涵盖了白天和夜间的城市和乡村场景。此外,多个传感器在视野(FoV)、空间分辨率和采集频率等方面存在差异。这些属性给现有方法带来了相当大的挑战。
为了应对RTPSeg带来的挑战,我们提出了RTPSegNet,这是一个结合RGB-热图像辅助的3D语义分割的基线模型。最初,RTPSegNet在特征表示学习阶段分别保留了激光雷达点云、RGB图像和TIR图像的模态特异性。然后,设计了一个专门的RGB-热-点(RTP)融合分支,以促进模态之间的交互,包括特征选择和自适应门控融合(AGF)模块。最后,利用辅助预测分支通过知识蒸馏策略学习多模态知识来提升激光雷达点云的整体预测性能。广泛的实验表明,RTPSeg基准为现有方法带来了新的挑战和机遇,所提出的基线模型RTPSegNet在RTPSeg上取得了最佳性能,并在联合利用点云、RGB图像和TIR图像之间的互补信息方面表现出良好的效果。更重要的是,实验结果还证实,通过引入额外的TIR图像模态可以有效地提升3D语义分割的性能,显示了RTPSeg在3D语义分割方面的巨大潜力。
**总结**
我们的贡献如下:
1. 为了填补研究空白并促进深入研究,我们引入了RTPSeg,这是第一个也是唯一一个包含RGB和TIR图像用于自动驾驶3D语义分割的数据集。RTPSeg填补了专门数据集的空白,并作为一个新的基准,为现有方法带来了显著的挑战和机遇。
2. 为了验证RTPSeg,我们提出了RTPSegNet,这是一个结合RGB-热图像辅助的3D语义分割的基线模型,在RTPSeg上取得了最佳性能,并在联合利用点云、RGB图像和TIR图像之间的互补信息方面表现出良好的效果。
**章节片段**
**RGB-热数据集**
对于2D感知任务,一些有影响力的数据集通过结合热图像来应对RGB图像在不良光照条件下的退化问题(Ha等人,2017年;Shivakumar等人,2020年;Liu等人,2023a年;Choi等人,2018年)。MFNet(Ha等人,2017年)作为第一个具有像素级注释的RGB-热城市场景数据集,开创了这一研究领域,该数据集是通过车载RGB-红外相机系统捕获的。PST900(Shivakumar等人,2020年)扩展了...
**硬件设置**
我们设计了一个专门的传感器安装平台,能够集成RGB相机(ZED,1920 × 1080)、热红外相机(Hinet-1280,1280 × 1024)、激光雷达(Ouster-OS1,128束)和IMU(ICM-20948,9轴),如图2所示。RGB相机在良好能见度条件下提供高分辨率的彩色图像,而热红外相机在能见度较低的场景(如光照条件不佳的情况下)检测温度变化。激光雷达捕获...
**方法论**
基于RTPSeg,我们提出了RTPSegNet,这是一个结合RGB-热图像辅助的3D语义分割的基线模型。RTPSegNet的整体工作流程如图6所示。在训练过程中,RTPSegNet能够从不同模态中学习有益且互补的信息。训练完成后,仅保留RTPSegNet的激光雷达分支用于推理,从而无需RGB和TIR图像模态。这使得可以预测所有点,无论它们位于...
**数据集**
RTPSeg的详细信息已在第3节中描述,这里我们重点介绍实验中的RTPSeg训练和测试设置。RTPSeg包含103个数据序列,每个序列包含30帧连续帧。每帧包含来自多个传感器的同步数据。此外,同一序列中的所有帧都属于在相同光照条件下的相同采集场景,即白天或夜晚。具体来说,序列1–14、63–103是...
**结论**
更高的3D语义分割精度对于在真实世界自动驾驶系统中部署鲁棒模型至关重要。事实上,实现高度可靠的感知仍然是整个行业面临的重大挑战,需要整个领域的持续合作和努力。我们特别旨在探索CRediT的潜力...
**作者贡献声明**
孙一帆:撰写——原始草稿、验证、方法论、概念化。
戴晨光:监督、资源、项目管理、资金获取。
李文科:软件、数据管理。
刘新普:可视化、数据管理。
孙永奇:可视化、形式分析。
张叶:调查、形式分析。
关伟军:验证、数据管理。
张永生:监督、资源、项目管理、资金获取。
郭玉兰:资源、调查。
**利益冲突声明**
我们声明与可能不恰当地影响我们工作的其他人或组织没有财务和个人关系,对任何产品、服务和/或公司没有专业或其他个人利益,这些利益可能会影响手稿中呈现的观点或审查。
**致谢**
本工作得到了中国国家自然科学基金(项目编号42271457)和河南省自然科学基金(项目编号252300423929)的支持。衷心感谢匿名审稿人和编辑团队成员的宝贵意见和贡献。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号