WeatherMamba：面向恶劣天气LiDAR传感器点云语义分割的可靠几何感知泛化方法

《Sensors》：WeatherMamba: Reliable Geometry-Aware Generalization for Adverse-Weather LiDAR Sensor Point-Cloud Semantic Segmentation

　　

恶劣天气会通过改变回波密度、测量强度、局部几何与特征可靠性而降低LiDAR语义分割性能。研究人员研究从晴天或合成数据到未见过真实恶劣天气场景的源域仅训练（source-only）域泛化（domain generalization）。WeatherMamba是一种几何与可靠性感知的状态空间（state-space）框架，集成了多尺度邻域聚合、可靠性条件特征细化与高效长程序列建模。其核心组件天气引导可靠性门控（Weather-Guided Reliability Gating，WGRG）由条件归一化后的测量强度、多尺度局部密度与隐特征导出连续逐点门控，在不依赖外部天气类型、目标反射率先验或部署期气象测量的前提下约束残差修正。受控伪天气策略在源域训练中分别建模信号扰动与点支撑损失。该框架在SemanticKITTI→SemanticSTF达到37.4% mIoU，在SynLiDAR→SemanticSTF达到22.8% mIoU，模块完整配置将无模块基线从29.4%提升至37.4%；相比带模块的PTv3，参数量、FLOPs、延迟与峰值显存分别降低19.1%、34.8%、16.5%与25.2%，mIoU仅低0.4点，显示出有竞争力的精度—效率权衡。

《Sensors》刊载的该研究面向自动驾驶中LiDAR点云语义分割在雨、雾、雪等恶劣天气下的可靠性下降问题。现有网络在晴天基准上表现良好，但恶劣天气会改变有效回波数、测量强度、目标可见性与探测距离，造成几何与辐射证据分布偏移。源域仅训练域泛化（source-only domain generalization）更贴近实际部署，因为难以收集并标注所有传感器、道路场景、降水等级、能见度与目标材质的组合。当前方法分别关注特征自适应、针对性增强、安全关键类建模与物理启发仿真，但观测导出的连续逐点退化、显式局部几何支撑与高效长程上下文尚未被联合研究，因此研究人员提出WeatherMamba。

作者为开展研究用到的主要关键技术方法包括：多尺度自适应邻域融合（Multiscale Adaptive Neighborhood Fusion，MANF）恢复局部几何支撑；可靠性感知去噪模块（Reliability-Aware Denoising Module，RADM）基于局部几何统计估计逐点可靠性并软性抑制不稳定响应；分层WeatherMamba骨干采用双向选择性状态空间模型（Mamba）高效建模长程上下文；天气引导可靠性门控（WGRG）由测量强度、多尺度密度与隐特征形成连续逐点门控；源域训练中使用受控伪天气增强分别建模信号扰动与点支撑损失。数据来自真实晴天源域SemanticKITTI、合成源域SynLiDAR与未参与训练的未知目标域SemanticSTF。

1. 3.
   Materials and Methods
   研究人员给出整体框架：输入点云包含坐标、测量强度与辅助属性，先映射为隐特征，再由MANF恢复多尺度局部结构，RADM进行可靠性条件细化，分层Mamba骨干通过双向扫描与深度可分离卷积混合传播长程与短程信息，WGRG输出连续退化门控以约束残差修正，最后融合局部与全局表示得到逐点语义预测。MANF用small、medium、large三级邻域聚合细边界、中间结构与较稳定广域几何，并加入局部均值、标准差与密度等几何统计。RADM不删除点，而是用k近邻局部统计估计噪声概率，并在原始特征与精炼特征间进行置信度引导融合。分层WeatherMamba骨干以线性序列复杂度替代自注意力平方复杂度，每个阶段含输入投影、两个双向Mamba块、深度可分离卷积局部混合与层归一化。WGRG用基于range/elevation网格的条件中位数与中位绝对偏差归一化强度与密度，再用noisy-OR融合强度、密度与特征三类证据，得到位于[0,1]的退化分数并约束通道残差修正幅度，推理时不使用天气标签、反射率数据库或气象输入。伪天气增强在源域施加强度衰减、脉冲噪声、沿传感射线方向的坐标抖动与按概率丢弃点，但信号扰动与点支撑损失由不同强度参数分别控制。
2. 4.
   Experiments and Results
   研究人员在SemanticKITTI→SemanticSTF与SynLiDAR→SemanticSTF两种协议下评估。总体性能上，WeatherMamba分别取得37.4%与22.8% mIoU，并在每种协议下各有5个类别取得最高IoU，说明其优势集中在特定结构类与交通参与者类，但总mIoU仍略低于最强基线。天气层面鲁棒性显示，该方法在浓雾、轻雾、雨、雪中并非全子集第一；SynLiDAR源下轻雾最好而雪最弱，表现为天气依赖型收益。源域验证中，WeatherMamba在SemanticKITTI上取得49.3% mIoU，说明恶劣天气鲁棒设计未明显损害晴天表征。消融研究表明，无模块骨干为29.4% mIoU，单独加WGRG提升最大，达34.6%，完整模型达37.4%。WGRG证据敏感性研究表明，特征证据单独最强为36.7%，强度、密度、特征三者联合达37.4%，且mAcc与allAcc同步提升。伪天气强度敏感性研究表明，过大扰动反而降低mIoU，预设中等强度s=0.5与d=0.5在类别平衡指标上较优。效率分析表明，在8192点匹配工作点上，WeatherMamba相比带模块PTv3参数量37.410M、FLOPs 902.48G、延迟122.421ms、峰值显存1.457GiB，分别更低，mIoU仅低0.4点，体现出精度—效率优势。
3. 5.
   Discussion
   研究人员指出四组件在源域仅训练框架内功能互补：MANF补局部几何，RADM做可靠性条件细化，Mamba骨干捕长程上下文，WGRG用观测证据约束残差。单种子消融显示完整模型由29.4%升至37.4%，但尚不能独立证明各模块内部机制。WGRG联合证据与中等强度伪天气在该测试范围内较优。该方法总体未达最优聚合精度，在SemanticKITTI源下落后NTN 0.8点、PhyDAWS 0.5点，在SynLiDAR源下落后UniMix 0.6点、PhyDAWS 0.3点；其价值在于无天气元数据、无目标反射率先验、无部署期气象输入下的观测仅部署，以及在参数量、FLOPs、延迟与显存上的节省。局限包括单随机种子、雪天小目标与天气点云模式相似、伪天气非完整大气辐射传输仿真。未来应做多种子稳定性、跨传感器迁移与物理标定天气仿真。
4. 6.
   Conclusions
   研究人员得出结论：WeatherMamba通过观测导出的连续逐点门控，以及多尺度局部支撑、可靠性条件特征细化与长程状态空间上下文等专用通路，解决域泛化恶劣天气LiDAR点云语义分割问题。该门控不依赖外部天气类型、预知目标反射率或部署期气象输入。WeatherMamba在SemanticKITTI→SemanticSTF取得37.4% mIoU，在SynLiDAR→SemanticSTF取得22.8% mIoU，每种迁移方向各有5类取得最高IoU；完整配置较无模块基线提升8.0点，联合WGRG证据较参考配置提升4.8点；相比带模块PTv3，参数量、FLOPs、延迟与峰值显存下降，仅损失0.4点mIoU。结果表明该方法在观测仅部署下具有有竞争力精度与效率，但仍需更广统计与跨传感器验证。