WRD-Seg：面向水面场景的水面反射抑制深度引导语义分割方法

《Intelligent Systems with Applications》：WRD-Seg:Water Reflection-suppressed depth-guided semantic segmentation for surface scenes

　　

无人水面艇（USV）场景下的语义分割因严重的水面反射与光照变化而具挑战性，尤其阻碍了对小型及反射目标物的准确识别。为推进该领域研究，研究人员构建了采集自长江复杂内河航道的高分辨率语义分割数据集YRCSS。在此基础上提出WRD-Seg，一种深度引导的语义分割框架，旨在抑制水面反射伪影。具体而言，首先利用预训练VGGT模型生成伪深度图，随后由伪深度生成模块（PDGM）通过置信度感知滤波与基于几何的约束进行细化，以减轻反射引入的噪声。细化后的深度信息渐进式地与RGB特征融合以引导语义分割。在YRCSS数据集上的实验表明，WRD-Seg取得86.03% mIoU与90.95% mF1，分别优于最强纯RGB结果9.00和6.94个百分点。结果显示所提深度引导反射抑制策略有效提升了水面语义分割性能，尤见于小型目标、反射区域及复杂内河场景。

研究背景方面，无人水面艇（USV）感知系统依赖语义分割实现导航与避障，但水面场景以大面积水体、强反射、镜面高光、低纹理和光照剧变为特征，导致纯RGB方法（如基于卷积或Transformer架构）在浮标、缆绳、趸船等小型反射目标上严重退化。已有引入水体掩膜或显著图的辅助方法仍源自RGB外观，无法摆脱反射敏感性。主动深度传感器因成本与标定难以部署，故单目伪深度估计成为实用替代，但原始伪深度在水面反射区会产生异常高响应与噪声边界。为此，研究人员开展一项结合伪深度细化与RGB渐进融合的反射抑制分割研究，并构建长江航道数据集YRCSS，最终得出深度引导几何先验可显著削弱反射歧义的结论，对内陆水道自主感知具有重要意义；该文发表于《Intelligent Systems with Applications》。

关键技术方法上，研究人员采集泸州上游约10公里航道手动操舵巡检船与巡逻艇的34段RGB视频，以2 Hz采样得35700帧，每15帧抽一帧得2330张精细标注图（训练1631/验证466/测试233），定义10类语义（岸标、浮标、趸船、货船等）。方法链路为：VGGT预训练模型产初始伪深度D₀∈R^H×W→DINOv2编码→全局与帧内自注意力→DPT风格解码得连续深度→置信度筛分C=σ(F_conf(D?))→低置信区用局部平滑先验补偿得D_c→几何正则G(·)保水平面平滑得D_p（此即PDGM）；再将D_p送入PD-RGB Stem层做深度引导调制，并经多级Progressive RGB–Depth Fusion Blocks（模态投影、深度引导门控F_rd^′=F?_r^′⊙σ(F?_d^′)、残差融合F_fuse^l=F_r^l+ψ(F_rd^l)）注入骨干，最终MLP解码头输出。

研究结果部分，各节简要结论如下。

YRCSS数据集：源于真实长江上游视频序列，含强反射、小目标与密集成品，10类标注重分布2–7个物体/帧，少数达18个，构成内河反射分割基准。

WRD-Seg框架概述：纯RGB输入无额外深度传感器，PDGM产反射感知伪深度，Stem与多级融合块渐进注入，解码前做特征级置信引导，双级置信建模抑制反射歧义。

PDGM模块：公式链D₀=F_depth(I)→F_d=E_DINOv2(D₀)→F_g=Attn_global(F_d)→F_f=Attn_frame(F_g)→D?=D_DPT(F_f)→C=σ(F_conf(D?))→D_c=C⊙D?+(1?C)⊙D?→D_p=G(D_c)，置信滤波抑局部异常，几何先验保水平一致平滑。

渐进RGB-深度融合块：仿DFormer但非对称，深度作引导而非等权模态，可靠深度增强RGB、噪声区软抑制，残差保RGB判别力。

PD-RGB Stem层：最早阶段F_r⁰=?_r(I), F_d⁰=?_d(D)→F?_r⁰=F_r⁰⊙σ(F_d⁰)→F_stem=ψ(F?_r⁰)，防反射噪传深层。

实验设置：PyTorch+RTX 4090D，500 epoch，batch 8，AdamW，lr 6×10^?5多项式衰减，多尺度训练推理。Table 1显示WRD-Seg以19.01M参/35.0G FLOPs获mAcc 90.69%、mF1 90.95%、mIoU 86.03%，超ConvNeXt、SegNeXt、SAM2、YOLO11-Seg等；Table 2消融示RGB基线77.03% mIoU，+Conf.达83.52%，+Geo.达84.75%，联合86.03%；Table 3示MLP解码优于HAM；Table 4示WRD-Seg-L在浮动物IoU 38.27%、缆绳62.70%显著提升，水面/趸船近饱和。Fig.3可视化证伪深度逐阶去噪。

讨论部分总结：性能差距主因非类别多样而是外观不稳；纯RGB即便ConvNeXt亦难消反射混淆；SAM/YOLO偏实例与提示不适用稠密类别；PDGM双机制互补（局部置信抑异常、几何保全局结构）；浮动物与缆绳受益最大，极细缆绳仍受限；局限为无真值深度监督、单帧未用时序、极薄结构几何弱；总体证伪深度细化+渐进融合是中等算力下水面理解有效解。

结论部分原文翻译：本文提出WRD-Seg，一种面向强反射与几何歧义水面场景的深度引导语义分割框架。通过将置信感知与几何感知细化嵌入伪深度表示，该方法增强特征鲁棒性并减轻反射引入噪声。研究人员在YRCSS数据集上通过全面实验（含与纯RGB基线对比及详尽消融）评估其效性。结果显示WRD-Seg在性能与鲁棒性上均占优，尤对小型与挑战性目标，凸显深度引导反射抑制对水面场景理解的有效性。