针对复杂城市交通场景的跨模态语义场景补全技术，采用可达性几何注意力机制

《Scientific Reports》：Cross-modal semantic scene completion for complex urban traffic scenes with reachability geometric attention

　　

摘要

在复杂的城市道路环境中，多个实体之间的相互遮挡现象十分普遍。仅依赖可见外观进行分割或仅在体素空间内完成补全的方法难以恢复被遮挡区域的像素级语义和形状。本文提出了一种名为AGAC的跨模态、具有时间感知能力的语义场景补全网络，该网络加入了基于可达性的几何注意力机制。首先，我们在一个统一的参考框架中构建了一个各向异性的可达性势场，并将势值及其最速下降方向分别映射到图像平面上，从而得到每个像素的可达性标量、优先传播方向以及可达性掩码。接着，我们在像素域引入了基于可达性的几何注意力机制，将潜在差异、方向一致性和遮挡风险融入注意力邻域及其评分过程中，使得补全过程仅沿着几何上可行、成本较低且方向一致的路径进行。解码器采用分层遮挡解析技术，并结合各向异性细化处理，沿主要方向进行补全的同时抑制边界信息的泄露，从而实现具有连续轮廓和拓扑一致性的图像填充。最后，通过一种带有不确定性权重的几何重投影门控双窗口记忆机制，实现了跨帧融合的稳定性，并在复杂场景下保证了结果的可靠性量化。在KITTI-360-APS、BDD100K-APS和BlendPASS数据集上的系统级评估表明，AGAC在APQ、APC、AAP以及AP_occ指标上均表现出领先性能，相较于强基线模型，整体性能提升了约3–4%，在AP_occ指标上的提升幅度达到5–7%。在遮挡严重、场景规模较大或补全距离较远的情况下，性能提升更为显著；而可见区域的质量则始终保持稳定。