V2-Fusion：基于虚拟体素增强的4D雷达-图像特征融合在3D目标检测中的研究

《Exploratory Research in Clinical and Social Pharmacy》：V2-Fusion: Virtual Voxel Enhanced 4D Radar-Image Feature Fusion for 3D Object Detection

本文提出了一种名为V2-Fusion的创新检测方法，旨在解决4D雷达数据稀疏和缺乏表面纹理的挑战。该方法通过体素级前景语义特征增强模块（VFSFE）利用图像语义信息稠密化前景雷达体素，并通过目标上下文纹理特征聚合模块（OCTFA）扩大感受野以缓解投影未对准误差。在View-of-Delft（VoD）和Dual-Radar数据集上的实验表明，该方法显著提升了3D目标检测性能，为自动驾驶感知任务提供了鲁棒解决方案。

　　

Highlight

我们的研究强调了利用图像信息来增强稀疏4D雷达数据表示的重要性。通过提出的V²-Fusion方法，我们展示了如何有效地结合雷达的精确3D信息和图像的丰富语义内容，以改善在具有挑战性的天气条件下的3D目标检测性能。

Multimodal Fusion Method for 3D object detection for autonomous driving

自动驾驶3D目标检测的多模态融合方法

3D目标检测中的多模态融合涉及处理激光雷达（LiDAR）和相机数据组合时的不同融合阶段，即早期融合（early fusion）、中期融合（mid fusion）和晚期融合（late fusion）。在早期融合中，主要焦点是在数据级别整合LiDAR和图像数据。

Method

方法

V²-Fusion包含两个主要模块：VFSFE和OCTFA。我们提出了一个两阶段的体素级前景语义特征增强模块（VFSFE）来稠密化前景体素并突出前景信息，以解决4D雷达的稀疏性问题。此外，我们引入了目标上下文纹理特征聚合模块（OCTFA），通过扩大感受野来减轻投影未对准的影响。

Dataset

数据集

我们使用View-of-Delft（VoD）和Dual-Radar数据集来评估我们方法的性能。

VoD数据集。 View-of-Delft（VoD）数据集从代尔夫特的校园、郊区和旧城区收集，包含8,600帧来自64线LiDAR、（立体）相机和4D雷达的同步和校准数据。它包含超过123,000个3D边界框标注，例如约26,000个行人、10,000个骑自行车者和26,000个汽车标签。车辆传感器是挡风玻璃上的IDS立体相机（1936×1216，30 fps）和一个前置4D成像雷达。

Conclusion

结论

我们提出了一种新颖的方法V²-Fusion，旨在增强稀疏4D雷达数据背景下的3D目标检测。我们方法的核心是一个VFSFE模块，它利用图像语义分割信息来稠密化前景雷达体素，以缓解雷达稀疏性问题。此外，我们提出了一个OCTFA模块，通过整合邻近像素的信息来显著提高分割质量，从而增强鲁棒性。我们的...