基于零样本分类先验的CLIP-WSDDN：提升交通参与者弱监督检测精度的创新方法

《Patient Education and Counseling》：CLIP-WSDDN: An optimized weakly supervised object detection network with zero supervised classification prior

本文提出了一种基于零样本分类先验的弱监督目标检测方法CLIP-WSDDN，通过引入大规模预训练网络CLIP作为分类器，优化其图像编码器结构，为弱监督深度检测网络（WSDDN）提供分类先验信息。该方法显著提升了区域建议（Region Proposals）的提取质量及网络分类能力，在Cityscapes数据集上的实验表明，其对车辆、行人等交通参与者的识别精度平均提升达6.6%-38.7%，为无人驾驶环境感知提供了低成本、高精度的解决方案。

　　

Highlight

针对交通场景中目标检测任务目标类别已知且数量较少的特点，本文采用OpenAI提出的大规模预训练网络CLIP，为弱监督目标检测网络提供零样本分类先验信息。通过提取区域建议的分类先验，并将其应用于候选框提取算法和弱监督目标检测网络结构，显著提升了检测精度。

零监督分类网络CLIP及其优化

由于交通参与者目标检测任务中待识别目标类别已知且数量较少，本文采用OpenAI提出的大规模预训练网络CLIP，为弱监督目标检测网络提供零样本分类先验。该网络生成的区域建议分类先验被用于候选框提取算法和弱监督目标检测网络结构，从而优化检测性能。本文重点对CLIP网络的图像编码器结构进行选择性优化，以增强其与弱监督检测任务的适配性。

仿真实验与结果分析

对比多种交通环境数据集（如Cityscapes、ApolloScape、Kitti等）后，本文选择具备语义分割级标注的Cityscapes作为验证数据集，便于通过真实检测框评估算法性能。实验平台配置为Intel Xeon CPU与Nvidia RTX GPU。

结论

本文针对交通参与者目标检测任务，提出了一种基于零样本分类先验的弱监督目标检测方法。通过引入零样本分类先验信息，结合大规模预训练网络CLIP与基础网络结构WSDDN，优化了图像编码器结构。在Cityscapes数据集上的验证结果表明，该方法在交通场景目标检测中具有显著优势。