面向鱼眼目标检测的视觉大语言模型参数高效适配方法

《IEEE Open Journal of Signal Processing》：Parameter Efficient Adaptation of Vision Large Language Models for Fisheye Object Detection

　　

摘要：

鱼眼相机被广泛应用于交通系统和车辆中，但其带来的图像畸变给物体检测算法带来了挑战。本文提出了一种名为Radial-Aware LoRA（RA-LoRA）的方法，这是一种能够感知畸变的参数高效适配方法，它根据物体的径向位置来调整低秩更新，从而有效应对鱼眼畸变的空间变化特性。仅通过增加0.5%的参数，使用RA-LoRA对Florence-2-large模型进行微调后，其在mAP@50指标上的表现相比零样本推理提升了181%，其性能优于经过完整训练的CNN检测器在鱼眼图像处理中的表现。该方法的检测性能在FishEye8K数据集的五种物体类别上进行了测试，包括自行车、公交车、汽车、行人和卡车。测试结果显示，采用RA-LoRA的Florence-2-large模型的平均精度为0.724，优于YOLO26x（平均精度：0.581）和YOLO26l（平均精度：0.605）。尽管该模型所需内存约为YOLO26的4.5倍，但RA-LoRA适配器的参数仅占总参数的0.5%，且可在推理时直接整合到基础模型中，不会带来额外的开销。因此，这种方法特别适用于服务器端处理、离线交通分析、事故后审计以及那些更注重检测可靠性而非实时嵌入式部署的高精度监控应用。