RGB-D技术在水下场景中对难以区分物体的计数

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：RGB-D Indiscernible Object Counting in Underwater Scenes

　　

摘要

最近，难以区分/伪装场景的理解在视觉研究领域引起了广泛关注。我们通过系统研究一个名为“难以区分对象计数”（IOC）的新挑战，进一步推动了这一领域的发展。该挑战的目标是统计那些与其周围环境融为一体的对象。由于缺乏合适的IOC数据集，我们提出了一个大规模的数据集IOCfish5K，其中包含5,637张高分辨率图像和659,024个标注的中心点。我们的数据集包含了大量难以区分的对象（主要是鱼类），这些对象出现在水下场景中，使得标注过程更加具有挑战性。与现有的难以区分场景的数据集相比，IOCfish5K在规模、图像分辨率、标注数量和场景密度方面都具有优势，因此它是迄今为止最具挑战性的IOC数据集，为这一领域的发展提供了支持。得益于深度估计基础模型的最新进展，我们使用Depth Anything V2模型为IOCfish5K生成了高质量的深度图。IOCfish5K的RGB-D版本被称为IOCfish5K-D。为了对IOCfish5K进行基准测试，我们选择了16种主流的对象计数方法并进行了仔细评估。对于多模态的IOCfish5K-D，我们评估了另外4种流行的多模态计数方法。此外，我们还提出了IOCFormer，这是一个新的强大基线方法，它在统一的框架中结合了密度和回归分支，能够有效处理隐藏在场景中的对象计数问题。我们还提出了IOCFormer-D，以充分利用深度信息来帮助计数隐藏在环境中的对象。实验表明，IOCFormer和IOCFormer-D在IOCfish5K和IOCfish5K-D上分别取得了最先进的成绩。这些资源可以在github.com/GuoleiSun/Indiscernible-Object-Counting公开获取。