一种用于对象检测的多视图特征协同优化方法

《Image and Vision Computing》：A multi-view feature collaborative optimization method for object detection

　　

刘家吉|焦润海|詹向宁|李凯航

华北电力大学控制与计算机工程学院，北京，102206，中国

摘要

在当前的多视图对象检测研究中，获取真实的多视图数据通常需要昂贵的硬件。此外，现有的融合方法难以确保不同视图之间的一致性和互补性，这严重限制了检测性能。为了解决这些挑战，本文提出了一种结合多视图数据生成和特征协同优化的方法来增强单视图对象检测。具体来说，提出了一种基于增强的生成策略，从给定的单视图RGB图像中合成多样化的伪多视图输入，从而实现多视图机制的训练。此外，设计了一种全局-局部协同余弦损失函数，以分层学习不同视图之间的全局一致性和局部互补信息，从而产生更具区分性的对象特征表示。实验结果表明，该方法在三个基准数据集上的性能优于现有的最先进方法，无论是电力缺陷检测还是一般对象检测。与基于YOLO的方法相比，平均mAP提高了约2.7%；与基于Transformer的方法相比，平均mAP提高了约7.0%。此外，在标准硬件上实现了接近213 FPS的实时推理速度，突显了准确性和效率之间的良好平衡。该实现的代码可在以下链接公开获取：https://github.com/LiuJiaji1999/MFCO。

引言

对象检测被认为是计算机视觉中的一个基本任务，并已广泛应用于自动驾驶、智能监控和机器人感知等领域。近年来，随着深度学习技术的快速发展，基于卷积神经网络[1]和Transformer架构[3][4]的检测方法在单视图场景中取得了显著进展。然而，在现实世界的复杂环境中，遮挡、光照变化、恶劣天气条件以及对象伪装等因素会显著降低检测性能，使得仅依赖单视图信息的模型难以获得稳定可靠的结果。受人类视觉感知机制的启发，多视图观测被认为是一种有效的信息补充策略[5][6]。心理视觉研究表明，人类会调整眼睛焦点以感知不同距离或尺度的对象，例如，放大近距离对象的焦点或缩小远距离对象的焦点。在人工视觉系统中，这种视图变化可以通过多相机系统、无人机或移动机器人获得，或者通过对图像应用几何和空间变换来模拟。

受此启发，许多研究尝试将多视图信息引入视觉任务。在显著对象检测中，多视图观测可以突出图像中更吸引人的区域。在伪装对象检测中，不同视图下颜色或边缘的细微差异有助于区分与背景高度相似的对象。此外，多视图信息在缓解遮挡问题方面显示出明显优势，因为不同视图通常提供了部分遮挡对象的互补观测。此外，多视图训练策略允许模型在不同扰动下学习多样化的对象表示，从而提高在复杂场景中的泛化能力。这些研究表明，多视图观测可以通过提供互补的视觉线索有效地弥补单视图感知的信息不足。

尽管多视图学习在视觉感知方面具有巨大潜力，但在应用于对象检测时仍面临几个关键挑战。首先，多视图对象检测数据集相对稀缺，这限制了深度模型进行端到端训练的能力。现有方法通常依赖于多相机系统或复杂的3D建模技术。然而，这些方法通常涉及高计算成本、复杂的训练过程以及严格的硬件要求，不适合实际应用。相比之下，通过对单张图像应用结构化变换来构建伪多视图输入，可以在数据有限的情况下获得更丰富的视觉信息，这是一种更实用的解决方案。其次，多视图特征之间的有效关系建模仍然具有挑战性。从多视图学习的更广泛角度来看[7][8][9]，传统方法主要关注协同多视图聚类和基于优化的多视图学习框架。然而，这些方法通常依赖于复杂的优化过程，使得它们难以直接应用于高维视觉任务，并限制了它们在大规模或端到端训练场景中的效率和可扩展性。相比之下，最近的基于深度学习的方法能够自动学习多个视图之间的潜在关系，并实现更高效的特征级信息融合。尽管如此，许多现有的多视图检测方法仍然依赖于简单的策略，如特征连接或加权融合，这些方法忽略了层次化特征表示之间的语义差异。总之，本研究探讨了多视图对象检测中的一个常见但尚未充分探索的问题。主要贡献如下：

• •
  提出了一种基于增强的数据生成策略，该策略不需要相机校准参数或时间对齐。它直接从单视图图像合成伪多视图训练样本，使检测器能够明确建模不同视图之间的关系。
• •
  设计了一种全局-局部协同余弦损失函数，指导模型学习视图共享的全局语义信息，同时保留视图特定的局部差异，从而产生更具区分性的对象特征。
• •
  通过将提出的方法与基于YOLO和Transformer的检测器结合，在Private Power Data、Public Power Data和VisDrone2019-DET等基准数据集上进行了广泛实验。结果表明，该方法在多个评估指标上显著优于现有方法，验证了其有效性和泛化能力。

本文的其余部分组织如下。第2节对多视图检测工作进行了系统的文献回顾。第3节详细介绍了提出的方法。第4节介绍了数据集、实验设置和分析。第5节讨论了局限性。第6节总结了研究并讨论了未来的研究方向。

章节片段

相关工作

与本文密切相关的视觉任务主要包括伪装对象检测、异常检测和工业缺陷检测。这些研究通常依赖多视图信息来提高模型在复杂场景感知中的鲁棒性。沿着这个方向，本文从三个方面回顾了相关研究：多视图数据、多视图学习方法和多视图对象检测。

提出的方法

基于YOLO和Transformer的检测器是两种典型的对象检测器。它们共享一个统一的结构范式，包括三个核心模块：Backbone（主干网络）、Encoder-Neck（编码器-颈部）和Decoder-Head（解码器-头部），分别负责特征提取、特征融合和输出预测。提出的方法包含两个部分，MVI（多视图输入）和GLC（全局-局部协同）模块，可以分别与基于YOLO和Transformer的检测器结合使用，如图所示。

实验分析

进行了一系列实验来评估所提出框架的有效性和泛化能力。首先，在三个基准数据和两种检测器上进行了性能比较实验。随后，通过逐步引入关键组件进行了消融研究。最后，进行了详细的计算复杂性分析，以评估该方法的效率。

讨论

尽管提出的方法在整体性能上有所改进，但仍应注意几个局限性。

非单调的类别级性能。

如表10所示，GLC模块引入的性能改进并非在所有类别中都是一致的。虽然大多数类别受益于提出的方法，但某些类别（如pin-uninstall）的性能与Base+MVI设置相比有所下降。这种非单调行为表明特征级

结论与未来工作

为了解决训练数据构建的挑战和多视图对象检测中特征学习的局限性，提出了一种独立于相机校准和时间信息的多视图数据生成策略，并设计了一种全局-局部协同余弦损失函数来加强特征表示。在电力缺陷检测和额外的基于UAV的对象检测任务上进行的广泛实验验证了其有效性和优越性。

CRediT作者贡献声明

刘家吉：撰写 – 审稿与编辑，撰写 – 原始草稿，方法论。焦润海：监督，资源提供。詹向宁：撰写 – 审稿与编辑，验证，调查。李凯航：验证，调查。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢

本研究得到了国家自然科学基金 [项目编号：62373150]的支持。