在使用超分辨率技术的情况下，提高视觉挑战性场景中的物体检测准确性

《Journal of Computational Science》：Enhancing object detection accuracy in visually challenging scenarios using super-resolution

本文提出将超分辨率预处理应用于目标检测，验证其在低分辨率体育（SoccerNet）和低光监控（ExDark）场景的有效性。实验表明，预处理使mAP分别提升12%和17%，但效果因任务而异。研究证实跨领域潜力，并强调任务特定训练的重要性。

　　

Dawid Krutul | Karolina Seweryn | Micha? Ha?oń | Gabriel Ch?? | Szymon ?ukasik | Anna Wróblewska

NASK - 国家研究机构，华沙，波兰

摘要

目标检测模型在应用于具有挑战性的现实世界环境（如低分辨率体育分析和低光照监控）时，往往表现不佳。本研究探讨了使用超分辨率（SR）作为预处理步骤来提高检测鲁棒性的通用性。本文是我们之前工作（Seweryn等人，2025年）的直接扩展，该工作证明了这种方法在足球视频上的成功。我们现在测试这一方法是否是适用于图像退化的通用解决方案。为此，我们在将图像输入目标检测器之前应用超分辨率增强技术。我们的评估涵盖了两个不同且具有挑战性的数据集：SoccerNet（代表低分辨率体育领域）和ExDark（代表极端低光照领域）。正如我们最初的发现所示，SR预处理将320x240像素的SoccerNet图像的平均精度（mAP）提高了12%（IoU 0.50:0.95）。我们在ExDark上的新实验表明，SR预处理通常可以在低光照条件下提高检测准确性——SR预处理将分辨率降低4倍的图像的mAP提高了17%（IoU 0.50:0.95），尽管改进的程度因指标和任务而异。这个扩展版本提供了对方法通用性和局限性的更深入讨论。

引言

尽管现代目标检测模型在基准测试中取得了令人印象深刻的结果，但当面对现实世界数据的复杂性时，它们的性能往往会有所下降。标准训练数据集中使用的清晰、高质量的图像很少能够捕捉到分析系统在实地必须处理的条件。这种差距在两个不同但同样具有挑战性的领域尤为明显：动态体育分析和低光照监控。一方面是节奏快速的体育活动，例如足球，其特点是快速的运动、频繁的遮挡以及追踪小球等小物体的难度。另一方面是CCTV监控，其主要挑战在于恶劣的照明条件。视频通常在接近黑暗的环境中拍摄，或者受到严重的过度曝光或曝光不足、高噪声和大气伪影的影响。在这种条件下，可靠地检测人员或车辆变得异常困难。

在我们之前的出版物[1]中，我们解决了这些挑战中的第一个。我们证明了将超分辨率（SR）作为预处理步骤可以显著提高足球视频中的检测准确性，使模型能够更好地应对低质量视频。这项研究的成功提出了一个新问题：这种好处是否仅限于体育领域，还是它是一种更通用的解决方案，适用于退化的图像？

本文是对那项工作的直接扩展[1]。我们假设超分辨率（SR）与目标检测之间的强大协同作用并非特定于某个领域，而是可以推广到其他具有挑战性的场景。我们提出，在检测之前使用SR来恢复图像细节是一种适用于各种现实世界视觉任务的稳健且有价值的策略。

为了验证这一假设，我们将方法应用于第二个具有挑战性的领域：低光照监控。我们使用专门为测试极端低光照环境下模型性能而设计的ExDark[2]数据集进行了一系列新的实验。我们的目标是验证这种组合方法是否能够实现更稳健的检测模型，即使在图像质量远非理想的情况下也能可靠地工作（见图1）。

章节摘录

足球

早期的跟踪依赖于多摄像头系统进行精确定位[3]，[4]，[5]，[6]，但这些系统成本高昂，需要复杂的校准和重新识别[4]。最近的方法使用单摄像头设置[7]，[8]，但由于遮挡、照明和运动的原因，检测小球等小物体仍然很困难[9]。跟踪被视为一个多目标任务，由于外观变化和严重遮挡而变得复杂[10]。现代解决方案通过架构调整提高了检测性能。

评估指标

为了评估我们提出的模型的性能，我们使用了针对目标检测和图像重建任务定制的指标。

目标检测的准确性通过交并比（IoU）和平均精度（mAP）来评估。IoU，也称为Jaccard指数，用于量化预测边界框$B_p$与真实边界框$B_g$之间的空间重叠程度。其定义为：$I=\frac{\text{面积}(B_p\cap B_g)}{}$IoU值为1表示完美定位，而IoU值较低则表示定位不准确。

足球

实验确认了输入分辨率与检测准确性之间存在强烈的正相关关系，Faster R-CNN模型在SoccerNet上的结果详见表1。我们观察到，将输入图像放大六倍（从320 × 240到1920 × 1080）显著提高了性能，mAP（IoU 0.50:0.95）提高了21%以上，mAP@IoU=0.50提高了约20%。这种检测质量的提升是在不同条件下平均IoU保持稳定的情况下实现的。

讨论与结论

我们的研究证实了超分辨率（SR）作为视觉挑战场景中目标检测预处理步骤的价值。在足球领域，SR将低质量帧的mAP提高了高达12%，使得球员检测更加准确，支持了战术分析和自动裁判等应用。特定领域的SR训练（SoccerNet）相比通用SR略有提升，这强调了数据集对齐的重要性。这些改进可以减少对高端

局限性

尽管结果很有前景，但本研究仍存在一些局限性需要承认。

本研究没有在同一领域内系统地比较不同的超分辨率架构。特别是，与足球相关的实验依赖于RLFN，因为这部分工作是在早期进行的，并扩展了我们之前发表的会议论文。因此，更先进的基于变压器的超分辨率模型（例如SwinIR或HAT）没有在本文中进行评估。

CRediT作者贡献声明

Dawid Krutul：撰写 – 审稿与编辑，撰写 – 原稿，可视化，软件，方法论，调查，形式分析，数据管理，概念化。Karolina Seweryn：撰写 – 审稿与编辑，撰写 – 原稿，可视化，监督，软件，方法论，调查，形式分析，数据管理，概念化。Micha? Ha?oń：撰写 – 审稿与编辑，撰写 – 原稿，可视化，软件，方法论，调查，形式分析，

手稿准备过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了Microsoft 365 Copilot、Gemini 2.5、ChatGPT 5.1和Claude Sonnet 4来辅助代码生成、优化编程解决方案，并帮助起草和润色文本，以提高清晰度和连贯性。使用这些工具后，作者根据需要对内容进行了审查和编辑，并对已发表文章的内容负全责。

利益冲突声明

作者声明他们没有已知的财务利益冲突或个人关系可能影响本文所述的工作。