LQTARanker：一种基于排名的任务导向低质量图像评估框架

《Neurocomputing》：LQTARanker: A ranking-based task-oriented assessment framework for low-quality images

　　

摘要传统低质量图像增强主要优化视觉保真度，这可能无法转化为更好的下游检测效果，并可能引入不必要的计算。我们提出了 LQTARanker，一个面向任务的评估框架，它预测增强引起的检测增益 ΔF1，并将其符号作为增强与否的决策信号。LQTARanker 结合了具有空间感知能力的辅助令牌编码器 (ATE)，将全局强度直方图与 4×4 区域直方图融合，以及动态融合单元 (DFU)，聚合层次化的视觉和统计特征。标签通过离线测量应用一组增强算法前后检测器的性能来生成。在 ExDark、DarkFace、DUO 和 RUOD 数据集上，修订后的模型获得了正的 R2 值，并且相对于不增强和随机策略，在增强有益的数据集上提高了最终检测 F1 分数。门控网络需要 1.36 GFLOPs，13.23 M 参数，以及每张图像 10.95 ms，这低于所测试增强模型的成本。使用 YOLOv12、Faster R-CNN 和 Deformable DETR 的实验表明，该架构可以使用来自不同检测器家族的目标进行训练。

引言低光和水下图像分析在许多领域至关重要，包括城市监控、自主机器人、海洋生态监测和水下检查 [1], [2]。然而，在这些不良光照条件下拍摄的图像通常遭受严重退化，如色彩偏移、低对比度、噪声和模糊，这是由光照不足、波长依赖性吸收或散射引起的 [2], [3], [4], [5], [6], [7]。这些退化不仅降低了人类的视觉感知，还严重限制了对象检测等高层计算机视觉任务的准确性。事件辅助的低光重建进一步说明，即使有互补传感可用，严重的黑暗也会擦除传统帧中的高频证据 [8]。因此，在低光和水下场景下增强和评估低质量图像已成为提高检测可靠性的关键步骤。然而，经常观察到即使增强后的图像获得了更高的传统质量指标，它们也不一定能带来检测性能的提升，这突显了感知视觉质量与实际任务有效性之间的关键差距 [9], [10]。

传统图像质量评估 (IQA) 指标如峰值信噪比 (PSNR) 和结构相似性指数 (SSIM) 已被广泛用于量化增强结果 [11]。然而，这些指标主要反映像素级或感知保真度，且已知与人类主观质量和机器级性能的相关性较差。例如，优化 PSNR 通常会产生产生过度平滑的图像，这些图像在视觉上看起来合理但丢失了识别所需的关键判别性线索 [12]，而 SSIM 捕获结构一致性却无法代表语义质量 [13]。先前的研究证实，高 PSNR 或 SSIM 值不能保证下游任务的性能提升 [14]。

现有的 IQA 方法探索了广泛的技术。Mittal 等人提出了盲/无参考图像空间质量评估器 (BRISQUE) [15]，这是一种基于空间域自然场景统计的无参考 IQA 方法。Su 等人引入了一种用于盲 IQA 的自适应超网络 [16]，它在预测质量之前学习内容。Zhang 等人提出了 UNIQUE [17]，一种不确定性感知的盲 IQA 模型，Pan 等人设计了 MB-CNN [18]，具有多尺度融合和位置感知加权。Liu 等人提出了 RankIQA [19]，通过 Siamese 网络学习相对质量排名。虽然这些方法推进了感知 IQA，但它们通常关注主观质量而未与任务性能对齐，特别是在不良光照条件下。

评估 IQA 泛化能力需要考虑数据集多样性和全面评估。现有的水下或低光指标通常依赖于特定数据集 [20], [21]，并关注单一方面，如失真相关性 [22]、增强排名 [23] 或平均意见得分 (MOS) 一致性 [24]。然而在实践中，光学和光照因素可能严重影响清晰度，这意味着高感知质量并不能保证良好的检测增强。最近的努力如深度引导图像质量评估 (DGIQA) 纳入了深度引导注意力和融合，以显著提高跨数据集的鲁棒性——包括在低光和有雾条件下——而像 MetaQAP 这样的方法利用质量感知预训练和元学习以进一步增强在不同失真下的泛化能力 [25], [26]。然而，这些进展仍然以感知为中心，并未直接与下游检测目标对齐。因此，需要鲁棒的、任务感知的 IQA 方法来评估跨不同内容和组合退化效应的增强图像，因为大多数当前指标是孤立地评估这些因素 (图 1)。

在这两种情况下，最近的低光 IQA 进展进一步证实了感知指标与下游效用之间的不匹配。最近的研究提倡从“人类偏好”转向“机器偏好”，敦促开发反映下游检测器性能而非纯粹视觉吸引力的任务感知 IQA 指标 [27]。互补地，AU-IQA 引入了带 MOS 标签的 AI 增强内容——包括低光增强——揭示了现有的无参考图像质量评估 (NR-IQA) 模型在 AI 增强的用户生成内容上显著的泛化差距 [28]。在方法论上，修复辅助的 NR-IQA 耦合了退化和干净表示，以在严重的低光退化下提高鲁棒性 [29]。同时，NTIRE 低光增强挑战赛记录了感知分数与实际性能之间持续的差异 [30]。现有的 IQA 方法仍面临显著的局限性。大多数关注感知保真度而非任务相关性，且它们的评价与特定数据集或失真挂钩，限制了其在低光和水下图像等多样化条件下的泛化能力。此外，它们通常假设增强总是有益的，忽略了伪影降低检测准确性的情况。这种不匹配突显了“看起来更好”和“表现更好”之间的差距，推动了对任务驱动解决方案的需求。

我们提出了 LQTARanker，一个任务感知框架，用于预测低光和水下条件下图像增强的预期检测增益。与传统感知 IQA 模型不同，LQTARanker 直接估计增强后图像与原始图像之间的 F1 分数改进 (ΔF1)，并将其符号作为增强与否的决策信号。这种公式化将质量评估的重点从主观视觉保真度转移到了客观任务有效性。本文的主要贡献总结如下：

•我们将任务感知 IQA formulated 为低质量图像下的逐图像增强增益预测 (ΔF1)，直接将质量与下游检测效用对齐。
•我们提出了 LQTARanker，它结合统计先验与多尺度视觉特征以回归增益分数，用于增强与否的决策。
•在 ExDark、DarkFace、DUO 和 RUOD 上的实验包括消融、IQA 和 ResNet-50 基线、多个检测器家族、效率测量以及端到端的增强与否策略评估。

部分片段

图像增强对检测性能的影响
在水下和低光场景中，图像增强通常被用来减轻严重退化；然而，其对下游检测的实际影响仍然模糊。
Wen 等人 [31] 表明水下增强可以改善外观，同时由于伪影和偏离检测器训练分布而降低检测性能。Awad 等人 [9] 同样发现传统图像质量指标与检测精度之间没有一致的关联。
Liu

概述
LQTARanker 旨在评估不良光照条件下的图像质量，特别是水下和低光场景，其中全局色彩统计和细粒度结构线索对于预测任务级性能都至关重要。
LQTARanker 是一个基于令牌的质量评估框架，它层次化地整合视觉表示和统计先验，以预测图像增强的任务导向增益。总体架构如图 2 所示。该框架

实验与分析
我们在 ExDark、DarkFace、DUO 和 RUOD 上评估 LQTARanker。实验涵盖检测器基线、增强效果、回归误差、消融、IQA 和骨干网比较、检测器泛化、计算和数据成本，以及最终的增强与否策略。

结论
本文介绍了 LQTARanker，一个面向低光和水下图像评估的面向任务的框架。与感知 IQA 指标不同，LQTARanker 预测了增强带来的预期检测 F1 分数增益，并将其符号作为增强与否的决策。修订后的 ATE 融合了全局和 4×4 区域直方图，而 DFU 聚合了多尺度视觉特征。消融实验验证了 ATE、DFU 和多尺度监督都对预测结果有贡献。
实验与

CRedIT 作者贡献声明
方升宇：写作 – 初稿，验证，方法论，调查，形式分析，数据整理。郭吉昌：写作 – 审查与编辑，监督，资源，项目管理，资金获取，概念化。

竞争利益声明
作者声明他们没有已知的竞争经济利益或个人关系，这些关系可能看似影响了本论文报告的工作。

致谢
本研究部分得到了中国国家自然科学基金 (编号 62171315) 的支持。

方升宇 讲师，硕士学位，天津大学博士生。2013 年毕业于天津工业大学。曾在天津仁爱学院工作。他的研究兴趣包括低质量图像增强、深度学习。

方升宇 | 郭吉昌
天津大学电气与信息工程学院，中国天津，300072