重新审视夜间条件下用于行人检测的弱光环境感知技术

《Engineering Applications of Artificial Intelligence》：Rethinking low-light knowledge for pedestrian detection in nighttime conditions

夜间行人检测专用网络低光知识网络（LLKNet）通过波let多级提取器（WMLE）直接提取低光特征，并采用知识调度模块（KSM）自适应融合多层级语义特征，在夜间行人检测数据集上达到SOTA效果，同时保持白天场景的高性能。

　　

陈子阳|姚何|李文婷|龙伟|张永军

贵州大学计算机科学与技术学院，公共大数据国家重点实验室，中国贵阳550025

摘要

在单光谱夜间行人检测中，现有方法遵循了白天行人检测的惯例，使用预先训练在分类任务上的模型作为特征骨干。然而，这些预训练的骨干并未接触过低光照样本，缺乏在夜间场景中有效运行所需的专门低光照知识。在本文中，我们提出了低光照知识网络（LLKNet）。LLKNet包含两个主要组成部分：（1）小波多级提取器（WMLE），它能够在不利光照条件下提取层次化特征；（2）知识调度模块（KSM），确保在次优光照环境中自适应地整合语义层次化特征。实验表明，LLKNet在夜间行人检测数据集上取得了最先进的结果。此外，LLKNet在白天行人检测中也表现出色。

引言

行人检测是计算机视觉中的关键任务，具有广泛的应用，包括自动驾驶（Geiger等人，2012年）、视频监控（Nascimento和Marques，2006年）以及机器人技术（Geiger等人，2013年）。行人检测大致分为两类：多光谱行人检测（MPD）和单光谱行人检测（SPD），两者的区别在于是否使用热成像。MPD可以在一定程度上弥补夜间可见光图像中行人轮廓缺失的问题，但在语义对齐方面存在挑战。相比之下，SPD使用可见光相机，具有成本效益且用户友好。这些特性使得它们被大多数当前的行人检测算法所采用（Benenson等人，2015年；Dollar等人，2011年；Zhang等人，2017年；Pang等人，2019年；Liu等人，2019a；Brazil和Liu，2019年）。

最近的研究（Neumann等人，2019年）揭示了当前行人检测器在夜间场景中的性能局限，即使是在夜间数据集上进行训练也是如此。这突显了在夜间行人检测领域进行专注研究的重要性。现有的夜间SPD方法（Wu等人，2020年；Lin等人，2022年；Song等人，2023年）遵循了白天行人检测的传统范式，使用预训练的分类网络作为特征提取器。然而，在良好光照条件下学到的知识并不一定适用于夜间场景。如图1所示，尽管ResNet-50在白天环境中的表现优于VGG-16，但在具有挑战性的光照条件下表现较差。这表明夜间SPD任务需要专门的架构来有效学习低光照条件下的特定知识。

在本文中，我们放弃了使用预训练框架作为特征提取器的范式，提出了专门为夜间场景设计的学习特征的低光照知识网络（LLKNet）。LLKNet能够高效提取层次化语义特征，并重点关注低光照知识。这种方法使网络能够在恶劣的视觉环境中更准确地捕捉和利用关键视觉信息，如行人轮廓和纹理线索。此外，LLKNet能够自适应地聚合来自不同语义层次的特征。

为了高效捕获低光照语义特征，我们开发了一种称为小波多级提取器（WMLE）的特征提取器。考虑到低光照条件对空间域特征的重大影响，WMLE将特征转换为小波域进行学习。我们在WMLE的L1阶段创新性地引入了小波变换，并引入了小波语义细化单元（WSRU）。此外，为了优化WMLE提取的层次化语义特征的使用，我们设计了知识调度模块（KSM），这是一种用于低光照特征融合的新模块。我们的主要贡献如下：

(1) 我们提出了无需预训练骨干的夜间SPD范式LLKNet。

(2) WMLE旨在在低光照条件下提取特征。我们通过在小波域中学习知识来减轻低光照条件对空间域特征的影响。

(3) KSM旨在合并特征提取器提取的层次化低光照知识，确保有效整合和保留学习到的特征。

(4) LLKNet在夜间SPD方面超越了现有方法，并且在白天场景中也表现出优异的性能。

部分内容摘录

行人检测

最近的研究在行人检测领域取得了重要进展。在方法论方面，AutoPedestrian（Tang等人，2021年）和NAS-PED（Tang等人，2024年）采用了搜索算法来优化行人检测。AutoPedestrian结合了基于强化学习的奖励函数来逐步优化搜索策略。NAS-PED提出了第一个专为行人检测设计的神经架构搜索（NAS）框架。L2HFC（Hsu和Chen，2022年）

方法

我们提出的低光照知识网络（LLKNet）由两个组件组成：小波多级提取器（WMLE）和知识调度模块（KSM）。整个过程如图2所示。与现有的夜间SPD方法不同，我们引入了小波多级提取器（WMLE）来直接提取夜间特征，从而无需预训练的骨干。WMLE的详细信息在第3.1节中描述。KSM用于进一步融合多级特征

实验设置

(1) 数据集：我们使用四个公开可用的基准数据集来评估我们的模型：NightOwls（Neumann等人，2019年）、TJU-Pedestrian-Traffic（Pang等人，2020年）、TJU-Pedestrian-Campus（Pang等人，2020年）和Citypersons（Zhang等人，2017年）。NightOwls是一个专门用于夜间行人检测的数据集，包含在各种城市交通环境下夜间捕获的图像。TJU-Pedestrian-Traffic和TJU-Pedestrian-Campus是TJU-DHD-pedestrian数据集的组成部分，目标

结论

我们提出了LLKNet，这是一种用于夜间场景的SPD新方法。LLKNet由小波多级提取器（WMLE）和知识调度模块（KSM）组成。WMLE能够在夜间条件下高效提取行人特征。KSM模块保留了多尺度特征表示，并在不同尺度上进行特征聚合。LLKNet在单光谱夜间行人检测方面的表现优于之前的方法。此外，它在白天行人检测中也表现良好

CRediT作者贡献声明

陈子阳：概念化、写作——审阅与编辑。姚何：方法论、写作——初稿。李文婷：资金获取。龙伟：形式分析。张永军：监督。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本工作部分得到了贵州省科学技术规划项目的支持，中国贵州省科学技术厅的QianKeHe [2024] Key [2001]号资助；以及贵州省科学技术规划项目的支持，中国贵州省科学技术厅的[2023] [159]号资助。