基于全局-局部光照增强的融合技术，用于可见光与热成像的人群计数与定位

《Engineering Applications of Artificial Intelligence》：Global–local illumination-enhanced fusion for visible-thermal crowd counting and localization

　　

岳伟|李张|王邦军|丁春涛

中国江苏省苏州市苏州大学计算机科学与技术学院，邮编215006

摘要

基于可见光（或红-绿-蓝）和热成像（RGB-T）的群体分析主要采用光照感知融合方法，因为RGB图像受光照影响较大，而热图像对光照不敏感。然而，大多数现有方法仅关注估计RGB图像的全局光照，忽略了现实场景中由多个光源或不均匀光照分布引起的局部变化。为了解决这个问题，我们提出了一种群体计数和定位方法，称为全局-局部光照增强融合网络（GIFNet）。GIFNet的主要贡献在于引入了两个新颖的融合模块：全局-局部光照增强跨模态融合（GICF）模块用于融合RGB-T特征，以及多尺度上下文交互（MCI）模块用于融合多尺度混合特征。GICF模块在全局-局部光照估计的辅助下逐步细化跨模态表示，实现渐进式和定向的特征增强；MCI模块用于增强不同尺度间语义和详细信息的流动与协同作用，进一步提高细粒度计数和定位性能。为了估计全局和局部光照信息，本文分别设计了全局光照估计（GIE）模块和局部光照估计（LIE）模块。GIE模块利用预训练的场景级光照分类子网络来估计整体光照条件，LIE模块捕捉区域间的光照变化。在两个公开的RGB-T数据集上的广泛实验表明，GIFNet在群体计数和定位指标上表现出竞争力。

引言

群体计数和定位因其许多应用中的重要实用价值而受到广泛关注，例如公共安全（Shehzed等人，2019年；Zhou等人，2024b年）和智慧城市（Zhai等人，2023年；Xie等人，2024年）。群体计数和定位的目标是估计图像中个体的数量并预测他们的位置，通常用空间头部中心坐标表示。大多数现有方法主要依赖于红-绿-蓝（RGB）可见光图像。这些方法在正常光照条件下表现良好，通过充分利用视觉线索（包括纹理和边缘）实现相对准确的个体计数和定位。然而，在夜间或强背光等极端条件下，这些方法无法获得良好的计数和定位性能，因为RGB图像对光照变化非常敏感。因此，如果仅依赖单一模态，就无法满足全天候、多场景的群体分析需求。

为了解决这个问题，研究人员引入了热成像作为群体计数的补充信息源。热成像对光照变化不敏感，可以在低光照或夜间条件下弥补RGB图像的感知缺陷。图1展示了RGBT-CC（RGB热群体计数）数据集中的一些RGB-T成对图像。如图1(a)所示，热图像可以通过捕捉人体热辐射有效识别群体分布。显然，仅靠RGB图像无法准确识别群体，而热图像有助于计数阴影区域中的物体。然而，我们不能仅依赖热图像来计数群体，因为这种模态存在伪热物体造成的背景干扰，见图1(b)和1(c)。因此，由于两种模态对光照变化的敏感性差异以及冗余信息，有效融合RGB和热图像是一个相当大的挑战。鉴于两种模态对光照变化的独特敏感性，设计一种能够动态调整模态间协作融合的光照感知机制是自然的选择。一些先前的工作尝试了光照感知融合策略，如昼夜分类（Zhou和Chen，2023年）、通道加权（Huang等人，2024年）和光照权重函数（Cheng等人，2024年）。然而，这些方法通常仅关注RGB图像的全局光照信息，忽略了局部区域的不均匀光照分布。此外，它们的光照表示通常基于亮度强度或粗略标签，提供的局部光照分布和语义上下文信息有限。

为了解决这些问题，本文提出了一种全局-局部光照增强融合网络（GIFNet）用于群体计数和定位，该网络通过结合局部光照分布和上下文中的全局光照强度来融合细粒度的跨模态特征。具体来说，局部光照分布由局部光照估计（LIE）模块近似，该模块可以生成局部光照掩码以捕捉区域光照差异。同时，全局光照强度由全局光照估计（GIE）模块估计，这是一个由明/暗语义标签监督的场景级光照分类子网络。在局部光照分布和全局光照强度的基础上，我们设计了全局-局部光照增强跨模态融合（GICF）模块，该模块可以利用这些光照线索在不同光照条件下调节融合。此外，为了更好地整合多尺度间的语义和详细信息，设计了多尺度上下文交互（MCI）模块。该模块在中层融合特征和浅层/深层特征之间构建多尺度注意力关系，补偿了局部细节和全局语义表达不足的问题，从而有效促进不同层次间的信息流动和协作表示。总之，本文的主要贡献如下：

• •
  设计了两个光照估计模块GIE和LIE，用于估计全局光照强度和局部光照分布，以辅助跨模态融合。
• •
  通过结合GIE和LIE提出了GICF模块。该模块在全局光照强度和局部光照掩码的辅助下细化跨模态表示。
• •
  设计了MCI模块，用于促进多尺度特征间语义和详细信息的深度融合。
• •
  基于GICF和M两个融合模块，我们提出了GIFNet用于RGB-T群体计数和定位。GIFNet使用GICF逐步和定向地融合多模态特征，并应用MCI结合浅层、中层和深层特征以增强局部细节和全局语义。在RGBT-CC和DroneRGBT数据集上的实验结果表明，GIFNet在群体计数和定位方面表现出竞争力。

本文的其余部分组织如下。第2节简要回顾了相关工作，包括基于RGB和RGB-T图像的群体计数和定位方法。第3节提出了GIFNet，描述了GIFNet的整个框架、两个辅助光照估计模块和两个主要融合模块，并讨论了GIFNet的训练过程。第4节进行实验并分析实验结果，第5节总结本文并规划未来工作。

章节片段

RGB群体计数和定位

几十年来，许多研究集中在群体计数和定位上。现有方法主要可以分为三类：基于检测的方法、基于密度图的方法和基于点回归的方法。基于检测的方法依赖于对象检测技术，在处理严重遮挡或高度密集的群体场景时存在显著限制。基于密度图的方法通过将图像中的点注释转换为连续密度来估计群体数量

概述

图2展示了GIFNet的总体架构。GIFNet包含四个模块：LIE、GIE、GICF和MCI，每个GICF由多个光照增强跨模态融合（ICMF）块组成。注意，GICF和MCI是主要融合模块，而LIE和GIE是GICF的辅助模块。LIE和GIE分别生成局部光照掩码和全局光照强度，支持光照感知的自适应特征调制。基于LIE和GIE，GICF

实验设置

实验数据集包括RGBT-CC（L. Liu等人，2021年）和DroneRGBT（Peng等人，2020年），具体描述如下：

• •
  RGBT-CC数据集包含2030对RGB-T图像，每对图像的大小为640 × 480。这些图像对来自各种真实世界的城市场景，包括商场、街道、游乐场和火车站，在明亮（1013对）和黑暗（1017对）条件下收集。共有138,389名行人被标注了点级标签，

结论与讨论

在这项工作中，我们提出了GIFNet用于RGB-T群体计数和定位。GIFNet引入了GIE和LIE以促进不均匀光照条件下的跨模态特征融合。此外，我们开发了MCI模块以进一步提高群体分析的空间精度。在两个具有挑战性的跨模态群体计数基准测试上进行了广泛实验。结果表明，GIFNet在跨模态群体计数任务中表现出竞争力

CRediT作者贡献声明

岳伟：撰写——原始草稿，可视化。李张：撰写——审阅与编辑，监督，资源提供。王邦军：项目管理，方法论。丁春涛：验证，方法论。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本工作得到了中国江苏省六大人才高峰项目（项目编号：XYDXX-054）和国家自然科学基金（项目编号：62202039）的支持。