HCCPFNet:一种用于多光谱行人检测的分层级联跨层渐进融合网络
《Neurocomputing》:HCCPFNet: Hierarchical cascaded cross-layer progressive fusion network for multispectral pedestrian detection
【字体:
大
中
小
】
时间:2026年05月16日
来源:Neurocomputing 6.5
编辑推荐:
李文石|朱新宇|朱依兰|张玉珍|王翔|陶彦云
中国苏州苏州大学轨道交通学院,215137
**摘要**
在多光谱行人检测中,多尺度特征级融合已被广泛研究,并被证明在整合RGB和热成像模态的互补线索方面有效。然而,现有的融合框架通常存在跨层交互有限和跨模态增强不足的问
李文石|朱新宇|朱依兰|张玉珍|王翔|陶彦云
中国苏州苏州大学轨道交通学院,215137
**摘要**
在多光谱行人检测中,多尺度特征级融合已被广泛研究,并被证明在整合RGB和热成像模态的互补线索方面有效。然而,现有的融合框架通常存在跨层交互有限和跨模态增强不足的问题,导致性能下降。为了解决这些问题,我们提出了分层级联跨层渐进融合网络(HCCPFNet),这是一种统一的双流架构,旨在实现高效的分层协调和模态感知融合。具体来说,引入了分层一致性级联(HCC)模块,以级联方式逐步建立跨层依赖性,从而实现从浅层表示到深层表示的一致特征传播。为了进一步探索模态之间的一致性和差异性,我们开发了基于Transformer的双向极性解耦跨模态增强(BPCE)模块,用于模拟RGB和热流之间的双向相关性,同时分离正负极性响应,以明确区分一致性和区分性特征,从而实现更具辨别力的融合。此外,在融合之前嵌入了联合坐标交互压缩(JCIC)模块,通过联合空间坐标对特征进行对齐和压缩,同时在下采样过程中最小化信息损失。在基准数据集上的全面实验和消融研究表明,HCCPFNet的性能优于现有最先进方法。
**引言**
在复杂照明条件下(如低光或夜间环境)的行人检测仍然是自动驾驶[1]、[2]、[3]、智能监控[4]、[5]和公共安全[7]、[8]领域中的一个基本而具有挑战性的问题。传统的基于RGB图像的检测系统在黑暗或高眩光场景中常常因照明不足或背景干扰而失效[9]。为了克服这一限制,利用RGB和热成像模态的多光谱行人检测作为一种强大的解决方案应运而生[10]。这两种模态的互补特性——RGB图像捕捉精细的纹理和颜色线索,而热成像图像突出人体轮廓和热信号——使得在不同环境下的感知更加稳健。然而,由于RGB和热成像模态之间的显著差异,模态不平衡和特征不对齐仍然是多光谱行人检测融合阶段的主要挑战[11]。
最近的进展通过特征级融合策略[12]显著提高了多光谱行人检测的性能,特别是多层融合网络[13]、[14]、[15]、[16]。如图1(a)所示,这些方法从双流主干网络中提取分层特征,并在浅层、中层和深层整合信息,以结合详细的空间纹理和抽象的语义表示[17]。尽管多层融合已被证明有效,但其融合通常发生在特定层,这限制了完全捕捉模态间动态依赖性的能力。为了解决这一挑战,人们探索了跨层融合网络[11]、[18]、[19]、[20]、[21]。与多层融合不同,如图1(b)所示,跨层融合在特征提取阶段就进行特征交互。这种设计使网络能够在不同模态之间融合特征信息,实现实时的跨模态特征交互和补偿[22]。然而,上述跨层网络主要将跨模态交互注入融合阶段,因此常常忽略了相邻特征层次之间的渐进依赖性和语义连续性。这种不足的协调性可能导致在跨尺度传输表示时出现信息不一致或特征冗余。为了解决这些问题,我们的分层级联跨层渐进融合网络(HCCPFNet)引入了分层一致性级联(HCC)模块。如图1(c)所示,它专注于在每个模态流内进行渐进的语义传播,以加强相邻层之间的协调性,并确保整个特征层次的一致性。
除了用于多光谱行人检测的特征交互和增强领域外,基于CNN的融合策略[13]、[23]、[24]也显示出有效性。虽然CNN在局部特征表示方面表现出色,但其有限的感受野限制了它们捕捉全局上下文信息和探索跨模态局部特征之间关系的能力。为了提高网络的长距离依赖学习能力,Fang等人[18]提出了一种基于Transformer的跨模态特征融合方法,在特征提取阶段整合全局上下文信息。然而,标准的自注意力机制往往无法捕捉跨模态的细微互补信息。Shen等人[14]探索了将交叉注意力与多注意力机制结合,以增强跨模态数据的融合,主要关注通过跨域查询交集挖掘一致信息,但相对较少关注利用对高效融合至关重要的多模态互补信息。上述方法的示意图如图2(a)所示,这些方法主要强调模态一致性,而忽略了在多种条件下对行人感知至关重要的跨模态差异性。Hou等人[16]意识到了这一局限性,并提出了一种增强的Cross-Attention,通过整合多种跨融合策略,生成语义丰富和通用的查询,以加强共性并补充个体性。虽然混合查询设计扩大了模态之间的交互空间,但它仍然依赖于相似性和互补性的隐式聚合。由于所有模态特定的线索都被合并到一个统一的查询表示中,模型无法明确区分响应是来自一致结构还是互补的模态特定信号。
为了解决这一限制,我们提出了基于Transformer[25]的跨模态交互框架的双向极性解耦跨模态增强(BPCE)模块,该模块以双向方式明确分离可见光和热成像模态之间的一致性和区分性极性。一致性极性指的是由双向跨模态相关性强烈支持的模态共享响应,而区分性极性指的是在模态特定表示中仍然具有结构显著性的弱对齐但仍有信息量的互补响应。因此,如图2(b)所示,BPCE以双向方式明确建模了一致性和区分性分支,实现了更选择性、细粒度和更具辨别力的多光谱行人检测融合。然而,由于计算成本限制以及适应Transformer架构输入格式的要求,输入特征必须在融合模块之前进行下采样。由于传统的下采样操作(如步长卷积或池化层)不可避免地会丢弃细粒度的空间线索,并消除对小尺度行人感知至关重要的模态特定结构信息,这种空间敏感性的损失削弱了后续跨模态融合的可靠性。受到坐标注意力[26]的启发,我们引入了联合坐标交互压缩(JCIC)模块,作为一种轻量级的预融合压缩方法。通过联合建模两种模态的水平、垂直和整体空间坐标交互,并学习自适应的空间响应进行压缩,JCIC在减少计算量的同时保留了细粒度的位置感知结构和模态相关线索,为后续跨模态融合提供了更具信息量的输入。
**本文的主要贡献总结如下:**
• 我们提出了HCCPFNet,一种统一的分层级联融合框架,以渐进和一致的方式整合多尺度和跨层信息。
• HCC模块旨在增强逐层特征一致性和分层协调性,有效弥合不同特征阶段之间的语义差距。
• BPCE模块在基于Transformer的注意力框架内执行极性解耦的双向增强,以明确分离一致性和区分性组件,实现具有辨别力的模态融合。
• JCIC模块通过联合空间坐标对特征进行对齐和压缩,同时在下采样过程中最小化信息损失。
• 在自动驾驶场景数据集KAIST[1]和监控场景数据集LLVIP[9]上的广泛实验和消融研究表明,HCCPFNet的性能优于现有最先进(SOTA)方法。
**相关工作**
多光谱物体检测研究取得了持续进展,特别是在复杂环境中的多光谱行人检测方面,因为特征级融合策略在多光谱图像中表现优异。基于现有研究,特征融合策略可以分为三种形式:单层、多层和跨层[12]。
**总体架构**
如图3所示,所提出的HCCPFNet使用CNN主干网络从RGB和热成像图像中提取深度金字塔特征(P3、P4、P5)。首先,每个流捕获特定模态的空间纹理和语义线索,同时保持跨尺度的一致性。其次,在两个主干分支的每个阶段插入HCC模块,以增强分层协调性。通过在校准每个模态内的相邻语义层次,HCC模块提供了逐层一致的特征传播。
**实验设置**
在本节中,我们描述了实验的数据集、预处理、实现细节和评估协议。
**总体架构的消融研究**
在本小节中,我们评估了将HCCPFNet的不同组件模块导入基础模型对两个多光谱数据集的影响。基础模型是带有NIN融合的YOLOv5[39]。如表1所示,与基线相比,引入HCC模块使LLVIP上的AP50提高了1.8个点,KAIST上的AP50提高了1.25个点,参数增加了17.96M,FLOPs增加了8.93G。这表明HCC在相对较低的代价下提供了有利的改进。
**结论**
在本文中,我们提出了HCCPFNet,一种用于多光谱行人检测的分层跨模态特征交互框架。通过引入HCC模块、BPCE模块和JCIC模块,所提出的方法有效压缩了空间冗余,促进了分层跨层上下文聚合,增强了一致性和区分性模态组件,并实现了RGB和热成像特征在多个尺度上的稳健双向交互。
**作者贡献声明**
李文石:撰写——原始草稿、软件、方法论。
朱新宇:调查。
朱依兰:验证。
张玉珍:监督。
王翔:监督。
陶彦云:撰写——审阅与编辑、方法论、调查。
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
李文石于2024年在中国江苏省苏州市苏州大学获得轨道交通信号与控制学士学位,目前正在苏州大学交通系攻读硕士学位。他的当前研究兴趣包括深度学习、图像处理和多模态行人检测。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号