基于 Transformer 四分支多粒度特征融合的行人重识别研究

【字体: 时间:2025年05月19日 来源:Expert Systems with Applications 7.5

编辑推荐:

  行人重识别(Re-ID)中多粒度特征提取是关键挑战。CNN 难构全局表征,Transformer 长距离依赖建模能力强。研究人员提出 FMFI,含四分支架构 QN 和 RGF 模块,实验表明其在 Market1501 等数据集上优于多数方法,提升特征表征与识别性能。

  
在智能监控与安防领域,行人重识别(Person Re-Identification, Re-ID)如同给跨摄像头的行人 “跨时空点名”,但复杂场景下的特征混淆、遮挡干扰及外观相似性等问题,常让算法陷入 “脸盲困境”。传统卷积神经网络(CNN)擅长捕捉局部细节却难构建全局判别表征,而 Transformer 虽能建模长距离依赖,却因单向特征输出易导致信息提取失衡。如何让算法既能 “见微知著” 捕捉衣物纹理、配饰细节等局部特征,又能 “统揽全局” 把握行人姿态、轮廓等整体信息,成为突破现有技术瓶颈的关键。

为攻克这一难题,研究人员开展了基于 Transformer 的多分支多粒度特征融合研究。通过构建四分支架构 Quadra-Net(QN)和精细化全局特征(Refined Global Feature, RGF)模块,形成 FMFI(Transformer Based Four Branches Multi-Granularity Feature Integration)方法,旨在从多维度提取行人特征,提升复杂场景下的识别准确率。该研究成果发表在《Expert Systems with Applications》。

研究主要采用以下关键技术方法:以 Vision Transformer(ViT)为基础架构,构建四分支网络 QBT(Quadra Branch Transformer),每个分支通过局部特征重塑提取多方向外观与姿态特征;引入 QN 结构,对各分支全局 tokens(CLSjL)进行权重缩放与跨分支聚合,生成增强型全局特征;设计 RGF 模块,通过压缩 refinement 操作优化初始全局特征,并与缩放后的新特征自适应加权融合;基于 O2CAP 方法构建离线 - 在线对比学习损失函数,匹配四分支特征进行优化训练。实验采用 Market1501、CUHK03、MSMT17 等 Re-ID 数据集,以 mAP 和 CMC 为评估指标。

多分支架构增强多粒度特征捕捉能力


传统双分支结构因分支数量有限、多头注意力机制不足,难以充分表征行人属性的多粒度特征(如图 2 (a) 所示)。研究提出的四分支架构 QN,通过增加分支数量扩展注意力头,使模型能从四个维度深度挖掘特征:一是聚焦衣物风格、色彩搭配等外观第一印象特征,二是捕捉行走、站立等姿态运动特征,三是分析面部表情等细微情感特征,四是提取配饰、携带物品等细节特征。各分支通过局部特征重塑,实现细粒度信息与全局信息的深层理解,如同为模型配备四对 “慧眼”,显著提升对相似行人的区分能力。

全局特征优化提升表征判别性


现有方法在利用 Transformer 提取全局特征时,常因缺乏冗余信息抑制机制导致表征能力不足。RGF 模块首次提出对初始全局特征进行精细化处理:选取四分支中第一分支的全局 token,通过压缩 refinement 生成高质量初始全局特征,并根据训练中特征的相对重要性,优化其与缩放聚合后的新全局特征的权重参数。这一设计平衡了新旧特征的贡献,使模型能从衣物表层到骨骼结构等多层面提取综合视觉线索,为识别提供更可靠的特征基础(如表 2 所示)。

实验验证方法有效性


在 Market1501、CUHK03、MSMT17 数据集上的实验表明,FMFI 方法在 mAP 和 CMC 指标上显著优于多数现有 Re-ID 方法。可视化实验显示,相较于基线 TMGF 模型,FMFI 因四分支带来的注意力头增加和局部特征分区,能捕捉更丰富的行人特征信息(如图 2 所示)。具体而言,四分支架构通过多视角信息融合,有效缓解了外观相似导致的识别混淆;RGF 模块则通过特征精细化与权重自适应,提升了全局表征的一致性与判别力。

研究结论与意义


本研究通过 Transformer 四分支架构与全局特征优化策略,为行人重识别领域提供了新的技术路径。QBT 结构通过多分支扩展实现了多粒度特征的高效捕捉,RGF 模块则通过特征精细化机制增强了全局表征的丰富性与可靠性。实验结果表明,该方法在复杂场景下的识别性能显著提升,为智能监控、多摄像头跟踪等实际应用提供了更鲁棒的算法支持。研究不仅拓展了 Transformer 在视觉领域的应用深度,也为解决跨模态变化、遮挡等 Re-ID 核心挑战提供了新思路,对推动智能安防与智慧城市技术发展具有重要意义。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号