HybridCount:一种结合知识蒸馏技术的多尺度Transformer模型,用于目标计数任务

《Pattern Recognition》:HybridCount: Multi-Scale Transformer with Knowledge Distillation for Object Counting

【字体: 大 中 小 】 时间:2026年01月06日 来源:Pattern Recognition 7.6

编辑推荐:

  提出多尺度视觉Transformer编码器与图注意力网络解码器结合的创新架构,通过知识蒸馏框架实现高效实时物体计数,采用三组件损失函数协同优化空间密度分布与直接计数回归,并引入跨尺度注意力融合机制以适应复杂场景。

  
Jayanthan K S | Domnic S
印度泰米尔纳德邦蒂鲁奇拉帕利市,蒂鲁奇拉帕利国立技术学院

摘要

本文介绍了一种新颖的架构,该架构将多尺度视觉变换器(ViT)编码器与图注意力网络解码器相结合,用于模拟视觉场景中的上下文关系。我们的方法通过一种创新的知识蒸馏框架实现了实时、参数高效的对象计数,该框架将密度估计图与基于回归的计数机制集成在一起。蒸馏过程通过三个组成部分的损失函数来优化性能:编码器损失、解码器损失以及我们提出的双域密度-回归损失(DD-R Loss)。这种新颖的损失公式同时监督空间密度分布和直接计数回归,为鲁棒的对象量化提供了互补的学习信号。一个关键贡献是我们提出的尺度感知令牌嵌入技术和在ViT架构内不同感受野之间的交叉注意力融合,使得在杂乱视觉环境中能够进行精确计数。实验在四个人群计数数据集和两个车辆计数数据集上进行。我们的详细实验评估表明,所提出的方法在计数准确性和密度估计精度方面与最先进的方法相当。我们在结果和讨论部分提供的详细比较突出了我们的方法在视觉对象计数这一具有挑战性的领域中的显著优势和特点。我们的框架弥合了基于变换器的模型和图网络架构之间的差距。我们方法的效率使其能够实现与其他基于CNN的方法相当的实时性能。这种组合为对象计数任务提供了全面的解决方案,即使在资源受限的环境中也能有效运行。

引言

我们的设计结合了先进变换器的强大能力和实时对象计数所需的速度。对象计数仍然是一个核心的计算机视觉挑战,因为它需要多尺度分析、空间定位、尺寸估计和准确的计数预测。视觉变换器(ViTs)[1]已经显示出强大的建模长距离关系的能力,但它们的计算通常过于复杂,难以实际应用。相比之下,大多数传统的CNN模型在单一固定尺度上处理图像,这使得在理解整体场景的同时难以保留细节。这种平衡对于可靠的场景解释和精确的对象计数至关重要。
许多研究已经探讨了多尺度特征提取[2],但当前的解决方案仍然存在三个主要限制。首先,变换器模型中没有有效地融合跨多个尺度的特征。其次,大型模型和轻型模型之间的知识转移仍然不够理想。第三,基于图的场景关系建模、密度估计和计数回归很少一起进行优化。大多数先前的研究将这些视为独立的问题,导致方法碎片化,忽略了它们之间的自然交互。因此,对象计数方法通常采用密度估计[3]或直接计数回归[4],但很少将两者结合起来利用它们的互补优势。
本文提出了一种双路径多尺度视觉变换器(ViT)架构,该架构与图注意力网络(GAT)集成,形成一个师生网络框架。在师生网络中,都采用了尺度感知嵌入和交叉注意力融合机制。这些组件使网络能够有效地捕获和整合多个尺度和感受野的信息。
师生网络之间的知识流动结构如下:
  • 1.
    编码器蒸馏:第一种机制专注于将教师网络的多层ViT编码器学习的丰富、层次化的表示传递给学生的单层编码器。这是通过在对齐相应尺度的中间特征图来实现的,确保学生网络继承了教师提取细粒度和上下文化特征的能力。
  • 2.
    图蒸馏:为了保留教师网络对场景中对象关系的理解,采用了图蒸馏。这种机制确保学生网络学会模拟场景中对象的关系结构,使其能够复制教师解释不同元素之间相互作用的能力。
  • 3.
    密度和计数蒸馏:最后一种机制保留了教师网络的空间分区能力。通过这一过程,学生网络学会准确表示对象之间的物理距离和关系,确保其对场景的空间布局有有效的理解。
  • 这三者共同创建了一个全面的桥梁,将教师网络的复杂知识传递给更紧凑的学生网络。通过结合尺度感知嵌入、交叉注意力融合和上述蒸馏技术,所提出的架构在计算效率和高性能之间取得了平衡。
    我们的主要贡献包括:
  • •
    一种新颖的多尺度ViT架构,通过尺度感知令牌嵌入和交叉注意力融合机制有效地结合了不同感受野的信息。
  • •
    一种复杂的知识蒸馏架构,促进了从资源密集型模型到优化部署的替代方案的视觉理解能力的流畅转移。
  • •
    双域密度-回归损失(DD-R Loss)在一个统一的优化框架中结合了两种强大的方法——密度估计和直接计数回归。
  • •
    广泛的实验验证表明,在多个基准测试中取得了最先进的性能,并且在效率-准确性权衡方面相比现有方法有显著改进。
  • 我们的工作为设计高效且强大的视觉系统提供了重要见解,这些系统结合了变换器架构的优势和实际部署考虑。我们开发的技术可以帮助解决许多领域的实际问题。无论何时需要理解复杂场景或准确计数对象,它们都非常有用。例如,商店可以使用它们来跟踪库存,环境科学家可以监测野生动物种群,自动驾驶车辆可以更好地理解周围环境。这些方法通过弥合详细场景分析和精确轻量级计数之间的差距,在不同领域提供了实用的解决方案。

    背景

    在高密度场景中,对象计数随着深度学习方法的发展而显著进步,从传统的基于CNN的方法过渡到了复杂的变换器架构。Zhang等人[5]引入了基础的多列CNN(MCNN),通过具有不同感受野大小的并行列彻底改变了人群计数,确立了多尺度特征提取对于准确密度估计的重要性。Li等人[6]通过CSRNet进一步发展了这一技术,

    架构概述

    我们的方法提出了一种利用知识蒸馏的双路径架构下的尺度感知对象计数框架。教师模型采用了一个多尺度视觉变换器(ViT)编码器,该编码器包含三个并行的尺度ViT编码器(每个有2层),使用不同的补丁大小处理输入图像以捕获多尺度特征。这些多尺度表示通过尺度感知令牌嵌入层和交叉注意力融合结合在一起。

    实验

    我们在标准数据集和协议下评估了所提出的尺度感知蒸馏框架。

    消融研究

    我们在上海科技大学Part A数据集上进行了广泛的消融实验,以验证所提出的尺度感知知识蒸馏框架中每个组件的贡献。研究涵盖了架构设计、蒸馏策略、超参数敏感性和模型大小分析。

    结果与讨论

    各种人群计数方法在上海科技大学(SHT-A、SHT-B)、UCF-QNRF、JHU、CAPRK和PUCPR+数据集上的性能在三个表格中进行了总结。在表8中,我们比较了三个基准数据集上最先进的方法。我们的HybridCount-S模型仅使用0.22M参数就取得了显著的结果,证明了其效率和有效性。值得注意的是,HybridCount-S在SHT-A上实现了52.25 MAE的MAE值,在SHT-B上实现了7.25 MAE的MAE值,

    结论

    本文提出了一种尺度感知知识蒸馏框架,用于轻量级对象计数,它在准确性和效率之间取得了良好的平衡。所提出的模型结合了尺度感知嵌入、图注意力解码器和双头密度-回归模块,以捕获空间关系并保持尺度身份,从而实现了具有竞争力的准确性(在上海科技大学Part A上的MAE = 52.25),参数减少了99.1%,并且实现了85 FPS的实时性能。

    CRediT作者贡献声明

    Jayanthan K S:写作 – 审稿与编辑、原始草稿编写、可视化、验证、软件、资源管理、方法论、调查、正式分析、数据整理、概念化。Domnic S:监督、资源管理、项目管理、调查、数据整理。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号