在遮挡情况下减轻令牌角色漂移现象,同时实现基于组合令牌的姿态估计而无需额外推理开销
《Neurocomputing》:Mitigating token role drift under occlusion with no inference overhead for compositional-token pose estimation
【字体:
大
中
小
】
时间:2026年05月07日
来源:Neurocomputing 6.5
编辑推荐:
张焕恒 | 全顺坤 | 金胜镐
韩国庆尚南道庆山镇38541,岭南大学电子工程系
**摘要**
遮挡会通过引入与结构相关的偏差和不可靠的关节布局来影响人体姿态估计。我们研究了基于槽的组合令牌以及一种特定的故障模式:在严重遮挡的情况下,令牌与解剖部位之间的隐含对应关系
张焕恒 | 全顺坤 | 金胜镐
韩国庆尚南道庆山镇38541,岭南大学电子工程系
**摘要**
遮挡会通过引入与结构相关的偏差和不可靠的关节布局来影响人体姿态估计。我们研究了基于槽的组合令牌以及一种特定的故障模式:在严重遮挡的情况下,令牌与解剖部位之间的隐含对应关系会发生漂移,这种漂移在编码器-解码器接口处会被放大,从而降低结构的连贯性。为了探究这一问题,我们引入了SlotRealign,这是一种基于几何引导的样本内槽重新排序工具,它对量化后的令牌进行最小程度的扰动以测量结构稳定性。基于这一洞察,我们提出了RealignMixer,这是一个可学习的令牌协调模块,插入在VQ码本查找和解码器之间。RealignMixer通过令牌混合和重新加权来稳定槽的角色,从而在训练期间无需额外测试时间开销就能提高遮挡鲁棒性。我们在专注于遮挡的COCO数据集和CrowdPose数据集上进行了评估,并通过采用结构导向的协议和关节级别的不确定性框在真实世界的遮挡环境中进一步验证了其有效性。结果表明,RealignMixer在保持竞争性准确性的同时,提高了遮挡下的结构稳定性和恢复能力。
**引言**
人体姿态估计(HPE)是行为分析和安全监控的关键能力。尽管在标准基准测试中表现出色,但在实际场景中,尤其是在严重遮挡和人群拥挤的情况下,姿态估计器仍然容易受到影响,因为视觉证据不完整且存在局部冲突。这些条件通常会降低结构稳定性,使得关节配置更容易受到与结构相关的漂移影响,并在证据不完整时增加不确定性,这可能进一步损害依赖一致姿态结构的下游流程。
近期基于Transformer的姿态估计器在表示能力上有了显著提升(例如TransPose [1] 和 ViTPose [2]),其中核心的设计选择在于如何对姿态信息进行令牌化以及每个令牌的语义锚定强度。现有的方法大致可以分为三类:
(i) 关节级别的显式语义令牌为每个关键点分配一个令牌(查询),从而实现稳定且可解释的输出(例如TokenPose [3]);然而,这种刚性的绑定在严重遮挡下对模糊或缺失的证据容忍度较低。
(ii) 预定义的部分/组令牌表示固定的关节组合,以减少令牌预算,同时注入结构先验(例如GTPT [4]),但其语义主要由预设的分组决定。
(iii) 基于槽的组合令牌将身体压缩成一组小的、排列对称的令牌,然后解码为完整的姿态(例如PCT [5])。虽然这些方法紧凑且表达能力强,但它们与解剖部位之间的对应关系较弱且主要是隐式的,当证据模糊时可能会导致令牌角色的语义漂移,从而在解码后降低结构连贯性。
这引出了一个关键问题:我们能否在严重遮挡和证据模糊的情况下保持组合槽令牌的表达能力,同时提高结构解码的稳定性?为了研究这个问题,我们在PCT数据集上应用了一种基于几何引导的样本内重新排序方法,在解码之前对量化后的槽令牌进行排序,测试在编码器-解码器接口进行结构干预是否可以抑制角色漂移。结果表明,即使这种最小的干预也能在遮挡下显著提高结构一致性,支持编码器-解码器接口可能是角色漂移易被放大的敏感位置。
**动机**
基于这一观察,我们提出了RealignMixer,这是一个完全可学习的令牌空间协调模块,插入在码本输出和解码器之间。RealignMixer在解码之前执行类似注意力机制的令牌混合(软协调),从而在遮挡下实现更稳定的令牌角色。它保持了令牌数量和维度,并且不影响主干网络和解码器的结构。RealignMixer仅在训练期间使用,测试时的前向路径与基线相同,不会引入任何推理开销。
**评估**
为了确保与先前工作的直接可比性,我们严格遵循COCO和CrowdPose上的标准协议(例如OKS/AP、AR和GT-Box/Det-Box设置)。同时,我们注意到标准指标主要关注可见的关键点,对于完全不可见的关节,它们对结构合理性的评估有限。因此,我们在真实世界的路侧遮挡环境中进行了额外的结构导向验证,为不可见的关节标注了不确定性区域(不确定性框),并测量预测结果是否在合理的范围内,从而更好地捕捉遮挡下的结构质量和恢复能力。
**我们的主要贡献**:
- **组合槽令牌中的角色漂移**:我们发现了在严重遮挡下槽-部位对应关系中的角色漂移,这种漂移在编码器-解码器接口处会被放大,导致结构解码不稳定。我们引入了SlotRealign工具,在解码之前重新排序量化后的槽,证明了最小的接口干预可以带来可衡量且一致的结构一致性改进。
- **RealignMixer(零测试时间开销)**:我们提出了RealignMixer,这是一个在训练期间插入在码本输出和解码器之间的令牌协调模块。它通过软令牌混合来稳定槽的角色,同时保持令牌数量和维度不变。解码器在训练期间使用;测试时,前向路径与PCT基线相同,不会增加额外的测试时间计算。
- **基准测试和真实世界结构验证**:我们在COCO(GT-Box/Det-Box)和CrowdPose上使用标准指标进行评估,并在真实世界的路侧遮挡环境中通过不确定性框标注为不可见关节提供了结构导向的验证,测试预测结果是否在合理的范围内。
**部分代码片段**
在具有挑战性的视觉条件下,鲁棒的结构推理在视觉感知中被广泛认为是重要的,尤其是在观察不完整、模糊或退化时 [6]、[7]、[8]。相关研究探索了几种提高这种条件下鲁棒性的方法,包括提供更丰富的语义指导以强调有用线索 [9]、[10]、更强的结构细节和边界保留 [11]、[12],以及改进的优化方法。
**方法**
本节介绍了对“Pose as Compositional Tokens”(PCT)框架的遮挡鲁棒性扩展。我们的设计严格遵循原始的PCT流程,仅进行了最小的令牌级别调整,没有改变主干网络、令牌数量或令牌维度。如图1所示,我们关注VQ码本查找和编码器解码器之间的接口,其中量化后的槽令牌被用来生成最终结果。
**评估协议和指标**
我们在三种设置下进行了统一的模型配置对比:PCT(基线)、PCT + SlotRealign(探针)和PCT + RealignMixer(我们的方法)。我们采用了标准基准测试(COCO [35] 和 CrowdPose [37])上的官方评估协议,并对专注于遮挡的COCO子集进行了额外分析。此外,为了检验在真实世界重度遮挡下的结构合理性,我们构建了一个带有关节级别不确定性框的交通遮挡集。
**实施细节**
我们的目标是提高基于槽的组合令牌姿态解码器的遮挡鲁棒性。我们将PCT视为这一范式的代表实例,并保留其核心流程,包括Swin主干网络、槽注意力机制、VQ码本和解码器。所有修改仅限于令牌头和编码器-解码器接口,以便控制地研究令牌级别指导和令牌空间协调如何影响结构行为。
**结论**
本文从PCT框架下槽级(组合令牌)姿态表示中的令牌角色稳定性的角度重新审视了遮挡鲁棒的人体姿态估计。我们发现,在重度遮挡下,弱且灵活的令牌-部位对应关系可能会变得不稳定,这可能表现为解码后姿态中的令牌角色语义漂移和结构连贯性下降。我们进一步在GT-Box和Det-Box协议下验证了这种行为,以反映实际情况。
**关于生成式AI和AI辅助技术的声明**
在准备这项工作时,作者使用了ChatGPT(OpenAI)来提高手稿的语言表达性和可读性。使用该工具后,作者根据需要对内容进行了审查和编辑,并对发表文章的内容负全责。
**作者贡献声明**
张焕恒:写作——审稿与编辑、撰写初稿、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念化。
全顺坤:资源获取、项目管理、资金筹集。
金胜镐:写作——审稿与编辑、监督、方法论、资金筹集。
**资金来源**
本研究得到了韩国科技信息通信部(MINистерство Науки И Технологий Республики Корея)资助的商业化促进研发成果机构(COMPA)的支持(RS-2025-02634821)。该研究还得到了韩国国家研究基金会(NRF)基础科学研究计划的支持(RS-2023-00240109)。
**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
金胜镐报告获得了商业化促进研发成果机构(COMPA)的财务支持(RS-2025-02634821)和韩国国家研究基金会(NRF)的财务支持(RS-2023-00240109)。如果有其他作者,他们声明没有已知的财务利益或个人关系。
**致谢**
作者感谢岭南大学电子工程实验室的成员提供的有益讨论和技术支持。
张焕恒目前正在韩国庆尚南道的岭南大学攻读电子工程博士学位,他的研究兴趣包括深度学习、计算机视觉和人体姿态估计。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号