ReliGait-SSM：基于可靠性引导的层次化状态空间建模实现遮挡鲁棒的步态识别

《Neurocomputing》：ReliGait-SSM: Reliability-guided hierarchical state-space modeling for occlusion-robust gait recognition

　　

# 摘要

行人遮挡可能仅持续几帧，但即使完全恢复可见后，时序步态表示仍会持续退化。我们将这种残余影响定义为状态污染：被损坏的观测进入持久状态后，会持续影响后续的干净观测。ReliGait-SSM通过层次化轮廓编码器解决了由此产生的状态接纳和状态保留问题。其部件-时序可靠性估计器（PTRE）从前景完整性、时序一致性、跨层次一致性和层次表示中预测全身、上肢和下肢观测的可靠性。可见前景比例在训练期间提供校准锚点，但并非等同于识别效用。由此产生的可靠性控制当前观测的接纳、历史状态的保留以及层次融合。可靠性约束的写入门在状态形成之前限制损坏输入，而有效时间常数门在暂时性退化期间保守更新近期可靠状态，并在退化持续时逐步释放陈旧信息。在CASIA-B上，该模型在标准协议下获得94.60%的平均Rank-1，在七种场景的受控遮挡下平均为89.71%；在Gait3D上，获得74.60%的Rank-1和66.10%的mAP。相对于实例化的H-SSM骨干网络，遮挡后的状态污染面积从0.126降至0.045，状态恢复长度从12.40帧降至4.20帧。仅前向部署变体保留了相同的可靠性控制机制，在动态遮挡下达到87.30%的Rank-1，每帧增量延迟仅0.26毫秒。这些测量结果表明，可靠性是时序状态形成的控制变量，而不仅仅是最终特征的权重。

# 引言

行人可能仅被遮挡几帧，但时序步态模型在人员完全恢复可见后仍可能持续退化。这种行为不同于视觉证据的即时丧失：在循环网络和状态空间编码器中，被损坏的观测可以被写入内部状态，并持续影响后续的干净帧。我们将这种残余的时序影响称为状态污染。因此，遮挡鲁棒的步态识别不仅需要关注当前帧中保留了多少证据，还需要考虑不可靠的证据是否应该进入时序状态，以及此前可靠的信息应保留多长时间。

近期步态识别已超越了传统的集合池化和局部部件建模。MambaGait通过显式空间表示场和时序窗口Mamba建模丰富了稀疏轮廓[1]；HAMGait将注意力与Mamba转换结合，实现互补的局部和长程动态[2]；Gait Transformer开发了用于短程和长程时空交互的端到端Transformer骨干网络[3]；GaitSnippet通过跨多时序尺度的个性化运动片段表示序列[4]。生成式和语义方法扩展了表示空间：CoD2将判别式识别与基于扩散的生成耦合[5]，Origins学习统一的生成式步态模板[6]，词汇引导的步态识别引入了语言级的步态周期概念[7]。这些方法增加了表示能力和时序覆盖范围，但表示能力本身并不能决定进入持久状态的信息是否可靠。

遮挡感知方法从观测侧解决了一个相关问题。重建方法恢复缺失的轮廓或身体结构；部件和层次方法保留可用的局部证据；可见性引导方法估计哪些区域仍可贡献信息。MimicGait将可见性估计与相关性知识蒸馏结合[8]，而RobustGait刻画了损坏类型、严重程度、轮廓提取和模型架构之间的交互关系[9]。这些方法中的可见性和质量信息主要用于指导重建、蒸馏、特征精炼或最终证据分配。一旦不可靠的观测已经改变了循环状态，减少其输出权重无法追溯性地移除该扰动。

这一问题对于选择性状态空间模型尤为相关。输入依赖的动态在观测信息丰富时是有用的，但内容选择性并不等同于可靠性感知。在轮廓损坏的情况下，异常token既作为状态输入，又作为生成选择性参数的证据。内容响应机制可能因此对损坏做出强烈响应，而由此产生的错误可能在遮挡消失后仍然存在。现有的视觉和步态SSM主要改进了序列化、双向上下文、局部/全局交互或表示能力；对损坏接纳和遮挡后状态持久性的显式控制仍然有限。

因此，我们将遮挡鲁棒的状态空间步态识别表述为状态接纳和状态保留问题。损坏的观测应具有有限的权限来修改身份状态；在暂时性损坏期间，近期可靠信息应被保守保留；当损坏持续时，陈旧信息应逐步释放。

ReliGait-SSM在全身、上肢和下肢的时序层次上实现了这一表述。轻量级部件-时序可靠性估计器（PTRE）从前景完整性、时序一致性、跨层次一致性和层次表示中估计每个层次特定观测的可靠性。从已知合成掩膜导出的可见前景比例在训练期间锚定可靠性尺度，而识别损失提供任务依赖的梯度。可靠性随后控制写入门、有效时间常数保留门和层次融合。写入门在状态形成前限制不可靠的当前证据；保留机制在暂时性退化期间保护近期积累的状态，并在低可靠性持续时逐步放宽。

评估涵盖标准CASIA-B和Gait3D协议、跨位置/前景覆盖率/持续时间和运动模式的受控遮挡、与近期通用方法和遮挡定向方法的比较、匹配可见性分析、极端层次冲突、状态污染和恢复诊断、超参数交互、群体级门动态以及仅前向部署设置。状态污染面积和状态恢复长度量化了输入恢复干净后的残余损伤。

**鲁棒性范围。** 当前实例化操作针对轮廓，目标是下游状态鲁棒性：不完美的轮廓证据是否进入身份状态并持续存在于其中。RGB模糊、传感器噪声、光照变化和压缩可能通过前景提取器被非线性变换，而这些上游效应不能被受控轮廓掩膜精确复现。Gait3D包含自然不完美的轮廓，但其上游因素无法被单独隔离。当前PTRE也使用轮廓特定的完整性和层次线索；迁移到RGB、深度、骨骼或多模态输入需要模态特定的可靠性定义和校准。

贡献总结如下：

1. **状态污染作为遮挡失效模式。** 我们将时序局部损坏表述为循环和选择性SSM步态编码器中的状态接纳和状态保留问题。

2. **可靠性控制的状态形成。** 可见性锚定的部件-时序可靠性调节当前观测接纳、历史状态保留和层次融合，在状态形成之前和期间进行干预，而不仅仅是重新加权最终特征。

3. **机制导向的鲁棒性分析。** 在明确分离的协议中报告了标准识别、遮挡特定比较、匹配可见性相关性、状态恢复、门动态、参数交互和因果部署。

# 从步态表示到长程序列建模

基于外观的步态识别已从静态模板转向建模身份信息如何在身体区域和时序尺度上分布。GaitSet在不显式时序排序的情况下聚合变长观测[10]；GaitPart强调局部微运动[11]；GaitGL和层次模型结合整体和身体部件证据[12]、[13]。这些设计在退化空间局部化时保留了可用的身份线索，但它们主要控制

# 问题表述与动机

设表示轮廓序列，其损坏副本通过受控训练和评估中的已知掩膜获得。识别模型将任一序列映射到身份嵌入。我们不关注重建缺失像素，而是关注局部观测误差进入循环状态后如何获得时序持久性。对于身体层次，局部线性化给出

其中是从到的累积状态转换，总结了额外的

# 实验目标与研究问题

本节报告标准识别准确率、受控遮挡鲁棒性、可靠性估计质量、状态污染和恢复度量以及计算效率。受控比较使用相同的轮廓输入、数据划分、训练调度和遮挡增强。干净-遮挡-恢复序列还总结了写入门、历史可靠性轨迹、有效时间常数和残余状态轨迹。

实验旨在回答

**状态控制与特征重新加权。** 特征重新加权改变编码观测的贡献，但不改变已经进入循环状态的扰动。可靠性控制的接纳更早介入，有效时间常数调制还额外改变了近期积累信息的保留方式。匹配内容门、特征重新加权、仅写入和保留公式分离了这些干预阶段。这种区分是计算性的而非语义性的：相同的

# 结论

ReliGait-SSM将时序步态编码器中的遮挡视为状态接纳和状态保留问题。部件-时序可靠性从轮廓可见性和上下文线索中校准，随后用于限制当前观测写入、调节有效状态时间常数并约束层次融合。该方法保持在仿射选择性扫描结构内，在所有受控变体中使用相同的实例化H-SSM编码器和时序池化。

标准协议结果

**CRediT作者贡献声明**

Ke Wang：撰写——初稿、可视化、验证、方法论、调查研究、数据整理、概念构思。Hua Huo：撰写——审阅与编辑、监督、资源、项目管理、资金获取。

**资助**

本工作部分由国家自然科学基金委员会（61672210）、河南省重大科技专项（221100210500）和河南省中央引导地方科技发展资金计划（Z20221343032）资助。

**利益冲突声明**

作者声明他们不存在可能影响本研究报告工作的已知竞争性财务利益或个人关系。

**致谢**

作者感谢CASIA-B和Gait3D数据集的维护者提供公共基准资源用于步态识别研究。

Ke Wang于2012年获得郑州大学计算机科学与技术学士学位，2017年获得兰州理工大学计算机技术硕士学位。自2023年起，他在河南科技大学从事模式识别与智能系统博士研究。自2018年起，他在河南省远程教育人工智能技术与应用工程研究中心工作。

Ke Wang | Hua Huo
河南科技大学信息工程学院，河南洛阳，471023