《Pattern Recognition》：Motion2Motion: Learning Human Pose Refining in Videos without Ground Truth Label
编辑推荐：
本文提出无监督的M2M框架，通过检测抖动帧并利用相邻帧信息重构运动，有效提升人体姿态估计的流畅性和准确性，在多个数据集上达到与监督方法相当的性能且无需标注数据。
文振宇|李雄|吴旭东|陈敏杰|洪震|段浩然|张晓琴
中国浙江工业大学网络空间安全研究所与信息工程学院
摘要
人体姿态估计的后处理技术可以提高准确性和稳定性，这在运动分析、人类行为识别和虚拟现实等领域具有重要意义。现有方法通常依赖监督学习来训练深度网络以平滑姿态序列。然而，这些方法在处理未见过的姿态时泛化能力有限，并且通常需要大量标记数据进行重新训练，这成本很高。为了解决这个问题，我们提出了Motion2Motion（M2M），它引入了一个无监督的时间细化网络来重建姿态序列中的抖动帧。在M2M中，每个关节被视为一个独立的处理单元，并且模拟不同时刻之间关节的时间交互，以捕捉人类运动的内在特征，从而保持运动的自然流畅性。在四个基准数据集上进行的全面实验涵盖了2D、3D和SMPL姿态细化任务，结果表明M2M在消除抖动和偏差误差方面的性能可与最先进的监督方法相媲美。这些结果验证了M2M的有效性和通用性，突显了其作为一种低成本、即插即用模块的潜力，可以显著增强现有姿态估计器的鲁棒性。
引言
人体姿态估计（HPE）是一种经典的计算机视觉任务，常用于分析视频并自动跟踪人体关键点的位置和姿态。近年来，深度学习的发展在HPE领域取得了显著成就。然而，由于光照变化和运动模糊等多种因素，运动检测的不一致性仍然是一个持续的挑战[1]，[3]。如图1所示，这种不一致性可能表现为数字化身在连续帧中的身体部分出现明显的“抖动”。这阻碍了后续任务（如人体轨迹跟踪和运动识别）获得稳定的输入，从而导致性能下降。
为了解决这个问题，研究人员提出了多种解决方案。早期的尝试主要依赖于经典的低通滤波器，例如移动平均[4]、Savitzky–Golay [5]、高斯[6]和One-Euro [2]滤波器，它们通过平滑姿态序列来抑制突然的抖动。虽然这些方法简单且不需要训练数据，但它们在推理过程中手动调整的参数是固定的，往往会导致过度平滑或在不同运动模式下的性能不一致。为了克服这些限制，开发了基于学习的方法。一些方法从输入视频中提取特征，并使用各种策略整合时空信息，从而减轻抖动帧中的特征退化并提高复杂环境中的姿态估计精度[7]，[8]，[9]，[10]，[11]。其他研究人员设计了专门的姿态细化网络，如SmoothNet [12]，它利用帧之间的相对运动线索来适应性减少抖动。然而，这些方法通常在训练期间需要真实标签作为监督信号。
然而，对于许多下游任务来说，真实标签并不总是可用的。为了解决这个挑战，本文旨在回答以下研究问题：是否可以在没有真实标签的情况下细化姿态？受[13]的启发，我们的关键思想是训练神经网络从不同噪声条件下的相同姿态中恢复无噪声的姿态。我们提出了一个名为Motion2Motion（M2M）的新框架来细化HPE。我们的框架首先利用运动连续性的原理来识别和过滤姿态估计结果中的抖动帧。随后，它通过整合相邻帧的信息来捕捉关节运动模式，并为移除的抖动帧提供粗略估计。这些粗略估计与估计器的原始姿态输出一起被视为具有两种不同噪声的真实标签，用于训练姿态细化网络。与之前的工作[7]，[8]，[9]，[12]不同，M2M不模拟抖动帧中关节位置之间的噪声相关性。我们的主要目标是尽可能减少抖动并提高身体运动的整体流畅性。
本文的主要贡献如下：
•我们开发了一个无标签的人体姿态细化框架来解决姿态估计中的抖动问题。这个创新框架由两个主要组成部分构成：一个抖动帧过滤模块和一个运动感知模块。
•抖动帧过滤模块利用相似性测量来检测抖动帧，然后利用相邻帧的关键点位置数据来粗略估计它们的关键点。
•我们的运动感知模块旨在捕捉特定时间段内人体关节的运动模式。这大大提高了神经网络的学习效率。
•据我们所知，我们的方法是第一个旨在减少人体运动抖动的无标签方法。我们方法的一个显著优势是它与各种估计器的兼容性，这突显了其广泛的应用范围。我们在多个数据集上进行了广泛的实验，包括H36M、PW3D、MPI-INF-3DHP和AIST++。我们的发现表明，我们的方法不仅超过了其他无监督的、基于滤波器的技术，而且性能也与监督方法相当。
本文的结构如下：在第二节中，我们全面回顾了各种抖动缓解方法。第三节描述了问题并阐述了相关的理论背景。接下来，在第四节中，我们介绍了旨在提高人体姿态估计（HPE）性能的M2M框架。第五节对我们的方法的有效性进行了评估，并与最先进的方法进行了比较。最后，在第六节中，我们总结了我们的发现并探讨了未来的前景。
相关工作
相关研究
现有的抖动缓解解决方案可以分为两类：端到端解决方案和后处理解决方案。
问题陈述
在标准的姿态估计任务中，首先使用姿态估计器从视频中提取一系列人体姿态，生成如下序列（x1，x2，...，xn）...）。然后将该序列输入到后续任务中。然而，估计器的抖动输出常常会损害这些下游任务的性能。为了解决这个问题，我们建议在估计器之后加入一个姿态细化网络，以生成更准确的输出并减轻抖动
方法
真实的人体运动在速度、加速度和更高阶的运动学量上表现出连续性和平滑性。然而，现有的基于单帧的HPE方法往往忽略这些时间约束，导致抖动、突变甚至物理上不合理的轨迹。为了解决这个问题，我们设计了M2M，它包含两个互补的组件。抖动帧过滤模块明确移除了违反连续性原则的帧，而运动感知模块则利用
实验环境
我们使用PyTorch 1.13.1在运行Ubuntu 20.04 LTS的计算机上实现了M2M插件。系统配备了AMD Ryzen 7 5800X CPU和单个NVIDIA GeForce RTX 3090 GPU。
主干网络
我们进行了广泛的验证来评估我们新提出的M2M的细化能力。该评估包括三个相互关联的任务，我们为每个任务使用了各种备受推崇的主干模型，包括Hourglass [25]、RLE [26]、CPN [27]、HRNet [1]、SPIN [28]等
讨论
抖动帧检测的可靠性。我们的抖动帧过滤模块依赖于速度向量之间的余弦相似性来识别抖动。虽然这种策略通常有效，但当多个连续帧在同一方向上显著偏离时，它可能会错误地将抖动视为有效运动。然而，我们观察到，这种情况在使用最先进的姿态估计器时很少发生，因此我们方法的整体鲁棒性是
结论
在这项研究中，我们介绍了M2M，这是一种新颖的姿态细化网络，旨在利用现实世界物理运动的洞察力，从而提高现有姿态的精确度和流畅性。与当前方法相比，M2M可以在没有任何真实标签的情况下进行训练，从而大幅节省了劳动密集型的注释成本。此外，M2M在长时间内有效减少抖动方面表现出色，并且它能够
CRediT作者贡献声明
文振宇：概念化、调查、撰写——原始草稿。李雄：调查、方法论。吴旭东：验证、撰写——审阅与编辑。陈敏杰：数据整理、方法论。洪震：形式分析、监督、撰写——审阅与编辑。段浩然：撰写——审阅与编辑。张晓琴：撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
