编辑推荐:
现有重复动作计数研究中,姿态级方法存在局限,难以有效捕捉关节间关系及局部细节。为此,研究人员提出 BIGC-Net,含 GIFL-Module 和 SIFL-Module。实验表明其在多数据集表现优异,为该领域提供新方向。
在运动训练、智能监控等领域,精准的重复动作计数至关重要。然而,现有方法面临诸多挑战:视频级方法依赖 RGB 特征,受背景干扰且计算成本高;姿态级方法虽引入人体姿态估计,却多聚焦关节间远程依赖,忽视基于人体自然拓扑的部位内局部细节与部位间交互,导致难以捕捉复杂动作变化和细微差异,限制了计数精度。
为突破上述瓶颈,研究人员开展了相关研究。不过文档中未明确提及研究机构,其提出一种名为 BIGC-Net(人体部位间 - 内部图卷积网络)的创新方法,旨在通过图卷积网络(GCN)建模人体部位的局部与全局关系,提升重复动作计数的准确性。实验表明,该方法在 RepCount-pose、UCFRep-pose 和 Countix-Fitness-pose 等挑战性数据集上表现出色,为该领域提供了更高效的解决方案,相关成果发表在《Engineering Applications of Artificial Intelligence》。
研究主要采用以下关键技术方法:首先利用预训练的 Blazepose 提取视频中的姿态关键点序列;然后通过 BIGC-Net 模型构建特征与动作类别的映射关系,生成类别分数;最后借助 Action-trigger 机制,基于类别分数预测重复动作次数。其中,BIGC-Net 包含两个核心模块:GIFL-Module(全局部位间特征学习模块)通过图注意力机制捕捉子图间的全局协作依赖,实现全局信息整合;SIFL-Module(显著部位内特征学习模块)聚焦子图内的图注意力操作,捕捉细粒度特征和依赖关系,保留关键局部变化并识别最显著运动特征。
研究结果
基于人体自然拓扑,将关节划分为多个部位,每个部位视为子图形成整体图结构,动作执行依赖子图间协作。通过 GIFL-Module 分析子图间全局协作关系,实验证明该模块可有效整合不同子图信息,提升对动作整体趋势的描述能力。
将关节划分为子图后,可能忽略子图内局部细节变化。SIFL-Module 通过子图内的图注意力操作,捕捉细粒度特征和依赖关系,在如引体向上、前平举等需关注局部细微动作的场景中,显著提升了对关键局部特征的捕捉能力。
在 RepCount-pose、UCFRep-pose 和 Countix-Fitness-pose 数据集上的实验显示,BIGC-Net 在重复动作计数任务中取得了优异性能,验证了其有效性和鲁棒性。
研究结论与讨论
BIGC-Net 创新性地将人体部位作为子图,结合 GCN 建模局部与全局关系,解决了现有姿态级方法忽视部位内细节和部位间交互的问题。GIFL-Module 与 SIFL-Module 的协同作用,使模型既能捕捉子图间的全局协作,又能聚焦子图内的局部细节和显著特征,实现了对动作执行过程的更精准建模。该研究为重复动作计数领域提供了新的思路和方法,提升了计数精度,在运动分析、智能监控等实际应用中具有重要价值,为后续相关研究奠定了基础。