具有高质量伪标签的双分支点监督动作检测网络

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Dual-Branch Point-Supervised Action Detection Network with High Quality Pseudo-Labels

提出了一种双分支架构，结合高质量伪标签生成机制、注意力引导的标签传播机制和全局完整性约束，有效解决点监督时空动作检测中伪标签稀疏和时空信息利用不足的问题，实验验证其优于现有方法。

　　

摘要

基于点监督的时间动作检测方法依赖于稀疏的时间戳注释，从而降低了完全监督方法所需的注释成本。然而，由于以下两个原因，点监督方法与完全监督方法之间仍存在差距：i) 伪标签的稀疏性；ii) 时间信息的利用不足。我们提出了一种采用高质量伪标签的双分支架构来缩小这一差距。具体而言，本研究包括以下内容：1) 一种基于注意力引导的标签传播机制，该机制通过结合Transformer生成的注意力图来补充伪标签；2) 一种基于Mamba的伪标签生成机制，该机制增强了局部时间模式的识别能力，从而提高了伪标签的可靠性；3) 一种全局完整性约束，用于确保时间一致性和动作的连贯性。在三个基准数据集上的广泛实验验证了我们方法的优越性，使其在点监督设置下达到了业界领先的性能。