摘要
人体动作理解旨在检测视频中的动作实例并对它们进行分类。现有方法通过时序特征聚合或基于注意力的交互来捕获上下文依赖。然而，这些方法主要依赖视觉特征来建立关系，容易受到背景内容或无关动作帧的干扰。为了解决这一局限，我们提出了混合因果动作推理（HCAR），一个用于建模动作提案之间因果相关性的框架。具体而言，我们设计了混合因果感知注意力（HCAA）来细化提案类别的语义表示。为了进一步刻画相邻提案之间的关系，一个有序关系分支按时间顺序评估细化后的表示，而一个双曲分支则在庞加莱球中度量动作类别之间的层次语义相关性。这些分支的输出被结合起来以获得因果相关性得分，随后用于细化动作提案。在THUMOS14和ActivityNet-1.3上的大量实验证明了我们HCAR的有效性。
