利用层次相关学习提升少样本条件下的人体对象识别能力

《IEEE Transactions on Circuits and Systems for Video Technology》：Boosting Few-Shot Human-Object Recognition with Hierarchical Correlation Learning

人类-物体交互（HOI）少样本识别中，现有方法依赖粗粒度全局视觉信息构建原型，难以捕捉细粒度交互语义和低类间方差数据。本文提出FS-HOI模型，通过层次化关系网络整合多粒度交互线索，利用统一图网络捕捉上下文关联，结合语言引导注意力挖掘交互子图语义，并引入对比学习机制增强类间区分能力。实验在三个数据集上验证，模型显著优于基线方法，各组件有效性通过消融实验确认。

　　

摘要：

在计算机视觉中，利用稀缺数据识别新型的人机交互（HOI）类别是一项具有挑战性且至关重要的任务。现有方法主要依赖粗粒度的全局视觉信息来构建元学习中的类别原型。尽管这些方法取得了有希望的结果，但它们往往无法捕捉到细粒度的交互语义，并且难以有效学习类别间方差较小的数据，从而导致在区分相似类别时的性能不佳。为了解决这些问题，我们提出了一种名为分层关系网络（FS-HOI）的新模型，用于少样本人机交互识别。该模型整合了从粗粒度到细粒度的多级交互线索，以增强人机交互特征。它采用统一的图网络来捕捉人体各部分之间的内在和外在关系，并通过语言引导的注意力机制在每个交互子图中进行语义挖掘。与依赖全局类别原型比较的传统方法不同，我们的方法通过整合对比机制来推进度量学习，利用丰富的实例对作为比较参考，有效应对类别间的方差问题。此外，图关系网络利用了对未知人机交互的先验知识，将任务特定的特征嵌入到对比实例中。我们的方法在三个少样本人机交互数据集上达到了新的最佳水平，性能大幅提升，并通过消融研究验证了每个组件的有效性。