KnowZRel：基于常识知识的零样本关系检索实现广义场景图生成

《IEEE Transactions on Artificial Intelligence》：KnowZRel: Common Sense Knowledge-Based Zero-Shot Relationship Retrieval for Generalized Scene Graph Generation

本文推荐一种神经符号方法KnowZRel，通过整合数据驱动的目标检测与异构知识图谱关系检索，解决场景图生成(SGG)因训练数据不平衡导致的泛化能力不足问题。研究利用Faster RCNN检测目标，结合CSKG嵌入优化目标定位，最终在Visual Genome数据集上实现零样本召回率(zR@100)59.96%的提升，证实了异构常识知识对未知视觉关系预测的有效性。

　　

视觉推理作为人工智能的核心能力，其性能高度依赖于对图像内容的结构化理解。场景图生成(Scene Graph Generation, SGG)技术通过将图像解构为以目标为节点、关系为边的图结构，为高阶视觉任务提供语义支撑。然而现有SGG方法面临根本性挑战：视觉基因组(Visual Genome, VG)等基准数据集存在关系谓词的严重长尾分布，导致模型过度拟合高频泛化关系（如"on"、"has"），而忽视具有实际意义的特定关系（如"riding"、"wearing"）。这种数据偏差极大限制了模型对未见过关系的泛化能力，特别是在零样本场景下。

针对这一瓶颈，M. Jaleed Khan团队提出KnowZRel——一种融合数据驱动与符号推理的神经符号(Neurosymbolic)方法。该方法创新性地将深度目标检测与异构常识知识图谱(Common Sense Knowledge Graph, CSKG)检索机制松散耦合，通过知识嵌入的语义相似度计算实现零样本关系预测。研究发表于《IEEE Transactions on Artificial Intelligence》，在标准VG数据集上取得零样本召回率(zR@100)35.65的突破性成绩，较现有最优方法提升59.96%。

关键技术方法包括：1) 采用Faster RCNN与ResNeXt-101-FPN骨干网络进行目标检测，结合交并比(IoU)和CSKG嵌入余弦相似度实现目标冗余消除；2) 基于KGTK工具包查询CSKG获取关系三元组，通过ComplEx嵌入模型计算节点语义相似度；3) 设计阈值机制(τ_iou=0.5, τ_sim=0.8)过滤无关关系，最终构建包含直接关系与背景知识的场景图。

对象检测与优化

通过Faster RCNN检测获得初始目标边界框与类别标签后，算法计算每对目标的IoU重叠度与CSKG嵌入余弦相似度。当任一指标超过阈值时，判定为冗余目标并进行剔除。该优化使目标检测mAP在VG数据集上从0.28提升至0.44（增幅57.1%），在GQA数据集上从0.24提升至0.39（增幅62.5%），显著提升后续关系检索精度。

零样本SGG评估

在VG测试集上，方法在zR@20/50/100指标分别达到14.22、25.43、35.65。值得注意的是，除"with"、"and"等复杂谓词外，大多数关系谓词的召回率不受数据集分布影响，证明方法有效克服了数据偏差。余弦相似度阈值实验表明，当τ=0.8时达到最优平衡，过低阈值引入噪声，过高阈值则丢失有效关系。

基准对比分析

与17种主流方法对比显示，KnowZRel在零样本设置下全面领先。相较基于ConceptNet的COACHER方法(zR@100=22.22)，本方法提升59.96%；相比纯数据驱动的T-CAR(zR@100=6.0)提升近5倍。异构知识图谱的多样性知识供给是性能突破的关键，CSKG集成七大规模知识源，提供更全面的常识知识覆盖。

知识图谱与嵌入模型对比

在知识源选择中，CSKG以zR@100=35.65显著优于ConceptNet(26.33)和WordNet(15.39)。嵌入模型评估表明，ComplEx凭借其对复杂多维关系的表征能力，效果优于DistMult、TransE和RESCAL模型。这验证了复杂值嵌入对常识知识中隐含关系的捕获优势。

研究结论表明，神经符号集成是解决SGG数据偏差问题的有效路径。通过松散耦合深度学习与符号推理，KnowZRel既保留数据驱动的检测精度，又引入常识知识的推理能力，为广义视觉推理奠定基础。未来工作将探索多跳知识推理、上下文感知机制等方向，进一步提升零样本关系预测的实用性与鲁棒性。该方法在GQA数据集上的跨数据集验证结果（zR@100=29.56），也证实其具备良好的迁移泛化能力。