《Neurocomputing》：Improving scene knowledge visual grounding via coreference awareness and adaptive knowledge reallocation
编辑推荐：
摘要场景知识视觉定位（SK-VG）旨在定位由场景知识推导出的模糊指代表达所引用的目标图像区域。然而，现有方法由于复杂的共指关系和冗余的场景相关信息，难以有效利用此类知识。为缓解这些问题，我们提出了一种由多阶段任务特定优化驱动的端到端视觉定位框架，在该框架中，共指感知推理和自适
摘要
场景知识视觉定位（SK-VG）旨在定位由场景知识推导出的模糊指代表达所引用的目标图像区域。然而，现有方法由于复杂的共指关系和冗余的场景相关信息，难以有效利用此类知识。为缓解这些问题，我们提出了一种由多阶段任务特定优化驱动的端到端视觉定位框架，在该框架中，共指感知推理和自适应知识重分配被逐步协同优化以实现准确的目标定位。具体而言，我们首先为共指感知文本编码器（CATE）引入了一种多任务优化策略，联合优化共指消解和视觉定位，以强制共指提及与其关联的视觉区域之间的语义一致性。然后，我们为自适应知识重分配模块（AKRM）设计了一种定位引导的优化策略，利用从定位目标推导出的隐式监督信号来强调与目标定位相关的场景知识。最后，联合微调整个模型以整合两个模块实现精确的目标定位。在SK-VG上的实验结果表明，我们的方法优于现有方法，在需要复杂语义推理的实例上取得了9.54%的性能提升。我们的代码可在
https://anonymous.4open.science/r/DW-VG上获取。
引言
视觉定位（VG）旨在定位由自然语言描述所描述的图像区域，需要细粒度的模态内推理和精确的跨模态对齐。作为多模态理解的基本任务，VG已在涵盖各种定位场景的基准上得到了广泛研究，从具有完整指代表达的单目标定位到在复杂描述中对多个目标进行定位[20], [21], [40], [55]。基于大规模的边界框-文本标注，先进的VG方法在视觉-语言对齐方面取得了实质性进展。例如，对比学习已被探索用于将图像区域与文本短语对齐[17], [31]，而近期的研究进一步利用预训练的多模态模型来增强视觉-语言融合和表示能力[9], [51]。除了对齐之外，有效的视觉理解还依赖于判别性表示学习和适当的知识利用。例如，Akhtar等人[1]通过基于PLS的降维改进了特征表示，而Muslim等人[36]引入了领域知识以增强视觉信息质量。然而，传统VG数据集中的文本描述通常简短且直观，对复杂上下文和关系依赖的建模有限。因此，准确定位需要更深层次语义推理的对象仍然是一个重大挑战。
场景知识视觉定位[7]的引入旨在推动VG朝着对丰富上下文信息进行复杂推理的方向发展。在该基准中，目标物体由从场景知识中推导出的自由形式表达指定，这些表达省略了明确的视觉属性（例如类别或颜色），而是依赖于场景特定属性（例如身份或名称）。在这种知识密集的设置中，仅改进视觉-语言对齐是不够的，因为现有方法仍然难以同时解决文本共指关系并选择性地整合与任务相关的场景知识。如图1(a)所示，之前的方法通常使用通用文本编码器编码整段文本，这使其难以正确地从"husband（丈夫）"解析到"Kevin"的指代，同时抑制来自"woman（女人）"的无关线索。因此，这些方法定位到了类别正确但语义身份不正确的对象。LeViLM[7]利用自然语言处理（NLP）工具解析指代表达并将其消解为场景知识中的共指短语，然后通过短语-区域对齐进行定位。虽然引入了共指信息，但共指关系消解和视觉定位的分离处理阻止了模型学习直接针对目标定位优化的共指感知表示。VG-DLC[25]采用多步对齐框架将指代表达与相应的视觉内容关联起来。然而，由于未显式建模场景知识与目标的相关性，模型无法充分利用关键场景知识，并且仍然容易受到无关物体的干扰。
在本文中，我们提出了一种DETR风格的视觉定位框架，该框架在联合整合以实现准确目标定位之前，逐步学习共指感知推理和自适应知识重分配。为实现共指感知的文本理解，我们为共指感知文本编码器（CATE）引入了一种多任务优化策略，其中表示学习过程由视觉定位和共指消解联合引导。通过联合优化这两个目标，CATE在捕获共指感知语义关系的同时保持了用于目标定位的视觉-文本对齐。我们进一步为自适应知识重分配模块（AKRM）设计了一种定位引导的优化策略，其中定位目标通过端到端学习间接优化知识相关性估计。这使得AKRM能够将与目标定位相关的场景知识赋予更高的重要性，同时抑制无关信息。最后，CATE和AKRM在完整框架内进行联合微调以实现精确定位。如图1(b)所示，CATE专注于关联同一实体的不同提及，而AKRM专注于根据场景知识与指代表达的相关性对其进行重新加权。
总体而言，我们的贡献可以总结为：
- •
我们提出了一个用于SK-VG的统一端到端框架，通过在定位过程中逐步学习任务特定的推理能力来增强知识引导的定位。
- •
我们为共指感知文本编码器引入了一种多任务优化策略，该策略联合利用共指消解和视觉定位来强制文本引用与视觉区域之间的语义一致性。
- •
我们为自适应知识重分配模块设计了一种定位引导的优化策略，该策略使知识重分配能够强调与目标特定视觉属性相关的信息，同时减少无关噪声。
- •
我们的方法在SK-VG数据集上达到了73.48%的定位准确率，并在依赖于语义推理的样本上超越SOTA模型9.54%。
章节片段
视觉定位
视觉定位通常分为两个核心子任务：短语定位（PG）和指代表达理解（REC）。PG旨在将名词短语与其对应的图像区域关联起来，实现细粒度的短语级定位。早期研究[27], [39]主要通过联合嵌入或注意力机制学习直接的短语-区域对齐。后续工作进一步通过引入额外的视觉-语言监督和多任务学习来改进对齐的鲁棒性
我们的方法
在本节中，我们在3.1节中形式化研究问题，在3.2节中描述模型框架。3.3节共指感知文本编码的多任务优化和3.4节自适应知识重分配的定位引导优化分别呈现了CATE和AKRM的任务特定优化策略。3.5节描述了联合微调阶段。
数据集和评估指标
SK-VG。我们在SK-VG数据集[7]上训练和评估我们的模型，该数据集由4000张独特图像构建，包含8002个场景知识和35,659个指代表达。为了进行分析，测试样本被分为三个难度级别：简单样本包含清晰的视觉线索，中等样本包含较弱的视觉线索，困难样本需要场景知识进行消歧。
CIN?。原始CIN数据集包含带有详细叙述的图像，以及图像中对象的映射关系
结论
在本工作中，我们提出了一个统一的端到端视觉定位框架，该框架无缝整合了文本推理与视觉-语言对齐。通过引入共指感知文本编码器（CATE）和自适应知识重分配模块（AKRM），我们的方法实现了细粒度的共指建模和场景知识的自适应重分配，这两者对于应对基于场景知识的视觉定位挑战都至关重要。此外，所提出的
CRediT作者贡献声明
Chenglong Lei（雷成龙）：撰写 – 初稿，可视化，软件，方法论，形式化分析，数据管理，概念化。Chao Yang（杨超）：撰写 – 审阅与编辑，监督，资源，方法论。Bolin Zhang（张博林）：撰写 – 审阅与编辑。Hu Guo（郭虎）：方法论，概念化。Bin Jiang（姜斌）：监督。
利益冲突声明
作者声明他们没有已知的可能影响本文所述工作的竞争性财务利益或个人关系。
致谢
本工作得到了国家自然科学基金（资助号：62172156）的支持。
Chenglong Lei（雷成龙）于2020年获得中国山东泰安山东农业大学学士学位。目前，他正在中国长沙湖南大学计算机科学与工程学院攻读电子信息工程博士学位。他的主要研究方向包括视觉定位和视觉对话。他已在ICME、ICASSP、IEEE TGRS等会议上发表过论文。
Chenglong Lei|Chao Yang|Bolin Zhang|Hu Guo|Bin Jiang
