基于自适应图卷积神经网络的知识图谱多跳问答方法

《Symmetry》：A Knowledge Graph Multi-Hop Question Answering Method Based on Adaptive Graph Convolutional Neural Networks

　　

多跳问答（MQA）要求模型执行多步推理并整合多个知识源。然而，现有结合预训练语言模型（PLMs）和图神经网络（GNNs）的方法常常存在计算效率低、深层语义融合不足以及异构关系建模不均衡等问题。为解决这些问题，研究人员提出动态分层自适应图卷积网络（DHACNet）。首先，为应对计算效率不足和特征可解释性欠缺的问题，研究人员引入动态稀疏激活（DSA）。通过可训练的门控单元为编码器输出生成重要性掩码，仅保留与任务相关的神经元，从而大幅降低计算负担并增强模型决策的可解释性。其次，为缓解深层语义融合不足的问题，研究人员设计分层特征融合（HFF）机制，对不同层的隐藏状态进行自适应加权融合，增强对深层文本语义的提取与表示能力。此外，在图结构建模方面，研究人员提出自适应图卷积（AGC），为图中不同类型的边分配可学习的权重，从而改善异构关系建模。最后，引入分层图池化，结合注意力机制与Top-K选择实现高效稳健的图级表示。实验结果表明，研究人员提出的模型通过自适应分层融合与关系感知图传播保持了文本表示与图表示之间的对称性（symmetry）。这种对称性感知的推理过程促进了多跳推理过程中的语义一致性，使知识整合更加稳健。

## 一、研究背景与动机

多跳问答（MQA）是自然语言处理（NLP）中的重要问题，其核心难点在于答案无法通过单次语义匹配直接获得，模型需在文本中定位证据、通过多步推理将其关联，并借助外部知识库或文本中的结构化知识推导最终答案。预训练语言模型（PLMs）提供强大的上下文表示能力，而图神经网络（GNNs）擅长建模文本中的实体及其关系的结构化信息，二者的结合是增强MQA推理能力的常见途径。在知识图谱问答（KGQA）中，跳数（hop）指从与问题相关的头实体到对应答案的尾实体路径中的边数，MQA意味着需遍历知识图谱三元组的两条及以上连续边以通过多步推理找到答案实体。

然而，现有PLM与GNN结合的MQA方法面临诸多挑战：一是计算效率问题，深层PLM编码器和迭代式GNN消息传递均需大量计算，处理长文本或大型知识子图时参数量和推理时间急剧增加；二是特征可解释性不足，PLM作为黑盒编码器、GNN间接传递信息，难以追溯导致预测答案的推理过程；三是深层语义融合不充分，大多数技术仅使用顶层表示或通过简单求和混合浅层与深层特征，无法自适应地精准组合层级语义信息；四是异构关系表示困难，文本子图包含实体关联、语义依存、逻辑关系等多种边类型，而常规图卷积方法对不同边类型分配同等权重，难以区分不同重要程度的关系，且子图池化精度不足，影响整体答案准确性。

基于此，研究人员提出DHACNet框架，旨在通过自适应优化解决上述问题。与现有图注意力网络（如GAT、QA-GNN）及传统层级层融合方法不同，DHACNet不依赖稠密均匀的特征交互或顶层表示的静态求和，而是基于样本进行自适应优化。

## 二、主要技术方法

DHACNet包含四个核心模块：（1）动态稀疏激活（DSA）模块，实现计算高效的细粒度特征选择；（2）分层特征融合（HFF）机制，聚合语言模型各层的语义信息；（3）自适应图卷积（AGC）层，在异构知识图谱上执行关系感知信息传播；（4）分层池化器（Pooler），生成稳健的图级表示。实验在三个标准数据集上进行：CommonsenseQA（常识推理）、OpenBookQA（科学知识）和MedQA-USMLE（专业生物医学知识，研究人员从XYWY网站构建多关系医学知识图谱，含24,563个实体节点和44,561条关系边）。基准PLM采用RoBERTa-large，医学数据集使用SapBERT。GNN设置5层消息传递、隐藏维度100、2个注意力头。优化器采用AdamW，根据不同数据集特性设置差异化学习率，应用线性预热调度，最大100 epoch配合15 epoch早停策略。

## 三、研究结果

**主实验性能比较**。在CommonsenseQA数据集上，RoBERTa-large基线准确率为68.69%，图增强模型均有提升，QAGNN在K=1时达75.43%，DHACNet进一步提升至76.63%；K=2至K=4的更难多跳设置下，DHACNet仍保持明显优势。在OpenBookQA上，RoBERTa-large基线为 Hatchi为64.80%，DHACNet达68.92%（K=1）和58.02%（K=2），均为最优。在MedQA-USMLE上，GCON、RN、MHGRN等图推理模块表现不及基线，可能因未能很好融合领域特定表示；QAGNN提升至38.7%，DHACNet达40.3%，为最佳结果。MRR（平均倒数排名）和Hits@k指标显示，DHACNet在各数据集上均获得较高排名分数，Hits@10表明正确答案常位居候选列表前列；MedQA-USMLE上排名性能低于另两个数据集，可能与医学领域术语专业性、知识密集度及复杂推理路径有关。

**消融实验**。固定跳数K=1，逐步添加模块："Nothing"基线（移除所有模块）在三个数据集上准确率分别为75.43%、68.20%、38.7%。添加DSA后依次提升至75.43%→75.85%、68.20%→68.35%、38.7%→39.2%；继续添加HFF后达76.25%、68.68%、39.8%；完整模型再加入AGC后达76.63%、68.92%、40.3%。结果表明三个模块在不同推理场景中贡献互补：DSA通过稀疏掩码抑制冗余特征；HFF实现跨层语义整合；AGC增强结构化知识利用，且模块间形成耦合处理级联而非简单并行叠加。

**训练过程分析**。训练损失与开发集准确率曲线显示：初始阶段（0-20 epoch）训练损失快速单调下降、Dev Acc陡峭上升，表明模型能有效匹配上下文文本表示与知识子图骨架；约20 epoch后曲线趋于平缓，参数逐渐稳定。至关重要的是，迭代至100 epoch时Dev Acc未出现明显过拟合趋势，这归因于联合目标函数中L₁范数稀疏性惩罚对DSA门控分数的正则化作用，以及HFF的Softmax归一化层权重平衡浅层与深层信息、AGC的关系依赖注意力权重规范化不同实体边类型上的消息传递。

**计算复杂度分析**。设PLM编码器共L层变换器、序列长度S、隐藏特征维度H，知识子图含N个实体节点和M条边。标准稠密基线中，跨层文本聚合和关系感知图卷积（AGC）产生繁重矩阵乘法依赖，K层图消息传递需O(K·M·H²)时间。DSA通过可学习门控网络和稀疏正则化损失L_sparse，使有效输入张量维度降至稀疏子空间，缩放系数为ρ（平均神经元激活比率）。标准结构需O(L·S·H²)内存存储中间多层隐藏足迹和稠密节点表示，DHACNet虽引入O(H)轻量门控层参数开销，但Hadamard积零化大量梯度路径，激活张量缓存体积降至ρ比例，显著缓解全量微调时的内存瓶颈。

**案例与定性分析**。以CommonsenseQA中露营储水问题为例，候选选项为lake、backpack、canteen、river。传统稠密模型均匀激活所有特征坐标，嵌入冗余地理噪声；DSA模块下约76%无关神经元坐标被动态置零，激活通路主要关联临时储水容器与户外活动语义簇。AGC在消息传递中给予canteen-活动装备关联边更高权重，图池化阶段自注意力池化器对canteen概念节点赋予最高归一化权重0.68，Top-K选择保留canteen和camping，去除lake、river等边缘节点，形成从camping到activity gear再到canteen的紧凑推理路径。

## 四、讨论与结论

DHACNet整合动态稀疏激活（DSA）、分层特征融合（HFF）和自适应图卷积（AGC），在CommonsenseQA、OpenBookQA和MedQA-USMLE上均优于基线方法。消融研究证实三个模块各自对最终预测性能有积极作用，但在部分数据集上提升幅度不显著。

DSA旨在协调PLM+GNN结构中的特征选择与计算成本，根据每个问答实例评估神经元重要性并自适应选择特征组合，减少冗余隐藏特征。但效率相关结果需谨慎对待：当前实验主要集中于预测精度和模块级消去，计算优势应视为架构性和定性观察而非直接的时间节省证据，推理延迟、GPU内存占用和FLOPs将在后续工作中进一步研究。

HFF通过自适应汇总PLM各层隐藏状态实现层级语义信息利用，而非仅依赖最终层表示；AGC通过融入关系感知图传播，使模型在知识图谱推理中对不同关系类型赋予差异化重要性。二者从前表示和结构化推理的多视角辅助语义表示，与对比分析中的渐进改进相符。

从可解释性角度，DHACNet无法消除基于PLM推理的黑盒特性，其可解释性主要依赖DSA获得的稀疏掩码、HFF生成的层融合权重、AGC估计的关系导向权重等可观察中间指示，为推理过程中的重要文本特征、语义层级和图关系提供有用线索。因此，DHACNet的可解释性应视为额外的定性可追溯性，而非对模型判断过程的完整阐明。

未来工作将详细评估DHACNet的运行时延迟、内存消耗及不同图规模与部署条件下的参数量；探索与大型语言模型和检索增强生成技术的整合；并专注于剪枝、压缩、量化等轻量化部署策略，以用于资源受限场景。