基于人工智能技术的多模态甲骨文语义推理与知识图谱构建

《Scientific Reports》：Construction of multimodal oracle bone semantic reasoning and knowledge graphs in archaeology under artificial intelligence technology

　　

摘要

针对甲骨文图像、释文与考古知识之间难以建立连续关联的问题，本研究提出了甲骨文多模态推理框架（OAMR）。利用视觉Transformer（ViT）-B/16与双向编码器表示（BERT）-base-Chinese进行图文对齐。通过提示约束的实体与关系抽取，识别出六类实体和八类关系。跨源节点校准减少了同义实体的碎片化问题。图神经网络结合路径概率与最弱边置信度生成可追溯的推理链。实验包含12,000对有效图文数据，按8:1:1的比例划分为训练集、验证集和测试集。所有模型使用相同的数据边界，并独立运行五次。OAMR的R@1达到69.8% ± 0.6%。实体识别与关系抽取的F1分数分别达到92.4% ± 0.3%和89.5% ± 0.4%。推理准确率达到了92.8% ± 0.4%。与各任务中表现最佳的基线模型相比，核心指标差异经Holm校正后具有统计学显著性。结果表明，跨模态表示的连续集成、结构化知识抽取与置信度感知的路径推理相结合，提升了甲骨文知识组织与语义推理的准确性和可追溯性。