一种基于预训练模型构建多模态羊疾病知识图谱的方法

《Veterinary Research Communications》：A method for constructing a multi-modal knowledge graph of sheep disease based on a pre-trained model

　　

摘要

随着畜牧业中知识类型的逐渐丰富，多模态知识图（MMKG）在动物疾病智能诊断领域的重要性日益凸显。然而，构建多模态知识图面临诸多挑战，如缺乏专业知识、多模态数据稀缺以及标注样本不足。本文提出了一种构建羊病多模态知识图的方法，该方法包括三个核心步骤。首先，根据RoBERTa + BiLSTM + CRF序列标注模型构建文本知识图，为多模态知识对齐提供框架；其次，引入视觉-语言预训练双流模型，并采用带有贝叶斯优化的LoRA微调方法进行领域适应，以实现跨模态表示学习；最后，利用GraphXR工具及该方法提出的规则进行多模态知识对齐、存储和可视化。基于ViT视觉模型系列，本研究在自建的羊病数据集和公开数据集EuroSAT上进行了实验，图像-文本匹配准确率分别达到了81.82%和93.11%，较微调前分别提高了40.91%和38.04%。实验结果表明，通过融合预训练模型进行微调来构建羊病多模态知识图的方法具有显著优势。该方法能够在数据量较小的情况下显著提升模型效率和泛化能力，增强羊病的语义表达能力，并为羊病智能诊断等应用提供有效的技术支持和知识基础。