探索用于科学问题解答的大型语言模型：通过自然语言处理将问题转换为SPARQL查询

《ACM Transactions on Intelligent Systems and Technology》：Exploring Large Language Models for Scientific Question Answering via Natural Language to SPARQL Translation

科学问答中SPARQL查询生成研究分析SciQA和DBLP-QuAD基准，发现结合调优和提示技术（特别是优化少量样本选择）能显著提升模型性能，但需开发更严苛的基准评估模型能力，同时提出关键错误模式、迁移学习机会及优化大模型在知识图谱问答中的应用方向。

　　

摘要

将用自然语言表达的科学问题转换为可以在知识图谱上执行的SPARQL查询，仍然是问答领域中的一个重大挑战。最近，出现了几个重要的基准测试，特别是SciQA和DBLP-QuAD，用于评估该领域的性能。在本文中，我们对语言模型在这些基准测试上的表现进行了全面分析，并评估了各种优化策略。我们的结果表明，结合使用微调和提示技术（尤其是在结合策略性少量样本选择时）在两个基准测试上都取得了优异的结果。这些发现凸显了迫切需要更具挑战性的基准测试来更好地评估模型能力。我们识别了关键见解、常见的错误模式以及潜在的迁移学习机会，并讨论了它们对优化大型语言模型在基于知识图谱的问答任务中的性能的影响。