G2SQL:具有两阶段验证的引导式安全文本转SQL生成工具
《Expert Systems with Applications》:G2SQL: Guided & Guarded Text-to-SQL Generation with Two-Stage Verification
【字体:
大
中
小
】
时间:2026年01月24日
来源:Expert Systems with Applications 9.4
编辑推荐:
向莉|游金国|李恒|彭军|陈曦|郭子恒|李坤|徐天一
中国云南省昆明市650500,昆明理工大学信息工程与自动化学院
摘要
尽管大型语言模型在文本到SQL领域取得了显著进展,但模型幻觉等问题依然存在。在SQL生成过程中,任何阶段的错误都可能影响后续输出,从而导致生成
向莉|游金国|李恒|彭军|陈曦|郭子恒|李坤|徐天一
中国云南省昆明市650500,昆明理工大学信息工程与自动化学院
摘要
尽管大型语言模型在文本到SQL领域取得了显著进展,但模型幻觉等问题依然存在。在SQL生成过程中,任何阶段的错误都可能影响后续输出,从而导致生成的SQL查询不够理想或出现错误。此外,在没有人工监督的情况下,使用大型语言模型来验证和修改生成的SQL时,模型有时会引入一些操作,进而破坏数据库内容。为解决这些问题,我们提出了G2SQL,这是一种通过两阶段验证机制来增强监督式SQL生成框架。在G2SQL中,我们采用基于学习的SQL计划反馈循环来检查和优化SQL生成过程,以最小化错误传播。SQL生成后,再通过审查者-观察者机制进一步验证和修改查询,同时确保数据库安全。在多种开源和私有大型语言模型上的实验表明,G2SQL具有高效性和稳定性,在BIRD测试集上的最大执行准确率为73.16%,在Spider测试集上为89.97%,充分体现了该框架的优越性。
引言
传统的数据库查询方法要求用户具备一定的专业技能,这限制了非专业用户使用数据库,从而制约了数据库应用的进一步发展。为解决这一问题,人们提出了自然语言到SQL的转换技术,尤其是随着大型语言模型的快速发展,文本到SQL技术得到了更广泛的应用并取得了显著进步。
目前,大型语言模型在文本到SQL领域的应用主要分为两种方式:监督微调和使用提示工程。在基于监督微调的方法中,研究人员通常利用标注数据集对开源大型语言模型进行全量微调或参数高效微调,以提高其领域知识和泛化能力。代表性的工作包括CodeS(李等人,2024a)和OmniSQL(李等人,2025a)。然而,这类方法受模型规模和训练数据质量的限制,其泛化能力和推理能力仍不如GPT系列等大型商业模型,因此存在明显的性能差距。
相比之下,基于提示工程的方法无需额外训练,能够更有效地发挥大型语言模型的内在能力。不过,这类方法常常受到幻觉问题的影响,模型生成的SQL查询可能会偏离用户意图或存在逻辑矛盾。为解决这一问题,一些研究通过精心设计上下文结构或引入中间表示——如专门的SQL表达式或思维链——在生成最终SQL之前先产生可解释的中间步骤,从而提升模型理解能力。类似地,PET-SQL(李等人,2024b)、RSL-SQL(曹等人,2024)、ISESL-SQL(刘、胡、林、文,2022)以及Graphix-T5(李等人,2023a)等方法则通过建立模式关联来过滤掉无关的数据库模式信息,减少噪声并提高语义一致性,从而提升SQL生成质量。虽然这些策略提升了系统的可解释性和整体性能,但也带来了错误传播的风险:一旦某个中间步骤出现错误,就可能在整个生成过程中不断放大,如图1所示,(a)展示了由模式关联错误导致的错误传播,(b)则显示了因思维链中的推理错误而产生的级联偏差。
另一类研究思路是采用多候选生成策略,即生成多个候选SQL查询,再根据自一致性原则进行比较,选出最优结果。这种方法在减轻幻觉影响方面效果显著,但验证和选择过程往往需要大量的计算资源和存储空间,使得这些方法难以在实际系统中应用。
除了SQL生成之外,SQL验证和修正也是文本到SQL系统中的关键环节。现有的验证方法大致可分为两类:
(1) 执行反馈验证:该方法在数据库上执行生成的SQL查询,结合执行结果和大型语言模型的自一致性机制来判断SQL的正确性。例如,MCS-SQL、CHESS和XiYan-SQL等方法通过分析SQL执行反馈或结果一致性,帮助识别和修正错误的SQL语句。
(2) 语义一致性验证:该方法将SQL查询重新转换为自然语言描述,然后评估其与原始自然语言问题的语义相似度。通过关注SQL的语义准确性,该方法能够有效检测逻辑偏差或语义不一致。
尽管这两种验证方法各有优势,但在实际应用中将其整合起来却面临两大挑战:
(1) 安全性问题:在执行反馈验证过程中,大型语言模型生成的测试SQL可能会出现幻觉,从而产生修改数据或破坏数据库结构的危险语句。如图1中的案例2(a)所示,大型语言模型可能会试图向数据库中插入数值以满足某些过滤条件,以此验证SQL其他部分的正确性。然而,直接执行此类语句会危及数据库的完整性和安全性。
(2) 冗余问题:在多轮自我验证过程中,模型可能会生成多个语义相似但功能重复的测试单元,如图1中的案例2(b)所示。例如,一个询问表中是否存在某些列的自然语言问题,与专门用于检查这些列存在的测试SQL在语义上是重复的。这不仅浪费了不必要的执行时间和资源,还会引入冗余信息,干扰最终的决策过程。
值得注意的是,为自我验证而生成测试SQL及对应的自然语言问题,已成为近年来基于大型语言模型的文本到SQL系统中的常见做法。虽然这种方法提升了系统的自我检查能力,但也带来了前述的安全性和效率问题,而这正是本文提出新机制的动机所在。
最近,多智能体架构逐渐被引入文本到SQL任务中,旨在提升SQL生成的稳健性和整体性能以及验证精度,代表性方法包括MAC-SQL(王等人,2025)、SQLFixAgent(岑、刘、李、王,2024)以及CHESS(Talaei等人,2024)。这类方法通常将整体任务分解为多个功能角色,如生成、优化、验证或评估,然后通过投票、排序或启发式策略整合不同智能体的输出。在一定程度上,这种设计有助于缓解单个智能体推理能力有限所带来的不稳定问题。
然而,将多智能体技术系统地应用于文本到SQL任务仍然相对较少。据我们所知,我们的工作属于最早的相关尝试之一。需要再次强调的是,现有的多智能体文本到SQL框架并未引入明确的机制来监督推理和验证行为本身,也就是未能解决前述问题,如危险的测试SQL生成等。
为应对上述挑战,我们提出了G2SQL,这是一个基于多智能体设计的框架,旨在构建一个可解释、可控且安全的SQL生成与验证流程。该框架由两个核心组件构成:
(1) 基于学习的SQL计划反馈循环:该模块将SQL生成过程分解为一系列逻辑上逐步推进的步骤,每一步都包含任务描述和相应的SQL语句。模型会独立验证并优化每一步,以防止错误在整个生成过程中传播。通过反复的反馈循环,SQL生成计划会不断优化,直至通过所有验证。
(2) 审查者-观察者机制:该架构引入了一种验证框架,其中每个步骤中由“审查者”角色生成的潜在不安全或冗余SQL会被另一个“观察者”角色检测出来。具体而言,“审查者”负责生成测试SQL语句,并从原始问题中分解出对应的自然语言测试问题,从而从多个角度进行基于执行和语义一致性的验证。而“观察者”则负责对整个SQL验证过程进行全局监督,解决了多智能体文本到SQL系统中一个重要但尚未得到充分研究的难题:即面对大型语言模型不确定性时的逐步可靠性问题。与那些依赖单一验证智能体或隐含假设验证步骤行为良好的现有方法不同,我们的设计能够有效避免由幻觉引发的问题,比如冗余或无法终止的验证循环以及不安全的SQL执行。
首先,“观察者”通过防止由幻觉或大型语言模型的恶意行为导致的有害SQL操作,确保执行安全。如图1和表8所示,我们观察到大型语言模型试图向表中插入虚假值或创建不存在的表,以此验证WHERE子句或其他子句,这直接导致了数据库内容的意外修改。在更严重的情况下,这类行为甚至可能造成数据库结构损坏或破坏性操作。
其次,“观察者”旨在检测并消除“审查者”生成的冗余或重复的验证行为。在实际应用中,我们发现基于大型语言模型的“审查者”有时会生成重叠的问题和测试SQL语句,如图1和表8所示。
总而言之,“观察者”通过实施执行安全约束和终止条件,以及消除不必要的重复测试,对整个验证过程进行监督。通过结合这两个互补的角色,G2SQL实现了全面且可靠的SQL验证,同时有效降低了数据库安全风险和资源浪费,从而形成了一个安全、高效且可解释的多智能体文本到SQL工作流程。
我们在BIRD和Spider数据集上进行了大量实验,使用开源和闭源的大型语言模型验证了所提出的G2SQL的有效性。实验结果表明,G2SQL确实具有良好的性能。我们的主要贡献如下:
• 我们提出了一种基于学习的SQL计划反馈循环方法,能够在SQL最终确定之前对每一生成步骤进行验证和修正,有效减少了错误传播带来的问题。
• 我们引入了一种基于审查者-观察者的SQL准确性检查方法,该方法在监督环境下对SQL查询进行细致的检验和验证,既提升了SQL验证的效果,又确保了整个过程不会危害数据库安全。
• 即使只生成单个SQL查询,我们的方法也能达到接近当前最先进水平的性能,在BIRD数据集的开发集上的执行准确率为73.16%,在Spider数据集的测试集上为89.97%。
相关工作
本节概述了文本到SQL领域的主要研究方向和代表性方法。为清晰展示不同研究范式的技术特点和应用范围,现有方法被分为三类:基于模式关联的方法、基于提示工程的方法以及基于多候选生成的方法。在接下来的三个小节中,我们将分别介绍这些方法的核心思想、代表性成果以及……
方法
本节全面介绍了G2SQL的整体架构和核心组件,包括系统的总体设计原则、SQL生成计划的构建方式、SQL正确性验证流程以及错误SQL查询的自动修正策略。为便于理解,后续章节将依次详细介绍每个模块的设计思路和实现方式。
实验
本节对G2SQL进行了系统的实验评估,内容包括数据集选择、评估指标、与现有最先进方法的性能对比、消融实验、案例分析、token效率评估,以及错误和幻觉现象的统计分析。实验主要在BIRD和Spider数据集上进行,以执行准确率作为核心评估指标,并对不同类型和规模的大型语言模型进行了广泛比较。
结论与未来工作
在本文中,我们提出了G2SQL,这是一种全新的文本到SQL框架,能够在SQL生成前后进行验证和修正。这种两阶段的方法有效降低了SQL生成过程中错误传播带来的问题,同时也解决了SQL验证和优化方面的挑战。在SQL准确性检查方面,我们的方法在监督环境下运行,确保验证过程既安全又高效。这种设计……
CRediT作者贡献说明
向莉:概念构思、方法设计、软件实现、初稿撰写。游金国:项目监督、项目管理。李恒:形式化分析。彭军:数据整理、验证工作。陈曦:数据整理工作。郭子恒:验证工作、问题研究。李坤:资金筹集工作。徐天一:资金获取。利益冲突声明。游金国表示其研究得到了中国国家自然科学基金的资助;同时他也表示获得了CCF-华为杨树林基金的资金支持。其他作者则声明自己不存在任何可能影响本文所汇报工作的已知利益冲突或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号