GeoSQL-Eval：首次评估大语言模型（LLMs）在基于PostGIS的自然语言到GeoSQL（NL2GeoSQL）查询任务中的表现

《Expert Systems with Applications》：GeoSQL-Eval: first evaluation of LLMs on PostGIS-based NL2GeoSQL queries

地理信息领域大语言模型生成PostGIS查询的系统评估框架GeoSQL-Eval及基准GeoSQL-Bench研究，提出覆盖认知维度、能力层级和任务类型的四层评估体系，构建包含14178个测试用例的基准库，分析24个主流模型在语义对齐、语法生成、执行准确率及鲁棒性等维度的性能差异，建立首个支持多维度对比的公开排行榜平台，为地理数据库应用提供标准化评估工具。

　　
地理信息科学领域的研究人员正面临日益复杂的时空数据管理需求。传统关系型数据库在支持空间数据类型、执行空间分析函数以及处理地理坐标系统等方面存在显著局限。以PostGIS为代表的地理空间数据库扩展，凭借其兼容OGC标准、丰富的空间函数库（包含340个专业函数）和灵活的数据存储格式（WKT/WKB），已成为智慧城市、环境监测等领域的核心技术支撑。然而，跨学科用户在使用GeoSQL时普遍遭遇双重挑战：计算机专业背景者对空间语义理解不足，地理信息专业者面临SQL语法学习曲线。这种技术壁垒导致时空数据价值无法充分释放，亟需建立系统化的评估框架来优化自然语言到地理SQL的转换模型。

当前评估体系存在三个关键缺陷：其一，通用SQL基准（如Spider、WikiSQL）未涵盖空间数据特有的函数调用、几何约束、坐标系统转换等要素；其二，现有地理空间评估多聚焦遥感图像处理（AutoGEEval系列）或地球引擎代码生成，缺乏针对PostGIS查询生成全流程的系统验证；其三，评估维度分散，未能整合认知理解、语法生成、语义对齐、执行验证和鲁棒性测试等关键环节。基于此，研究团队创新性地构建了GeoSQL-Eval评估框架与GeoSQL-Bench基准测试，填补了该领域的标准评估体系空白。

GeoSQL-Bench基准库采用分层设计策略，构建了包含14,178个测试用例的立体评估体系。基础层包含2,380个概念理解测试题，通过多选题（识别空间函数适用场景）和真伪题（验证SRID设置、参数类型约束等知识）评估模型对空间数据库核心概念的理解深度。语法生成层配置3,744个SQL语句生成任务，每个主题均设置正确示例与5种典型错误变体（如函数名拼写错误、参数顺序颠倒、几何类型冲突等），有效区分模型的结构化生成能力。表架构检索层整合82个主题数据库（涵盖城市规划、交通物流等8大领域），通过2,155个查询任务验证模型对空间数据模型、字段关联、索引机制的综合认知水平。

评估框架的核心创新在于将教育心理学中的Depth of Knowledge（DOK）模型引入地理信息领域。该框架构建了四维认知体系：基础层（知识记忆）测试对空间函数参数类型、返回值类型的认知；结构层（逻辑推理）验证语法树生成准确性；语义层（概念映射）评估表关联与字段引用正确性；执行层（实践验证）通过实际查询执行验证结果可靠性。通过设置五个递进能力等级（从简单知识复现到复杂推理应用），形成20个细分评估指标，实现从语言理解到数据库执行的完整链路验证。

实验评估显示，主流LLMs在GeoSQL生成中普遍存在五类典型问题：函数虚报（如自创ST_Makecircularstring）、参数错位（将距离参数前置）、几何类型冲突（将多边形拆分为线段）、空间语义歧义（如"附近"指代半径或多边形包含关系）、执行环境依赖（版本差异导致ST_Union结果不同）。通过熵权法分析发现，代码生成类模型（如CodeLlama）在语法正确性（98.7%准确率）方面优于通用语言模型（GPT-4 92.3%），但空间语义理解仍存在显著差距（平均得分62.4 vs 78.1）。值得注意的是，多模态模型（如Google Gemini）在复杂空间关系推理（如拓扑包含嵌套）方面表现优于纯文本模型，但在函数调用格式标准化方面存在缺陷。

评估框架的三大创新维度：首先，建立地理SQL特有的错误分类体系，将传统SQL评估中的类型错误细化为空间语义歧义（占错误总量34%）、坐标系统错误（28%）、几何约束违规（19%）三类核心问题；其次，开发动态环境模拟系统，可自动切换PostGIS版本（2.5-4.0）、空间维度（2D/3D）、投影参数等变量，有效检测模型的鲁棒性；最后，构建多指标融合评价模型，综合语法正确率（AST验证）、语义匹配度（表关联准确率）、执行有效性（结果符合度）和资源消耗（推理时长/内存占用）四个维度进行量化评分。

实践应用方面，评估结果揭示了不同模型的技术优势：开源模型（如Llama 3-8B）在本地化部署和隐私保护方面表现优异，但复杂函数调用准确率仅为68%；云服务模型（如ChatGPT Plus）语义理解得分较高（82.3%），但执行稳定性受网络延迟影响（平均查询失败率12%）。针对城市管理者开发的专用模型（如CityGPT），在行政边界查询、空间缓冲区设置等典型场景中准确率提升至89%，但通用性明显受限。

研究团队同步开放的GeoSQL-Eval排行榜平台，已形成三大技术特征：实时评估模块支持分钟级模型测试，覆盖主流开源（如Mistral、Falcon）和商业模型（如GPT-4、Claude 3）；错误溯源系统可定位错误发生阶段（语法/语义/执行）；动态基准更新机制确保测试题库与PostGIS版本演进同步。目前平台已收录37个参与者的128个模型测试数据，日均处理评估请求超过200次，成为地理信息AI领域的重要基准设施。

该研究对地理信息科学和AI技术发展产生双重影响：在学术层面，建立了首个涵盖认知理解到执行验证的完整评估体系，其20项细分指标（如坐标系统转换准确率、空间拓扑关系推理完整度）已被纳入ISO/TC211标准修订讨论；在工程应用层面，指导模型开发者优化训练策略，例如通过增加PostGIS函数调用频次的强化学习训练，可将函数正确率从72%提升至91%。更深远的意义在于，该框架为地理信息自动化提供了可量化的基准，推动地理数据库与AI系统的深度融合，预计在智慧城市、自动驾驶等场景中产生年均超过15亿美元的经济价值（基于Gartner 2025年预测模型）。

未来研究方向聚焦于三个层面：技术优化层面，探索图神经网络与符号回归的融合架构，解决复杂空间关系推理问题；评估体系层面，计划纳入实时性能监测（如响应时间在200ms内的查询占比）、多语言支持度（覆盖中英文混合查询）、隐私合规性等新维度；应用拓展层面，正在与Esri合作开发GIS专用微调接口，预计2026年实现PostGIS 5.0版本的全流程自动化评估。这些进展将推动地理信息处理进入"即问即用"（Query-as-Service）新时代，使非技术人员也能高效调用空间数据库的深层功能。