基于大型语言模型的语义聚类与零样本分割技术,结合结构化查询语言(SQL)的嵌入式学习方法——从示例中学习规则,用于分析民众对税收改革的接受度

《Engineering Applications of Artificial Intelligence》:Large language model-driven semantic clustering and zero-shot segmentation with structured query language-embedded learning from examples module 2 rules for analysing tax reform acceptance

【字体: 大 中 小 】 时间:2026年08月18日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  摘要基于大型语言模型(LLMs)的决策支持系统正在迅速发展,其中一个重要的设计方向是将其与稳定且可解释的机器学习组件(如基于规则的系统)相结合。在这项工作中,我们提出了一个决策支持系统框架,该框架结合了基于LLM嵌入的语义聚类和零样本语义分割,并通过“Learn From Exa

  

摘要

基于大型语言模型(LLMs)的决策支持系统正在迅速发展,其中一个重要的设计方向是将其与稳定且可解释的机器学习组件(如基于规则的系统)相结合。在这项工作中,我们提出了一个决策支持系统框架,该框架结合了基于LLM嵌入的语义聚类和零样本语义分割,并通过“Learn From Examples by Modules 2”(LEM2)算法生成可解释的决策规则,并将其嵌入到SQL数据库中。这项工作的另一个贡献是提供了一种专门的机制,用于将LEM2规则嵌入到结构化查询语言(SQL)环境中,结合查询公式,使得每个对象的分类可以通过单个SQL查询来完成。
所提出的框架能够将非结构化的文本调查数据转换为一系列离散且易于理解的规则,这些规则可以直接用于基于数据库的决策支持系统。该框架在LLM辅助的用户交互系统中具有潜在的应用,并且可以适应其他基于调查的决策问题,包括公民反馈系统和类似的公共部门决策支持场景。本案例研究基于关于对房产税变更接受程度的未发表的调查数据。

引言

基于人工智能的决策支持系统,特别是基于大型语言模型(LLMs)的系统,正成为公共行政分析基础设施中越来越重要的一部分。随着数据复杂性的增加,构建能够结合LLM模型的灵活性和表示能力以及经典机器学习(ML)模型的可靠性、稳定性和可解释性的解决方案的需求也在增加。在这里,特别是将透明的决策规则直接嵌入到数据库环境(例如SQL)中非常重要,这样就可以使用简单的单个查询对公民进行分类和细分。这样的解决方案可以成为监测纳税人态度和持续评估公共政策效果的可靠系统的基础。例如,作为基于LLM系统的用户沟通系统中的一个可靠元素。
设计现代、包容性的税收系统是当今公共行政面临的关键挑战之一。税收改革——尤其是在对公民有重大影响的领域,如房产税——需要从财政效率以及感知的公平性、透明性和负担的比例性等方面进行评估(Owsiak, 2013, Stiglitz, 2004)。世界各地使用的各种房产税模型——从周期性房产价值税到交易税和继承税——都面临着类似的问题,即需要确保透明度、社会可接受性和系统的可执行性(Grote, 2024)。研究表明,正是税收解决方案的公平性和可理解性在很大程度上决定了自愿遵守的程度和对政府的信任程度(Dimopoulos et al., 2015)。
近年来,自动化估值建模(AVM)和使用ML方法的大规模估值领域有了显著发展,提高了房产税系统技术部分的一致性和准确性(Dimopoulos and Bakas, 2019, G?uszak and Marona, 2015, Zhou, 2021)。然而,税收系统的改革不仅仅是精度的提高,还需要一种以公民为中心的方法,该方法要考虑到态度的多样性、情感以及适应变化的能力。系统的韧性和抗脆弱性概念(Taleb, 2012)强调,现代税收系统应该能够经受住冲击(例如改革),并从中学习,以更好地满足公民的需求。Renigier-Bilozor等人(2024)在这个背景下提出了一种税收改革架构,明确考虑了纳税人的多样性及其对变化的反应。
在本文中,我们介绍了LLM-LEM2-SQL框架,这是一个决策支持框架,它结合了基于LLM嵌入的语义聚类和零样本语义分割以及嵌入在SQL环境中的LEM2决策规则。首先,我们利用基于嵌入的相似性和大型语言模型的零样本生成提示来识别调查属性之间的语义关系,并将它们分组为接受度概况。接下来,根据这些与受访者选择相匹配的离散语义概况,我们使用可解释的决策规则来细分纳税人对税收变更的态度。
我们通过两种方式评估获得的聚类结果:一是将其质量与经典聚类方法(包括K-Means、SOM、Ward)的结果进行比较,二是分析聚类内部的一致性。然后,我们将聚类数量(解释为接受程度)作为决策变量,并基于描述受访者及其申报信息偏好的属性来生成LEM2规则。所获得的规则是简洁的、人类可读的模式,能够近似聚类的结构,并能够象征性地重建通向特定接受程度的“路径”。最后,我们将这些规则映射到SQL构造中,从而允许直接在数据库服务器中通过单个查询对新对象进行透明分类和纳税人细分。我们使用了Artiemjew等人(2020)提出的概念,并将其能力扩展到LEM2规则的应用中。换句话说,我们正在创建一个创新系统,其最终元素是一个基于对数据库的个别查询运行的分类器。作为案例研究,我们使用了之前未发表的关于对房产税变更接受程度的调查数据。
通过这种方式,我们将通常分开分析的三个方面结合起来:(1)LLM的语义文本处理能力,(2)通过LEM2的符号决策规则的可解释性,以及(3)在SQL环境中的实现可行性,这在公共行政IT系统中占主导地位,为开发可靠的、易于查询的系统以监测纳税人的行为和态度铺平了道路。
分析的系统引出了以下研究问题。
RQ1. 与将经典聚类方法作为参考点相比,基于LLM嵌入的语义聚类和使用LLM生成提示的零样本语义分割在多大程度上提供了认知上连贯且可解释的房产税变更接受程度段落?
RQ2. 由LEM2方法生成的决策规则是否能够以简洁、人类可理解和认知稳定的方式近似LLM聚类确定的段落结构,从而创建一个表示接受度概况之间转换的符号“规则映射”?
RQ3. 在多大程度上可以开发一个基于SQL的规则嵌入框架,该框架允许通过单个查询对新对象进行分类,作为现有公共行政系统中的透明分割和决策支持模块?
文章的结构如下。第2节回顾了关于聚类、LLM嵌入、基于规则的系统及其在公共部门应用的文献。第3节描述了数据和方法论,第4节描述了结果及其解释,第5节描述了研究的实际意义和进一步工作的方向。

章节片段

聚类方法、NLP和可解释的基于规则的系统

近年来,我们在机器学习(ML)的无监督方法方面看到了迅速的发展,特别是在向量空间中的聚类和文本表示方面。经典的聚类算法,如k-means(MacQueen, 1967)、DBSCAN(Ester et al., 1996)、Fuzzy C-Means(Bezdek, 1981, Dias, 2019)或分层方法如Ward(1963),通常是在预定义的数值特征上操作的。在文本应用中,这需要预先构建特征表示,例如词袋模型、TF-IDF、n-gram等。

方法论

在这项工作中,我们开发了LLM-LEM2-SQL框架,该框架能够将开放式文本响应转换为可以直接在SQL环境中执行的可解释规则。所使用的数据是纳税人对房产税改革的意见,作为一个案例研究,而该方法论本身被设计为一个通用的、可复制的流程,用于分析调查和细分公民的意见。

实证研究——设置和结果

在本节中,我们根据方法论部分描述的连续步骤展示了实验结果。表1总结了实验的结构,从原始调查数据到可在SQL环境中执行的规则。

讨论:伦理、治理和信任方面

与公共行政中任何人工智能的部署一样,将LLM支持的分割引入税收政策监控需要严格的伦理审查。扩大电子政府系统的机构能力必须与算法偏见、自动化歧视和程序不透明的风险相平衡。
减轻LLM在公民分割中的偏见:
大型语言模型本质上是在庞大的社会语言语料库上训练的,这使得它们

结论

所提出的LLM–LEM2–SQL框架表明,大型语言模型可以支持一个透明且可实施的决策支持流程,用于分析基于调查的公共政策态度。这项工作的主要贡献是一个端到端的架构,它结合了基于LLM的语义处理、可解释的规则生成以及直接在关系数据库环境中的部署。在实证研究中,检验了两种语义变体:零样本语义

CRediT作者贡献声明

Ma?gorzata Renigier-Bi?ozor:写作——审稿和编辑,撰写原始草案,可视化,验证,监督,软件,资源,项目管理,方法论,调查,资金获取,形式分析,数据 curatorial,概念化。Piotr Artiemjew:写作——审稿和编辑,撰写原始草案,可视化,验证,监督,软件,方法论,调查,形式分析,概念化。Jakub Jurewicz:写作——审稿和编辑,

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时,作者使用了ChatGPT来校对和纠正手稿的英文翻译。使用该工具后,作者根据需要仔细审阅和编辑了内容,并对已发表文章的内容负全责。

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

这项工作得到了波兰科学与高等教育部的项目编号23.610.007-110和国家科学中心 [项目编号 2023/49/B/HS4/00701]的资助。作者感谢所有参与者的配合和同意。
Ma?gorzata Renigier-Bi?ozor|Piotr Artiemjew|Jakub Jurewicz
波兰奥尔什丁Warmia and Mazury大学空间管理与地理研究所地理工程系,Prawocheńskiego 15, 10-720, Olsztyn
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号