KazakhLawCorpus:面向哈萨克语立法的大规模元数据语料库

《Data》:KazakhLawCorpus: A Large-Scale Metadata Corpus for Kazakh Legislation

【字体: 大 中 小 】 时间:2026年08月29日 来源:Data 2.4

编辑推荐:

  大规模结构化法律数据集的可用性对于推进法律自然语言处理(Legal NLP)、信息检索(Information Retrieval)以及可靠语言技术的发展至关重要。然而,对于形态丰富且相对低资源的哈萨克语而言,此类资源仍然稀缺,限制了领域专用NLP方法的开发与

  
大规模结构化法律数据集的可用性对于推进法律自然语言处理(Legal NLP)、信息检索(Information Retrieval)以及可靠语言技术的发展至关重要。然而,对于形态丰富且相对低资源的哈萨克语而言,此类资源仍然稀缺,限制了领域专用NLP方法的开发与评估。本数据描述符提出KazakhLawCorpus,一个源自哈萨克斯坦共和国的215,889条文档级立法元数据记录的精选语料库。该数据集派生自包含223,245条源记录的PostgreSQL导出,通过哈萨克语字段筛选、必要字段过滤、溯源保留归一化、模式重构与系统化质量验证构建而成,保留率为96.705%。最终发布版本包含25个字段,涵盖文档标识符、时间属性、法律状态、登记信息、哈萨克语标题与描述、法律与机构类别、地理信息及源URL。记录覆盖1947年10月30日至2026年7月20日采纳的立法法案。质量控制程序确认了唯一的law_id值、完整的标题与描述字段以及可解析的采纳日期,同时4635条具有潜在源级或历史异常的记录被保留并通过诊断标志透明记录。KazakhLawCorpus为基于元数据的法律信息检索、文档分类、时间与机构分析、溯源追踪及下游哈萨克语法律NLP资源开发提供了大规模可追溯资源。
研究背景与问题提出
大规模法律资源如LEGAL-BERT、LexGLUE、LEDGAR、MultiEURLEX与MultiLegalPile推动了法律语言建模、文档分类与多语种评估,但哈萨克语作为黏着型、形态丰富且低资源的语言,在分词、检索与问答上受限于词形变化与领域数据匮乏。哈萨克斯坦国家层面缺乏带一致标识符、法律状态、登记信息与权威源链接的结构化立法清单,已有Rakhimova等基于Adilet与Zqai的问答数据侧重模型训练而非全国库存构建。为此,研究人员从NUBA Solutions LLP提供的PostgreSQL立法表出发,构建KazakhLawCorpus作为文档级元数据发现与溯源层,填补哈萨克语法律NLP基础设施缺口。论文发表于《Data》。
主要关键技术方法
研究人员采用可复现工作流:从源表选留_kk哈萨克语字段并重命名至规范基名,保留语言无关标识符、日期、状态与URL;以12个主文本与类别字段判定可用哈萨克语信息,剔除无实质哈萨克语内容者(7301条),再强制标题与描述非空非占位符(剔55条),得215,889条,保留率96.705%;源向表示保留原值,分析向表示做Unicode NFC归一化、零宽字符清除、空格压缩、占位符映射缺失、act_form逗号项拆分去重排序;质量保障含模式校验、law_id唯一性、日期解析、URL诊断、重复标题—描述归一分组、CAPTCHA正则、编码伪影与哈萨克语西里尔字符启发式,诊断标志仅标注不删行。样本队列来源于NUBA Solutions LLP整合自Adilet法律信息系统与law.gov.kz的EKB公开政府法律资源快照。
研究结果
  1. 1.
    Summary:语料含215,889条唯一law_id记录,25字段,采纳日期1947-10-30至2026-07-20,74,941条标记废止(34.71%),140,948条未标记废止;明确其为元数据层而非全文层,标题描述中位19与24词。
  2. 2.
    Related Works:对比LEGAL-BERT、MultiEURLEX、LePaRD、LegalBench-RAG、LLeQA及哈萨克语KazNERD与Rakhimova等,定位本语料为互补的发现与溯源基础设施而非预训练集或QA基准。
  3. 3.
    Data Description:3.1 规模与特性——源223,245剔7356留215,889,无缺漏law_id、标题、描述与不可解析date_adopted;3.2 模式——25字段分五组(标识符与溯源、时间、状态与登记、文本与源访问、法律机构地理),非ELI或Akoma Ntoso合规;3.3 时间覆盖与法律状态——82.49%为2010年后,2023年峰值15,092,废止标记来自源快照非实时效力;3.4 法律行政构成——前三类act_form为Шеш?м(26.95%)、?аулы(22.14%)、Шеш?м,?згерту(12.22%),legal_force前三为M?слихатты? акт?с?(22.56%)、?к?мд?к акт?с?(16.00%)、?к?метт?? ?аулысы(15.82%),地理值?аза?стан Республикасы占37.86%呈长尾,adopting_body原始串未聚合;3.5 元数据完整度——date_adopted等核心字段满填,date_modified原生非空50.45%,adilet_url 99.63%,占位符ЖО?等计非空但语义调整后会下降;3.6 技术质量指标——4635条(2.147%)带至少一诊断标志,含28条无哈萨克特定西里尔字符的历史俄文条目、1388条编码伪影、5条CAPTCHA式、794条缺Adilet URL,均保留。
  4. 4.
    Methods:4.1 溯源获自NUBA Solutions LLP而非作者直爬;4.2 选kk排ru与混合字段;4.3 两阶段过滤公式(1)-(5);4.4 源向与分析向双表示,act_form规范式(7);4.5 强制结构检+非破坏诊断,合标志式(8);4.6 描述统计含中心5年滑动平均式(9)、占比式(10)、原生与占位调整完整度式(11)(12),Algorithm 1伪代码总括。
  5. 5.
    User Notes:law_id作字符串主键,registry号非全局键,全文需凭adilet_url/ekb_url回源核验,无预设训练划分,LexAI曾用早期版作文档级溯源。
  6. 6.
    Conclusions and Future Work:贡献为大规模哈萨克语立法元数据库存与可复现工作流;局限为非负文、快照态、前1990稀少、类别未全规范化、可选字段占位与诊断保留;未来可做周期更新、URL活体检、版本跟踪、独立全文层(经law_id挂接)。
讨论与结论翻译
研究人员指出,KazakhLawCorpus提供结构化可追溯的哈萨克斯坦立法元数据文档级清单,支持元数据检索、分类、时间分析、机构地理归一化、重复与版本分组及RAG候选选择;其价值不在替代权威法律源,而在提供可复现透明层使立法可被识别、分析、组织并连至下游资源。未来工作可经稳定标识符与源URL构建独立全文法律语料以补条款级证据,支撑哈萨克语法律检索、分类与证据锚定问答。结论确认:自223,245源记录经哈萨克语字段选留、必要字段过滤、溯源保留归一化、模式重构与质量验证留96.705%得215,889条25字段发布版;语料为元数据层非全文层,is_repealed为快照态非实时效力,类别保留源拼写为防误并,4635诊断条留痕不删;整体建立哈萨克语法律NLP可复用元数据基座。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号