面向阿拉伯语问答系统的AAFAQ框架：多维度问题分类基准数据集构建与验证

这篇研究构建了首个基于AAFAQ框架的阿拉伯语问题分类基准数据集（5,009条标注样本），通过11个语言学与认知维度（如意图Intent、认知层级Cognitive Level等）实现细粒度标注。实验显示，AraBERT模型在问题助词分类准确率达100%，结合Alpaca+Gemma-9B Unsloth的生成式问答系统使ROUGE-1提升132%，填补了阿拉伯NLP领域缺乏多维度标注资源的空白，为教育智能与认知计算提供新范式。

　　

Abstract

阿拉伯自然语言处理（NLP）长期面临形态复杂性和标注资源稀缺的挑战。本研究提出的AAFAQ（阿拉伯高级问题分析框架）创新性地构建了包含5,009个现代标准阿拉伯语（MSA）问题的开放域数据集，通过11个语言学与认知维度（问题助词Question Particle、意图Intent、答案类型Answer Type等）实现多层级标注。实验验证中，AraBERT模型在问题助词类型分类达到100%准确率，意图分类达94.95%。与Alpaca+Gemma-9B Unsloth整合的生成式问答系统显著提升BLEU（+37.6%）和ROUGE-1（+132%）等指标。

Background & Summary

阿拉伯语作为全球主要语言之一，其丰富的形态变化和标准语-方言双言现象对NLP提出独特挑战。现有阿拉伯问答系统（QAS）数据集如DAWQAS（3,200条因果问题）和WikiQAar（3,000条开放域问题）多聚焦答案抽取，缺乏细粒度问题分类标注。AAFAQ框架突破传统Li & Roth分类法的局限，首次整合认知层级（基于Bloom's Taxonomy）和时空语境等维度，支持教育、医疗等跨领域应用。通过PRISMA标准筛选49项关键研究构建数据集，覆盖文化（765条）、科学（632条）等16个主题，其中社会学（9条）等少数类别需未来扩充。

Methods

数据采集融合多源开放数据：

1. 1.

   DAWQAS的GitHub因果问题库

2. 2.

   Hugging Face的WikiQAar语料

3. 3.

   古兰经QA数据集（GitLab）

   通过Cramér's V相关性分析验证维度关联性，如问题助词与意图强相关（V=0.82）。采用五重交叉验证，配置AdamW优化器（学习率5e-6）和梯度累积（8步），AraBERT在80%训练集上实现91.85%答案类型分类准确率。数据清洗剔除1,500条低质样本，人工标注通过科恩Kappa系数0.85验证一致性。

Data Records

Dryad数据库发布的AAFAQ_Dataset.csv（2.82MB）包含15字段：

• •

  问题助词：高频词为"?????"(Why, 21.3%)

• •

  认知层级：知识层级（Knowledge）占40.3%

• •

  主观性：客观问题占比84.3%

  统计显示时空语境中"无时间限定"类占54.5%，反映数据集偏重通用知识。

Technical Validation

数据增强通过阿拉伯维基百科（CC BY-SA 3.0许可）实现，新增"??"(What)等助词变体问题。标注流程包含30页手册和决策树，例如"?? ????? ???..."（差异分析类）标记为Bloom's认知层级中的"分析"维度。生成式实验采用Unsloth优化框架，内存消耗降低80%的同时，BERTScore提升17.3%。未来将通过PCA分析解决社会学等类别样本失衡问题。

该数据集为阿拉伯NLP研究提供首个多维度基准，其模块化设计支持非阿拉伯语系的适应性迁移，在智能教育诊断和临床问答系统等领域具有明确应用前景。