用乌尔都语检测AI生成的文本重复使用与人类文本重复使用：基于短语级的基准数据集与特征融合方法

《Big Data Research》：Detecting AI-Generated Text Reuse vs. Human Text Reuse in Urdu: A Benchmark Dataset and Feature Fusion Approach at the Phrasal Level

　　伊克拉·穆尼尔|穆罕默德·卡希夫巴基斯坦拉合尔工程技术大学纳罗瓦尔校区摘要正确且可靠地识别人工智能文本重用与人类文本重用，对于维护文本的真实性（或虚假性及其带来的错误信息风险）、保障语言的完整性以及减少错误信息传播至关重要。当前用于检测文本的人工智能工具仅能识别和分类无上下文的单个文本，难以应对这些挑战。而通过短语层面进行检测，能够发现句子或文档级方法常常忽略的复杂人工智能生成变化，从而在保持语言完整性的同时，精准区分人类撰写与人工智能重用的文本。本研究首次以乌尔都语为对象，聚焦短语层面的文本生成，为此我们构建了一个包含9,908对匹配短语的基准语料库，其中人类文本改写内容与生成式预训练变换器4模型生成的文本各占一半。该基准语料库涵盖了多种改写方式以及内在和外在的语言现象，词汇重叠率为52.81%，转换比例为0.717，既包括重叠改写情形，也包括非重叠改写情形。我们测试了十种模型，从基础的重叠检测模型到包括多语言句子嵌入模型以及生成模型在内的最先进模型。所提出的特征融合模型将变换器模型与生成模型结合在随机森林分类器中，针对乌尔都语的检测准确率与F1分数可达97.32%，不仅超越了所有现有基准，其性能也与英语模型相当甚至更优。这项研究为在学术写作、数字新闻、社交媒体内容审核、语义重用检测、作者归属认定以及内容真实性验证等多个领域，区分人类与人工智能生成的文本重用内容提供了可扩展的方法，同时也依托于人工智能检测技术与上述基准语料库。引言随着ChatGPT、GPT-4等大型语言模型，以及LLaMA、Mistral等开源模型的出现，人类写作与机器写作之间的界限日益模糊。上述模型的发展虽为几乎所有行业的诸多难题带来了解决方案，但也引发了关于文本完整性与作者归属的疑问。大型语言模型还影响了学术界和数字通信领域，给重复或混合使用内容的检测带来了挑战。由于现有的剽窃检测系统无法识别人工智能生成的内容，因此能够检测人工智能产生的冗余内容，以及识别其对文本的重新建模或改写行为，显得尤为重要[1]、[2]、[3]。在本研究中，我们采用更为广义的文本重用定义，即以任何形式重复使用先前存在的文本材料，包括原封不动复制、近似复制以及改写后的版本。改写只是文本重用的一种类型，在这种类型中，虽然语义内容保持不变，但某些词汇和/或句法元素会发生变化。此外，文本重用还包括部分复制、结构重组，以及复制与改写内容相结合的混合模式。这一更广泛的定义适用于剽窃研究与作者归属研究，在这些研究中，文本重用程度从完全抄袭到改写剽窃，再到仅修改少量单词的情况都有涉及[4]、[5]、[6]。因此，我们将文本重用定义为涵盖所有人类及人工智能生成的文本重用现象。在检测文本重用，尤其是短语层面的重用时，学术研究的核心在于确定文本中哪些部分被复制、改写、编辑或转换，且无论是否标注出处。目前大多数模型依赖的是文本中通常可见的元素，如n-gram、余弦相似度，甚至是编辑距离[7]。即便如此，现有模型仍无法识别细微改动或那些表达相同含义的更为隐晦的变化。由于需要深入分析语义和上下文，要识别具有类人类质量的改写内容，使得人工智能生成文本的识别变得更加复杂[8]、[9]。短语层面分析的重要性显而易见，且经得起实证检验。在大多数实际重用场景中，比如学校作业、总结或新闻改写，人们往往只是对多个句子进行少量修改，而非复制整段文本或整个文档。从理论上讲，书面作品简单而真实的语义与语用结构或许能够绕过不断发展的文本检测系统。而短语层面的细微重用细节，正是大多数作者试图避免的，因为这需要他们对各种语言系统与结构具备较高的实践与理论知识，而这些内容对于半透明或透明的文本重用行为来说较为复杂。此外，短语层面也是最适合作为分析单元的层面，可用于构建大量检测模型。在短语、句子甚至整篇文本层面对这类分析结果进行整合是可行的。不少近期发表的研究，如[10]，都推荐使用基于变换器的架构来检测单语言文本的短语层面重用情况。在包含大型语言模型改写的文本重用检测领域，短语层面检测仍是最为复杂的检测方式之一[11]、[12]。对于自然语言处理任务，尤其是文本重用检测而言，乌尔都语作为一种形态丰富但资源匮乏的语言，带来了特殊挑战。乌尔都语具有极为复杂的形态结构，采用从右向左书写的纳斯塔利克体，具备高度的句法灵活性，同时还受到阿拉伯语、波斯语和英语的深刻影响而形成独特的文学表达风格。此外，乌尔都语缺乏大规模标注数据、优质的分词工具以及标准的自然语言处理流程，这些都严重限制了最先进检测方法的应用。这些语言与资源方面的限制，要求开发出与乌尔都语的结构与多样性相匹配的专用框架[13]、[14]。从语言、文化和社会政治角度而言，乌尔都语在南亚具有重要意义。在巴基斯坦，乌尔都语是官方国家语言；在印度，它也被列为官方指定语言之一[15]、[16]。据研究，南亚约有7000万人将乌尔都语作为母语，另有约1亿人将其作为第二语言使用。乌尔都语在印度次大陆的重要性已得到广泛认可。它在教育体系、媒体、文学乃至宗教交流中都被广泛使用。如今，越来越多的学生和内容创作者开始使用基于人工智能的写作技术处理乌尔都语文本。这一趋势可为开发能够判断文本是人类还是人工智能所写的技术提供依据，从而维护学术诚信与内容原创性。目前，在人工智能文本生成及后续文本检测领域的大部分研究都集中在英语这类资源充足的语言上。在这些研究中，为了区分人类与人工智能生成的文本，人们采用了各种文体学分析技术、语义嵌入技术以及基于变换器的模型[11]、[12]、[17]。在本研究中，我们通过在短语粒度层面进行分析，开辟了新的研究方向，这使得我们能够捕捉文本重用机制的复杂细节，包括短语替换、短语重排序以及改写行为。与以往的研究不同，我们着眼于被忽视、资源匮乏且形态丰富的乌尔都语，该语言具有高度的语言复杂性，包括黏着语特征、丰富的句法变化，以及波斯-阿拉伯式的书写系统，这些因素都极大地限制了为英语或其他印欧语系语言开发的模型的应用[18]。为实现这一目标，我们构建了一个基于短语粒度的平衡数据集，共包含9,908个带标签的样本（其中4,954个是由人工智能基于源文本生成的，另外4,954个是人类撰写的源文本被重用），这些样本来自不同的领域与语言模式。我们从多个角度提取特征：词汇层面包括n-gram特征，句子变换器可以生成语义嵌入特征，大型语言模型则能提供生成型/语境相关特征。将生成型/语境相关特征与表层词汇模式以及更深层的语义模式相结合，能够让数据集特征具有更强的语境理解能力。我们使用该数据集评估了多种检测模型。所提出的模型不仅超过了当前人工智能检测技术的基准水平（准确率为93%），还能更全面地分析乌尔都语中人类与人工智能产生的文本重用现象。除了性能指标外，我们还识别出了人工智能文本生成的标志性特征，并分析了在形态丰富且计算资源有限的语言环境中，传统检测系统的局限性。本研究的主要成果如下：•首次构建了用于检测乌尔都语中人工智能文本生成与人类文本重用的基准数据集，该数据集包含9,908对短语（其中4,954对是由人工智能生成的乌尔都语短语，4,954对是人类撰写的短语），这些短语都是经过精心筛选的。•通过对比和评估十种不同的检测框架，从传统的词汇相似度指标到多语言变换器模型以及大型语言模型，为短语层面文本重用检测建立了基准。•开发了一种新型的融合模型，该模型结合了来自大型语言模型和句子变换器的八种特征，并与随机森林分类器相结合，能够在不同领域和不同类型的文本中，精准区分人类与人工智能系统产生的文本重用内容，展现出出色的性能。•我们深入分析了在乌尔都语这类形态丰富、资源匮乏的语言中，进行人工智能文本检测所面临的困难，同时阐明了短语层面分析在识别那些被句子级或文档级检测工具忽略的细微词汇与句法改写行为方面的重要性。这项研究为未来在跨语言文本重用检测、负责任的人工智能审计以及资源有限语言环境下的作者归属验证等领域开展研究奠定了基础。据我们所知，这是首次系统研究乌尔都语中短语层面的人类文本与人工智能文本重用问题。本文的其余部分安排如下：第2节介绍现有技术水平与相关语料库情况；第3节详细阐述用于构建评估语料库的方法；第4节介绍所提出的方法；第5节说明实验设置；第6节展示实验结果；最后，第7节对全文进行总结，并提出未来研究的方向。相关研究越来越多的研究开始探讨人工智能生成文本检测与剽窃问题之间的关联。这些研究成果对于检测乌尔都语中的人工智能文本与人类文本在短语层面的重用情况具有重要意义。各类研究在语言种类、分析粒度（句子级与文档级）、数据集特征以及评估方法方面存在差异。沙赫等人研究了英语文档级的文本，并构建了一个包含2,000份文档的数据集，这些文档均匀分配给了人类撰写的内容与GPT-3生成的内容。语料库构建过程本节将详细介绍语料库的构建过程，该过程包括数据收集、数据翻译、人工检查、人工修正以及语料库的特征分析。下面将对所提出的语料库构建过程进行详细阐述。研究方法本节介绍了乌尔都语短语层面文本重用检测的方法论框架。本研究的主要目标是识别文本重用背景下人类生成文本与人工智能生成文本之间的差异。作为比较的基础，我们采用了基于相似度的表示方法，包括词汇层面与基于变换器的方法。按照目前的设想，该基准语料库将为进一步开发自动检测文本重用的系统提供支持。实验设置本节将介绍用于评估基准方法以及第4.4节中提到的混合相似度框架性能的实验安排，内容包括该框架的实现细节、分类器的设置以及所采用的评估策略。第4节阐述了方法论框架、特征提取策略以及这些策略的实现方式，而本节则重点介绍训练过程以及……结果与分析表4展示了我们在新语料库上进行的短语层面文本重用检测实验的结果。我们将实验分为四类：基于词汇相似度的方法、基于句子变换器的方法、基于大型语言模型的方法，以及我们提出的特征融合模型。每种模型都使用相同的机器学习算法，来判断一对短语是人类改写的还是人工智能改写的。除了定量评估之外，我们还给出了结论与未来工作展望。在本文中，我们首次提出了针对乌尔都语这类形态学极为丰富的低资源语言的短语级人工智能与人类文本重复检测框架。据我们所知，我们的研究还创建了首个基准语料库——乌尔都语衍生对基准语料库，该语料库包含9,908组经过人工筛选的短语对，涵盖了多种不同的重写策略，其中包括由人类编写的短语对以及GPT-4-Mini生成的短语对。通过长达十个月的广泛实验……

CRediT作者贡献说明：伊克拉·穆尼尔：写作——审阅与编辑、写作——初稿撰写、可视化、监督、软件、方法论、研究、概念设计。穆罕默德·卡西夫：写作——审阅与编辑。

利益冲突声明：作者们声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。