新闻标识器：使用统计方法和强大的双向长短期记忆网络（Bi-LSTM）来识别人工智能生成的内容

《Neurocomputing》：NEWS-identifier: Identifying AI-generated content using statistical and robust Bi-LSTM

　　

摘要

在线社交网络已成为持续生成大量人工智能（AI）生成/人类创作内容不可或缺的工具。然而，尽管取得了这些进展，AI生成的内容仍然引入了对抗性示例，并在可靠性方面带来了重大挑战。可靠地理解此类内容对于自然语言处理和社交计算任务至关重要，它在错误信息识别、社交媒体分析以及影响公共讨论方面发挥着核心作用。因此，识别AI生成的内容并将其与人类编写的内容区分开至关重要。此外，尽管深度学习模型在AI内容检测方面表现出强大的能力，但其安全风险尚未得到充分探索。为了解决这个问题，本文提出了NEWS-identifier，这是一种两阶段的AI内容检测方法，可以增强对改写攻击的检测能力。首先，开发了一种结合统计和深度学习方法的层次化算法来检测AI生成和人类编写的内容。其次，基于双向长短期记忆（Bi-LSTM）的检测器通过加密认证来保护检测器的隐私。广泛的实验结果表明，与现有最佳方法相比，NEWS-identifier显著提高了检测准确性，同时保持了检测模型对攻击的完整性。消融研究进一步验证了检测器的设计选择。

引言

在数字时代，在线社交网络已成为持续生成大量AI生成/人类创作内容不可或缺的工具。此外，像LLaMA [1]、GPT [2] 和 BERT [3] 这样的流行大型语言模型在问答任务和生成类似人类文本方面展示了强大的潜力 [4]。目前，随着移动网络和智能手机的广泛使用，人们可以随时随地在各种在线社交媒体平台上分享他们的体验和互动。这些平台已成为AI生成/人类创作内容传播的重要媒介。然而，尽管取得了这些进展，AI生成的内容仍然引入了对抗性示例，并在可靠性方面带来了重大挑战。可靠地理解此类内容对于自然语言处理和社交计算任务至关重要，它在错误信息识别、社交媒体分析以及影响公共讨论方面发挥着核心作用。AI生成的内容可能被用于传播错误信息、制作虚假学术论文、冒充个人以及影响公共讨论 [5]。因此，识别AI生成的内容并将其与人类编写的内容区分开至关重要。这表明需要有效的AI生成内容检测机制。图1展示了AI生成内容在多个领域的应用，包括社交媒体内容创作、教育和电子学习、医疗保健、新闻和出版、游戏和娱乐、电子商务等。

最近的研究表明，86%的网络钓鱼活动直接或间接使用了AI [6]。由于生成式AI的使用不断增加，网络钓鱼和在线欺诈造成的全球损失已超过125亿美元 [7]。大约70%的网络安全专业人士报告观察到生成式AI被用于恶意软件脚本编写和自动化攻击生成 [8]。AI生成的恶意软件可以通过代码混淆技术绕过传统的基于签名的检测 [9]。此外，由AI驱动的错误信息传播在社交媒体平台上的传播速度几乎是准确信息的六倍 [10]。研究还报告称，某些网站上发布的超过30%的评论可能是由AI生成的垃圾信息和虚假内容造成的 [11]。值得注意的是，基于统计和深度学习的方法在识别AI生成的内容并将其与人类编写的内容区分开方面发挥着重要作用 [12]。统计方法，包括Giant Language Model Test Room (GLTR) [13]，依赖于令牌概率分布、熵和困惑度指标。尽管这些方法在计算上高效，但它们缺乏语义理解，并且容易受到改写攻击的影响 [14]。相比之下，深度学习技术利用神经架构来捕捉文本数据中的上下文依赖性 [15]，[16]。然而，这些模型在计算上代价高昂，并且仍然容易受到对抗性操作的影响 [17]。还开发了水印技术，将可检测的信号嵌入到生成的文本中 [18]。尽管如此，这些方法往往缺乏对文本变换（如改写）的鲁棒性 [19]。

尽管取得了这些进展，现有方法在实际应用中仍然存在两个主要缺陷：

• •
  大多数AI内容检测方法仅依赖于统计方法或深度学习技术，限制了它们有效区分AI生成内容与人类编写内容的能力。
• •
  尽管深度学习方法在AI内容检测方面表现出强大的能力，但其安全风险尚未得到充分探索，这限制了它们在复杂应用中的可用性和部署。

基于上述分析，我们提出了NEWS-iterator，这是一种两阶段的AI内容检测方法，充分利用了统计和深度学习方法的互补优势。该方法旨在不仅提高检测准确性，还分析检测模型对攻击的完整性。本文的主要贡献总结如下：

• •
  提出了一种结合统计和深度学习方法的混合AI内容检测框架，增强了对改写攻击的抵抗力。
• •
  整合了安全哈希算法（SHA-256）指纹识别、混沌密钥生成和高级加密标准（AES）加密，以保持检测模型的完整性并提高对攻击的整体安全性。
• •
  广泛的实验结果表明，NEWS-iterator在检测准确性方面显著优于竞争方法，同时增强了检测模型对攻击的安全性。消融研究进一步验证了检测模型的设计选择。

节片段

相关工作

本节介绍了几种代表性的AI生成文本检测解决方案，包括统计方法和基于深度学习的方法，并强调了它们的局限性以及我们的工作如何解决这些问题。现有的AI生成文本检测方法大致可以分为统计检测方法、基于水印的技术以及基于深度学习或变换器的检测框架。在[20]中提出了一种基于Bi-LSTM和注意力机制的框架

提出的方法

在本节中，我们详细介绍了提出的NEWS-identifier。如图2所示，NEWS-identifier的总体架构包括四个精心设计的模块：(1) 以语义保留的方式将水印信息嵌入到AI生成的文本中；(2) 通过统计指标（困惑度、熵和突发性）来识别AI内容。如果置信度足够高/低，系统将直接返回相应的判断。

实验结果与分析

我们在DollyGPT [31]和C4语料库 [32] 上进行了实验，其中分别包含15,000个AI生成的样本和15,000个人类编写的文本样本。数据集通过分层抽样随机被打乱并分为训练集、验证集和测试集，以保持类别平衡。大约70%的样本用于训练，其余的15%分别用于验证和测试。模型性能通过五个关键指标进行评估

结论

在本文中，我们提出了NEWS-identifier，这是一种两阶段的AI内容检测方法，旨在解决AI/非AI内容检测准确性和模型完整性方面的挑战。我们提出了一种混合检测框架，能够在统计和深度学习环境中进行AI内容检测，增强了对改写攻击的鲁棒性。此外，我们整合了SHA-256指纹识别、混沌密钥生成和AES加密，以确保模型完整性并提高整体安全性

CRediT作者贡献声明

Nishant Kumar：撰写 - 原始草稿、软件、方法论、调查、概念化。Amit Kumar Singh：撰写 - 审稿与编辑、监督、软件、调查、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。

Nishant Kumar目前是印度比哈尔邦帕特纳国家技术学院计算机科学与工程系的博士研究生。他的研究兴趣包括人工智能、大型语言模型、AI内容检测、水印技术、深度学习等。

Nishant Kumar|Amit Kumar Singh

印度比哈尔邦帕特纳国家技术学院计算机科学与工程系