针对大型语言模型的序列级水印技术

《Knowledge-Based Systems》：Sequence-level watermarking for large language models

　　

Runnan Si|Xin Xie|Junxiao Wang|Xiulong Liu|Xiaoyi Tao|Xinyu Tong|Sheng Chen|Heng Qi|Keqiu Li

摘要

随着大型语言模型（LLMs）的日益普及，机器生成的文本可能会在互联网上充斥大量虚假内容。文本水印技术通过在LLM生成令牌的过程中嵌入统计信号，提供了一种有效区分人类创作和机器生成文本的方法。这种技术通过使模型偏向于“绿色令牌”来实现——绿色令牌是通过一种秘密哈希机制预先定义的词汇子集。然而，在现实场景中，当水印文本的短片段嵌入到主要由人类编写的内容中时，现有的水印检测器往往无法有效识别这些文本。这种操作会破坏局部令牌分布，使得传统的统计水印方法失效。为了解决这一问题，我们提出了一种基于序列的新型长连续绿色令牌（LR）检测算法，该算法通过定位最长的连续绿色令牌序列来识别机器生成的文本。与依赖于局部令牌频率统计的现有方法不同，我们的算法能够捕捉全局序列级别的模式，从而在混合内容环境中实现对短片段的稳健检测。值得注意的是，尽管我们的方法需要了解具体的水印配置信息，但它既不需要访问模型权重，也不需要重新训练，因此可以方便地应用于任何使用相同水印方案的系统中。通过广泛的实验，我们证明了我们的方法在显著降低误报率的同时，还能加快检测速度，并保持高准确性。