RADS-PDD：基于可复现性感知的动态相似性预训练数据检测方法，用于对抗大语言模型

《Neural Networks》：RADS-PDD: Reproducibility-Aware Dynamic Similarity-based Pre-training Data Detection against LLMs

　　•在只能获取大型语言模型最终输出的实际场景中检测预训练数据。•研究表明，对于已见文本和未见文本，LLM的可重复性在不同生成位置、上下文范围以及表达方式上存在差异。•通过所提出的基于可重复性感知的动态相似度模型，明确体现LLM可重复性的变化，从而最大化已见文本与未见文本之间的差异。•该方法的性能优于仅依赖最终输出的现有最先进检测方法，甚至可与依赖中间输出的检测方法相媲美。

引言
近年来，大型语言模型（LLM）的快速发展得益于Kaplan等人（2020）发现的模型性能与预训练语料规模之间的幂律关系，以及Du等人（2022）、Touvron等人（2023）、Wei等人（2021）、Wang等人（2025b）的相关研究。然而，呈指数级增长的预训练数据源不可避免地包含各种问题内容，如Longpre等人（2024）、Samuelson（2023）、Heidt（2024）所指出的敏感个人信息、Beigi和Liu（2020）、Ziller等人（2024）的受版权保护材料、Chang等人（2023）、Mozes等人（2023）的专有内容，甚至是Cao等人（2024）、Dong等人（2024）的基准测试数据。与此同时，商业LLM提供商越来越不愿透露其预训练数据的来源和构成信息，Yang等人（2023）、Touvron等人（2023）、Achiam等人（2023）、Bai等人（2023）均有相关论述。未经授权使用此类问题内容不仅会侵犯数据所有者的合法权益，还会因测试数据污染而影响模型评估的公平性。此外，预训练数据中存在未经许可的私人信息，还可能让最终用户无意中接触到这些信息，从而带来潜在的法律风险，Kim等人（2023）、Carlini等人（2021）对此有过探讨。鉴于这些问题，近年来针对知名AI公司的诉讼不断增加，这凸显出亟需可靠的方法来检测并证明是否存在未经授权使用的预训练数据。

基于上述问题，越来越多的研究开始聚焦于预训练数据检测领域，Chen等人（2024a）、Das等人（2025）、Maini等人（2024）、Meeus等人（2025）、Fan等人（2025）、Miyamoto等人（2025）都进行了相关探索，其目标就是判断某段可疑文本是否被纳入LLM的预训练数据中，Heidt（2024）、Magar和Schwartz（2022）、Protection（2018）也涉及这一主题。不过，现有的检测方法，如Carlini等人（2021）、Shi等人（2023）、Zhang等人（2025）、Zhang等人（2024）、Xie等人（2024），几乎都依赖于LLM的中间输出结果，比如困惑度或词元概率。典型的方法包括Min-k%算法（Shi等人，2023）和Min-k++%算法（Zhang等人，2025），这类方法认为较低的平均困惑度意味着LLM在训练过程中更有可能接触过该可疑文本；而Recall算法（Xie等人，2024）和Con-Recall算法（Wang等人，2025a）则通过引入扰动，将扰动前后困惑度的较大变化视为检测依据。尽管部分方法具有不错的检测效果，但在实际检测场景中仍不实用，因为商业LLM通常只通过封装后的接口提供最终输出，Widder等人（2024）、Schulze Buschoff等人（2025），导致中间输出无法获取。

目前，只有少数研究开始探索仅基于LLM最终输出的检测方法，He等人（2025）、Kaneko等人（2025）便是其中的代表。例如SaMIA方法（Kaneko等人，2025）会让LLM根据给定的文本前半部分复现后半部分，然后通过n-gram重叠率计算句子层面的词汇相似度来进行检测。PETAL方法（He等人，2025）则让LLM逐字复现可疑文本中的词元，再计算词元层面的语义相似度，随后通过从开源LLM学习得到的线性函数，将词元级的语义相似度转换为词元级的概率用于检测。这些方法的局限性不仅在于所选择的词汇相似度或语义相似度指标，更根本的是，它们将复现行为简化为静态的相似度分数，从而忽略了复现过程中可重复性存在的动态变化。然而实证证据表明，如图1所示，已见文本和未见文本的可重复性存在差异——比如在复现“阿波罗11号于1969年7月20日登陆月球”这一已见文本时，LLM可能会输出“双子座12号于1969年7月20日登陆了一颗月球”。由于后者拥有更长的上下文，相比前者来说，更易于准确复现。但在复现未见文本时则不会出现这种趋势。因此，在通过相似度量化可重复性进行检测时，后者在区分已见文本和未见文本方面起着比前者更为关键的作用。SaMIA和PETAL方法忽略可重复性的动态特性，仅用静态相似度来衡量恒定的可重复性，只能发现已见文本和未见文本之间微小的差异，进而限制了检测效果。

与检测整份文档相比，检测单个句子的预训练数据面临更多独特挑战。由于单个句子在预训练阶段通常只出现一次，且缺乏相关的上下文线索，LLM对其的记忆通常较为薄弱，Hoffmann等人（2022）、Muennighoff等人（2023）有相关研究。此外，文档级别的检测方法虽然可以通过整合多个样本的信号来降低方差、提高区分度，但句子级别的检测必须完全依靠每个样本自身检测信号的强度。而在实际检测场景中，由于只能获取LLM的最终输出，这一难度进一步提升。尽管如此，此前关于LLM记忆能力的研究表明，更长的上下文能更有效地促使LLM记住已见文本，Kiyomaru等人（2024）、Krause等人（2018）、Carlini等人（2022）都有相关成果。基于这一观察，我们通过实证分析了在逐字复现过程中，已见文本和未见文本的LLM可重复性在生成位置、上下文范围以及表达方式上的差异，得出了三个关键结论：其一，越靠后的生成位置区分度越高，因为已见文本在获得更多真实上下文后，复现精度往往会提升，而未见文本的复现精度则相对稳定；其二，已见文本往往能实现更长范围的连续正确复现，而未见文本则无法做到；其三，即使在已见文本中，低频表达也很难被复现，而高频表达即便在未见文本中也能轻松复现。除了预训练数据检测之外，近期还有研究探索了利用LLM生成动态特性的概率驱动机制，比如POMP方法（Pan等人，2024）。虽然与我们的“动态”概念存在关联，但我们的研究重点在于建模可重复性的变化以实现检测，而非优化或引导生成过程。

基于上述结论，我们提出了RADS-PDD，这是一种基于可重复性感知的动态相似度框架，专门用于严格的黑箱预训练数据检测。RADS-PDD并非将复现相似度视为静态分数，而是明确建模可重复性的变化，从而仅通过最终输出就能扩大已见文本和未见文本之间的复现相似度差距。为了实现这一框架，我们设计了三种可解释的、基于可重复性感知的机制：位置增益权重、连续增益权重以及三元组出现概率。具体而言，位置增益权重强调了相似度增益会随着生成位置的向后移动而增加，因为在更靠后的位置，LLM对已见文本的复现能力比對未见文本更强；连续增益权重则为复现过程中连续的正确片段赋予额外的相似度增益；三元组出现概率则会根据表达的稀有程度进一步调整每个复现结果的贡献，放大更具区分度的稀有表达，同时抑制那些可通过通用语言规律生成的常见表达。RADS-PDD通过逐字复现过程中的动态相似度来量化可重复性的变化，这种方式能够产生比静态相似度更大的可重复性差距，从而更精准地区分已见文本和未见文本。

我们在两个具有代表性的数据集上开展了大量实验，分别是Shi等人（2023）的WikiMIA数据集以及难度更高的Duan等人（2026）的MIMIR数据集，这些数据集涵盖了多种不同的LLM、模型规模、文本长度以及数据领域。实验结果给出了以下四点发现：其一，RADS-PDD的性能始终优于那些仅依赖最终输出的方法；其二，其性能可与依赖中间输出的方法相媲美；其三，WikiMIA数据集和MIMIR数据集在检测难度上存在显著差异；其四，随着模型规模的增大，大多数检测方法的性能都会提升，相应的检测性能差距也会变大。我们还研究了三种基于可重复性感知的机制对RADS-PDD检测性能的影响，发现其灵敏度会因数据集而异，但在不同LLM和模型规模下的性能相对稳定。最后，我们探讨了RADS-PDD中两个关键超参数——样本数量以及出现概率类型——对检测性能的影响。

我们的主要贡献如下：
•我们发现LLM的可重复性并非恒定不变，已见文本和未见文本的可重复性存在差异，这一结论通过实证分析得出了三个重要见解：复现过程中的可重复性会随生成位置、上下文范围以及表达方式而变化。这些发现为衡量LLM的记忆能力提供了具有实践意义的参考。
•基于可重复性的动态特性，我们提出了RADS-PDD，这是一种基于可重复性感知的动态相似度框架，专门用于严格的黑箱预训练数据检测。该框架通过三种可解释的机制来建模可重复性的变化，仅利用LLM的最终输出即可捕捉位置、上下文范围以及表达方式层面的差异。
•在多个代表性基准数据集上进行的广泛实验，涵盖了不同类型的LLM、模型规模、文本长度以及数据领域，均证明了RADS-PDD具备更出色的性能，同时也体现了其稳健性和实用性。

本文的其余结构如下：第2节介绍初步背景，包括预训练数据检测问题的正式定义以及复现流程；第3节详细阐述所提出的RADS-PDD方法；第4节介绍实验设置与结果；第5节回顾相关研究；第6节对全文进行总结。

相关研究
近年来，由于版权侵权（Chang等人，2023；Mozes等人，2023）、数据集污染（Cao等人，2024；Dong等人，2024）、记忆能力测量（Carlini等人，2022）以及隐私审计（Yao等人，2024）等现实问题，针对LLM预训练数据检测的研究速度不断加快。从实际应用角度出发，现有的检测方法可根据是否需要中间输出分为灰盒方法和黑箱方法。

针对LLM的预训练数据检测
预训练数据检测的目标是确定某段可疑文本是否被纳入LLM的预训练数据中。虽然之前的研究通常假设可以获取LLM的中间输出，但在实际的商业LLM应用中，这类中间输出往往无法获取，这一假设并不现实。因此，预训练数据检测问题应该在一个更为严格且符合实际的场景下定义，即仅考虑...

概述
在只能获取LLM最终输出的实际预训练数据检测场景中，一个基本的假设是，如果LLM在预训练阶段接触过某段文本，它就会对该文本保留一定的记忆，这样一来，与之前未接触过的文本相比，它能实现更精确的复现。不过，由于单个文本在预训练阶段通常只出现一次，且缺乏...

实验评估
我们在两个具有代表性的基准数据集上开展了大量实验，分别是Shi等人（2023）的WikiMIA数据集和Duan等人（2026）的MIMIR数据集，这些数据集涵盖了不同模型规模和数据领域的各类LLM。评估时考虑了多种指标，包括AUC值、准确率以及在低假阳性率条件下的真正率，并将RADS-PDD与众多最先进的检测方法进行了对比。实验结果表明，RADS-PDD的性能始终优于那些仅依赖最终输出的最先进检测方法，其性能可与最先进的检测方法相媲美。

阈值τ的敏感性
据我们所知，现有的灰盒方法和黑箱方法仍然无法为不同LLM和数据集之间的阈值泛化提供有效的解决方案，这是该领域一个极具挑战性的研究问题。为了分析决策阈值τ的敏感性，我们研究了MIMIR数据集上不同数据领域的ROC曲线，如图12所示，以及WikiMIA数据集上不同LLM的ROC曲线，如图13所示。对于每一组设置，能够达到最高阈值的τ值……结论在本文中，我们提出了RADS-PDD，这是一种针对大型语言模型进行预训练数据检测的新方法，它通过明确建模复制过程中的可重复性变化来实现这一目标。RADS-PDD利用三种注重可重复性的机制：位置增益权重、持续增益权重以及三元组出现概率，以此扩大已见文本与未见文本在复制相似度上的差距。在WikiMIA和MIMIR基准测试上的大量实验表明，RADS-PDD的表现始终优于那些黑箱式的方法……未引用的浮点数表3.C作者贡献说明范欣：撰写——初稿、方法论、概念设计。宫本龙人：形式分析。范默：数据整理。陈崇贤：研究工作。松本恒夫：监督指导。木户冬子：监督指导。山名隼人：撰写——审阅与编辑、监督指导、项目管理。利益冲突声明作者们没有与本文内容相关的需要声明的利益冲突。致谢资助：本项目得到了日本科学技术机构（JST）SPRING计划[项目编号JPMJSP2128]的支持。范欣|宫本龙人|范默|陈崇贤|松本恒夫|木户冬子|山名隼人