新颖性与非新颖性雪崩动力学中的普遍性及关于希普斯定律的几点注记

《Physical Review Research》：Universalities in the avalanche dynamics of novelties and non-novelties and some notes on the Heaps law

　　前所未有的事件与过去的重复在自然现象和人类活动中交织在一起。关键统计规律，如希普斯定律（Heaps' law）、泰勒定律（Taylor's law）和齐普夫定律（Zipf's law），已被认定为刻画了新颖性涌现和重复元素丰度所依赖的动力学过程的特征。观察这些统计规律对于推动寻找能够解释它们并阐明新元素出现及其后续再现的关键机制的建模方案至关重要。在本研究中，我们分析了现实世界系统中新颖元素和非新颖元素的序列，即雪崩。我们表明，雪崩统计提供了对创新动力学的补充刻画，超越了上述三个基本定律。尽管源于集体动力学，某些系统却表现为单个随机过程的实例。其他系统，如自然语言，则表现出我们只能通过不同动力学的叠加来解释的特征。这种区别在仅考虑希普斯定律时并不明显，而在雪崩统计中却清晰显现。通过解释这些经验观察，我们还推进了对基于瓮的模型的理论理解，这些模型成功再现了与希普斯定律、齐普夫定律和泰勒定律相关的观察行为。我们推导出精确描述雪崩概率分布和超出渐近区域的希普斯定律的解析表达式。基于这些结果，我们推导出一个标度关系，并证明其在现实世界系统中也成立，表明新颖性动力学中存在一种普适性形式。I. 引言

创新和新颖性日益被认为是深入了解与人类活动、社会行为和生物进化相关的系统的有价值视角。从经济增长到集体知识的构建，再到语言结构的出现，人们已投入多种努力来理解和解释推动社会变革与创造力的机制。我们都记得一种新型病毒的出现和传播如何引发了新的社会习惯和态度，进而影响了环境意识。这种级联效应往往标志着不那么戏剧性的事件：与新合作者的对话可能导致新研究方向的开启，聆听一位不知名艺术家的歌曲可能激发对其全部作品的兴趣，或者对话中不经意间提到的一个词可能引发新的讨论话题。我们立即注意到，有时我们提及真正的创新，有时则提及新颖性——前者指在全球范围内对世界而言是新的东西，后者指在局部范围内对个人或群体而言是新的采纳或体验。在接下来的讨论中，我们将把创新和新颖性放在共同的基础上处理，因为它们的动力学表现出共同的行为，尽管它们是不同的概念。

让我们将一个创新系统描述为元素或事件的有序序列。这一视角涵盖多种不同的系统，从群体中采样的基因序列到网站用户收听的歌曲序列，从组成一本书的单词序列到社交网络中的联系人序列。在这个观点下，三个基本定律成立：希普斯定律、齐普夫定律和泰勒定律。希普斯定律描述了新颖性或创新的涌现率，并与齐普夫定律相关，后者描述了系统中不同元素的频率分布。泰勒定律最初在生态学中引入，将种群密度的方差与其均值联系起来。偏离比例关系表明个体分布中存在相关性；具体而言，方差增长快于均值是自然种群中个体间相互吸引的信号。在语言框架以及更广泛的创新系统中，泰勒定律被应用于从系统开始到某一时刻所涌现的创新数量的方差与均值之间的关系。结果表明，方差约按均值的平方增长，指向新颖性涌现中的正相关性。

在这里，我们通过考虑连续的新颖性和非新颖性序列的出现，即新颖性和非新颖性的雪崩，从统计角度明确处理创新在时间发生上的相关性。雪崩指的是表现出随机分布的事件，其间散布着不活动或不同性质的事件。由于它们在性质截然不同的系统中的广泛存在——从地震的典型范例，到磁滞现象、结构相变、塑性变形、颗粒剪切、内部滑动，以及神经活动和人类与蚂蚁的移动性——雪崩受到了广泛关注。雪崩的显著量，如大小和持续时间，通常被观察到在非平凡系统中以幂律形式呈现统计分布。这种行为通常与某些临界点的存在和某种形式的标度相关；即，在给定系统中，与不同系统参数相关的分布如果表示为适当变量的函数，则可以坍缩到单一、普适、不变的形状上。这指向了普适行为的存在。此外，已有研究指出，表现出相似雪崩分布的系统有时具有不同的事件间时间分布，这表明后者可以提供补充性的刻画，有助于理解过程的动力学并区分不同的假设和模型。

在这里，我们研究了几个创新系统中新颖性和非新颖性的雪崩统计。我们将新颖性雪崩定义为仅由连续新颖性组成的序列。特别关注的是两个连续新颖性之间的间隔（或时间间隔），我们也称之为非新颖性雪崩，即仅由连续非新颖性组成的序列。虽然新颖性雪崩非常短，但非新颖性雪崩的长度跨越了多个数量级，因此它们的分布为了解潜在动力学和评估生成模型的适用性提供了有益的见解。

我们发现，在前文讨论的三个基本定律——希普斯定律、齐普夫定律和泰勒定律——方面行为相似的系统，在新颖性和非新颖性的雪崩统计方面表现出不同的行为。特别地，在所考虑的系统之中，一些系统表现出一种具有指数类衰减特征的时间间隔分布形式。相比之下，其他系统则具有更肥的尾部。此外，英文书面文本语料库显示出两个幂律区间之间的明显交叉。

为了深入了解这些结果，我们参考了文献[9]中提出的一类基于波利亚瓮的模型，这些模型成功解释了上述三个基本定律，并作为创新系统和复杂网络分析中各种研究的参考模型。我们将特别关注具有触发机制的瓮模型（UMT）及其一个表现出可交换性的特定版本，在此称为UMT-E，它提供了两参数泊松-狄利克雷过程或皮特曼-约尔过程的瓮表征，并最近被用于推理问题。对UMT-E模型的关注是由其解析便利性所驱动的。然而，我们在补充材料的第8节中表明，参考一般的UMT模型以及其推广模型——考虑语义相关性的语义触发瓮模型（UMST）——也可以获得相同的结果。

通过UMT模型的视角，我们发现雪崩大小统计使我们能够区分虽然由许多个体的贡献产生但可以描述为单一集体动力学的过程，以及需要明确描述为个体动力学叠加的过程。特别地，对于具有近指数尾部的数据集，我们发现观察结果与模型预测完全一致。同时，我们认为肥尾分布是集体动力学的输出。

此外，我们观察到，在个体动力学的叠加可以解释观察到的雪崩统计的情况下，UMT的单个实现仍然可以再现它，尽管需要与再现该过程希普斯定律不同的参数。这一观察有助于理解个体与集体创新率之间的关系。

作为分析的支持，并作为其本身的价值，我们提供了希普斯定律在UMT模型中超出渐近指数的解析表达式，以及新颖性和非新颖性雪崩大小分布的解析表达式。我们首先讨论UMT-E的预测，其中可以写出表示希普斯定律的不同元素平均数量作为序列长度函数的闭式表达式。此外，我们提供了一般非可交换版本UMT的预测，其中可以写出希普斯定律的逆关系，即给定数量不同元素所对应的平均时间。可以通过将该精确关系逆推到主阶来恢复文献[9]中提供的渐近关系。此外，我们表明逆关系足以获得新颖性和非新颖性的雪崩大小分布。作为最终结果，我们从UMT模型预测了一个雪崩分布的标度关系，并将其成功应用于所考虑的系统。

我们如下组织本文。结果部分II包含三个主要部分。首先，我们报告并评论了若干具有创新特征的系统中新颖性和非新颖性雪崩大小统计的结果。我们将这些结果与UMT模型的预测进行对比。其次，我们给出了所考虑的主要观测量的解析结果，即不同元素数量作为序列长度的函数（表达希普斯定律），以及新颖性和非新颖性雪崩长度的概率分布。最后，我们从UMT-E模型推导出雪崩分布的标度关系，并在所有考虑的系统以及一般UMT和推广的UMST模型中对其进行测试。我们在所有案例中都发现了与理论预测的惊人一致性。随后是方法部分III，详细介绍了数据分析和数值模拟中采用的技术。补充材料提供了更多细节。

II. 结果

A. 真实数据中的新颖性和非新颖性雪崩

创新是一个间歇性过程，对于这个过程，现实系统处于探索邻近可能性的驱动力与利用已知事物的需求之间。有序序列可以根据其性质划分为子序列，由新的或非新的元素组成，从而可以定义新颖性和非新颖性的雪崩。新颖性雪崩是由系统新元素组成的子序列，左右两侧由非新元素界定。非新颖性雪崩是由系统非新元素组成的子序列，左右两侧由新元素界定。图1示意了连续新颖性或非新颖性的子序列。非新颖性雪崩可以理解为两个新颖性之间的间隔，反之亦然。在下面的讨论中，我们将交替使用这些表述。

图1. 事件序列的示意图（从左到右流动），其中突出显示了新颖性雪崩和非新颖性雪崩。上图：虚线圆圈包围的彩色球代表新颖性，即到该时刻为止从未在序列中出现的元素；没有轮廓线的彩色球代表非新颖性，即已经存在的元素。每种颜色代表一个不同的元素，根据上下文，它可以是单词、歌曲、编辑、标签等。下图：与上图相同，但我们仅通过新颖性（白球）或非新颖性（红球）来表征元素。

我们在此分析了四个与网络中介的人类活动相关的数据库（LastFM、GitHub仓库、Twitter标签、维基百科）和一个与非网络中介的文化生产相关的数据集（数字化英文书籍的古腾堡语料库）中新颖性和非新颖性雪崩的大小分布。此外，根据参考文献[11]的结果——该研究表明扩展到相邻可能空间可以解释社交网络中的人类动力学——我们还分析了Twitter和GitHub数据集中用户活动序列的雪崩统计。所有被考虑的系统共享由Zipf、Heaps和Taylor定律[9,18,56]所表示的常见统计特征。我们可以将每个数据集形式化为一个序列，其中元素，我们可以将每个索引视为离散时间，而可以取的值取决于数据集：在书籍和维基百科页面的情况下，一个元素是一个单词；在Twitter话题标签的情况下，一个元素是一个话题标签；在GitHub的情况下，一个元素是一个代码仓库；在Twitter和GitHub用户数据集的情况下，一个元素是一个人；在LastFM中，一个元素是一首歌。

如果它是一个新颖性，即如果它的值没有在时间处出现在序列中，则给每个元素标记一个标签，否则标记。例如，在古腾堡和维基百科数据集中，新颖性是指读者按给定的顺序一次性阅读页面或书籍序列时第一次读到的单词；在Twitter和GitHub的用户活动序列中，新颖性是指首次出现在数据集中的用户，等等。我们将在第三节中提供数据集的详细信息。

我们将大小为（或长度为）的新颖性雪崩称为一个由连续元素组成的子序列，该子序列的标签为0，并且前后至少各有一个标签为1的元素；对于非新颖性雪崩则相反。正如预期的那样，新颖性雪崩很小，只跨越一个数量级。我们在图2中报告了所考虑数据集的新颖性雪崩大小分布以及UMT-E模型的相应结果。

图2. 新颖性的雪崩大小分布。我们展示了经验数据集的结果，并将它们与通过解析计算和数值模拟获得的UMT-E模型的预测进行对比。用于UMT-E模型预测的参数是从经验数据集的Heaps定律拟合中获得的，我们在每个数据集的方括号中报告了这些参数。(a) GitHub用户。(b) GitHub仓库。(c) Twitter用户。(d) Twitter。(e) 。(f) 维基百科语料库。(g) 古腾堡语料库。我们将古腾堡和维基百科的序列截断为长度。

更有趣的是非新颖性的雪崩，或者等价地，连续两次新颖性之间的间隔时间分布，因为它们跨越了几个数量级。我们在图3中显示了它们，以及来自UMT-E模型的理论预测和相应的数值模拟。

图3. 非新颖性的雪崩大小分布。该图是图2对应非新颖性雪崩的类比图。

为了设置模型参数，我们使用下面讨论的理论预测来拟合Heaps定律（请参考补充材料[55]第1节中的拟合）。我们使用获得的参数值从UMT-E生成序列，并在雪崩大小统计的解析估计中使用它们。

我们观察到，该模型完美地再现了GitHub和Twitter数据集所显示的行为，这些行为与用户的生产和活动有关[图3(a)–3(d)]。LastFM中的间隔时间分布[图3(e)]的特征是尾部比模型再现的稍长，而在古腾堡和维基百科数据集中，它的特征是肥尾[图3(f)和3(g)]。尽管两者都涉及书面英语，但最后两个语料库显示出明显的差异。古腾堡语料库的间隔时间分布显示出具有双斜率的幂律行为，这在维基百科语料库中是不存在的。为了更好地理解这种差异的起源，我们研究了单本书和单个维基百科页面的行为。我们发现，UMT-E模型完美地再现了单个维基百科页面的雪崩大小统计[图4(a)]。相反，单本书表现出短雪崩大小的轻微过剩和比模型对应序列稍肥的尾部，但比整个语料库的尾部要薄[图4(b)]。（有关更多示例，请参阅补充材料[55]第3节。）

图4. 自然语言语料库中非新颖性的雪崩大小分布。顶部：我们将经验数据集的结果与通过解析计算和数值模拟获得的UMT-E模型的预测进行对比。用于UMT-E模型预测的参数，在方括号中报告，是从相应经验数据中拟合Heaps定律获得的：(a) 单个维基百科页面；(b) 一本书。中部：我们将经验数据集的结果，即(c)维基百科语料库和(d)古腾堡语料库，与如正文所述堆叠在一起的UMT-E模型的多次实现的数值模拟预测进行对比。在维基百科的情况下，我们考虑了超过500个单词的序列。底部：我们将经验数据集的结果与通过解析计算和数值模拟获得的UMT-E模型的预测进行对比。用于UMT-E模型预测的参数，在方括号中报告，是从相应经验数据中非新颖性雪崩大小分布的拟合获得的：(e) 维基百科语料库；(f) 一本书。

因此，我们假设维基百科和古腾堡语料库中间隔时间分布的肥尾分别源于单个维基百科页面或单本书的不同动力学的卷积。为了检验这一假设，我们设计了一个实验，在该实验中，我们分别拟合古腾堡语料库中所有书籍的Heaps定律。然后，我们使用拟合参数从UMT-E模型生成序列，并将它们一个接一个地堆叠起来形成一个独特的序列，就像真实数据一样。我们在维基百科页面上进行了相同的实验。该过程需要生成序列中的元素与单词之间适当的映射（我们将完整的分层模型留作进一步研究，超出本工作的范围）。在这里，我们使用直接映射，通过将生成序列中最受欢迎的元素与相应书籍或维基百科页面中最受欢迎的单词标识，第二受欢迎的元素与第二受欢迎的单词，依此类推（请参阅第三节）。我们在图4(c)和4(d)中分别展示了这些实验对于维基百科和古腾堡语料库的结果。我们可以看到，合成数据完美地再现了这两个数据集分布的肥尾。相反，在古腾堡语料库中观察到的短长度下的幂律行为并不能由裸UMT模型解释。

作为最后的评论，我们注意到，如果我们放宽模型还应拟合Heaps定律的约束，则整个维基百科语料库和单本书的间隔时间分布可以很好地由具有合适参数值的单个UMT-E过程再现[图4(e)和4(f)]。整个维基百科语料库与单本书之间的这种类比表明，单本书中不同主题的共存可能在塑造文学语料库中的雪崩统计方面发挥关键作用。

在下一节中，我们将推导出Heaps定律和UMT-E以及一般UMT模型的雪崩统计的理论预测。

B. 具有触发机制的瓮模型的预测

在参考文献[9]提出的基于瓮的模型中，事件序列是通过从包含所有可能结果的瓮中重复提取而构建的。瓮的内容随着系统的演化而变化，始终允许全新元素的进入。根据上下文，瓮中的元素代表以下内容：书籍或维基百科页面中的单词、音乐网站上听过的歌曲、协作软件项目中的编辑、Twitter上的话题标签，等等。从瓮中提取的元素序列表示已实现的历史。

1. 模型

UMT是参考文献[9]中引入的生成模型。它受相邻可能扩展[57]的启发，作为新颖性出现的框架，并预测Heaps、Zipf和Taylor定律的幂律[9,18,19]。

该过程从一个包含种不同颜色的球的瓮开始。通过从瓮中顺序随机提取球来获得一个实现。每次提取一个球时，它被附加到序列中，其颜色被强化，将它的个副本放入瓮中。此外，如果该颜色是新颖性，即它首次出现在序列中，那么还将在瓮中添加个全新颜色的不同球（触发式创新过程）。现在让我们考虑通过修改新颖性的强化参数来稍微推广模型。特别地，如果提取的元素是非新颖性，则可以使用强化参数；如果提取的元素是新颖性，则可以使用强化参数。这种变化不会影响Heaps、Zipf和Taylor定律的渐近指数[9]。当时，我们回到了原始UMT模型。相反，通过固定，在的情况下，使得每次插入瓮中的球数是恒定的，无论抽取的是新元素还是旧元素，模型变为可交换的，这意味着任何生成序列的概率仅取决于序列中每种颜色的数量（独立于颜色本身），而不取决于它们出现的顺序。模型的交换版本UMT-E被证明[18,19]是双参数泊松-狄利克雷过程的瓮表示。在图5中，我们强调了UMT和UMT-E模型之间的区别。

图5. UMT过程及其交换版本UMT-E的示意图。(a) 最后提取的元素（青色球）已经出现在序列中；即它是非新颖性的。只有强化过程发生：在两种模型中我们都将个青色球的副本插入瓮中。(b) 最后提取的元素（青柠色球）从未出现在序列中；即它是新颖性的。在这种情况下，强化和触发过程都会发生。触发过程对两种模型是相同的：我们将个新的不同元素（其颜色在瓮中不存在）插入瓮中。相反，强化过程区分了两种模型：在UMT中，我们引入最后附加球的个副本，而在UMT-E中，我们只引入它的个副本。请注意，在UMT-E模型中，我们在每一步引入相同数量的球到瓮中，与最后提取的球无关。

对于任何值，该模型预测Heaps和Zipf定律的渐近幂律，形式分别为和，其中是长度为的序列中不同元素的平均数量，是排名的元素的比例，其中元素根据其频率从最高到最低排序。指数取决于创新与强化的相对重要性，通过比率，并且当时，以及当时，[9]。此外，该模型还预测Taylor定律，具有关系，其中当时，如真实数据中近似观察到的，并且当时涵盖所有指数在1和0.5之间，值0.5表征创新一个接一个独立进入的过程[18,19]。

渐近指数足以表征Heaps、Zipf和Taylor定律。然而，为了提供新颖性和非新颖性雪崩分布的解析表达式，我们需要更进一步，寻求在小时也有效的的表达式。初始球数是精确形式的关键参数，也是雪崩统计形状的关键参数（见图8）。

2. UMT-E中的Heaps定律

模型的交换版本（UMT-E）允许对平均不同元素数量作为总元素数量的函数进行显式表达。我们可以求解连续时间微分方程

(1)

初始条件为。我们得到 (2)其中在最后一个表达式中，我们使用了恒等式 和 来强调可交换UMT-E模型仅依赖于两个参数，并更清晰地展示其与双参数泊松-狄利克雷过程之间的联系，如参考文献[18,19]中所讨论的。我们注意到，公式(2)中的结果可以通过取长序列极限，从双参数泊松-狄利克雷过程的精确解[58]中推导出来，或者也可以从参考文献[59]中关于三角瓮模型的结果推导出来，但这种方式不那么直接。在图6中，我们展示了公式(2)的理论结果与不同比值 下的模拟结果的对比[图6(a)]和 的对比[图6(b)]。此外，在补充材料的第5节[55]中，我们报告了公式(1)在初始条件 下的解，该解在 时更接近经验曲线。图6. UMT-E中的希普斯定律。我们展示了UMT-E数值模拟得到的希普斯定律结果，以及相应的解析预测。(a) 我们固定 和 ，并通过在整数范围[2, 5)内移动 来考虑不同的比值 。(b) 我们固定 ， 跨越从 到 的不同数量级。所有由数值模拟生成的序列长度均为 。 3. 一般UMT中的希普斯定律我们在此提供一般UMT的反函数关系 ，其中 是任意定义。在一般情况下，该关系无法反演以提供 的精确表达式。我们提供了通过反演 得到的 的首项表达式，并讨论其与参考文献[9]中渐近结果的关系。接下来让我们考虑 的一般UMT模型。 的连续时间方程写作 (3)其中 ，当 时我们恢复UMT-E模型，当 时我们恢复原始UMT模型。我们转而求解反演方程 (4)可以将其写为 (5)这清楚地表明其本质是一个非齐次一阶线性微分方程。采用标准方法求解并施加初始条件 ，我们得到解： (6) 我们在图7中展示了公式(6)给出的理论预测与不同 值下的模拟结果高度吻合。图7. 一般UMT中的希普斯定律。我们展示了UMT数值模拟得到的希普斯定律结果，以及相应的解析预测。我们将参数值设为 和 ，并在范围[0, 1, 3, 5]内变化 。连续线代表正文中讨论的理论预测。所有由数值模拟生成的序列长度均为 。我们还提供了 的近似表达式，通过反演 并保留 中的首阶项得到： (7)我们注意到，公式(7)中的表达式与参考文献[9]中给出的表达式相差一个乘法因子。参考文献[9]中推导的渐近表达式是通过忽略参数 得到的，该参数代表瓮中初始球的数量，因此无法解释其效应。然而，该参数在塑造雪崩尺寸统计中起着关键作用（参见图8）。在补充材料的第5节[55]中，我们比较了使用公式(7)近似表达式得到的希普斯定律预测以及雪崩尺寸统计与使用参考文献[9]中渐近解得到的结果。我们还在补充材料的第5节[55]中报告了通过施加初始条件 得到的公式(7)的对应形式，表明其在 时更接近经验曲线。图8. UMT-E中非新颖性的雪崩尺寸分布。我们展示了UMT-E数值模拟的结果，以及相应的解析预测。(a) 我们固定 和 ，并通过在整数范围[2, 5]内移动 来考虑不同的比值 。(b) 我们固定 ， 跨越从 到 的不同数量级。所有由数值模拟生成的序列长度均为 。 4. UMT-E中的雪崩统计我们首先关注非新颖性雪崩尺寸的概率分布，然后以类似的方式推导新颖性的相应概率。如上所述，如果元素是新颖性，则标记为 ；如果不是新颖性（即非新颖性），则标记为 。我们称非新颖性的尺寸（或长度）为 的雪崩为一个由 个连续元素组成的子序列，这些元素标记为1，并且前后至少各有一个标记为0的元素。我们首先注意到，找到该子序列的概率取决于我们寻找它的时间，因此我们需要定义一个依赖于时间的概率 ，使得 且 。我们可以写出 (8)其中 是在时间 找到一个新元素的概率。然后我们需要对所有时间从零到 求和，其中我们可以使用序列长度作为 [60]。此外，非新颖性雪崩尺寸分布是通过将上述概率条件化为实际找到非新颖性雪崩的概率，即找到{新颖性, 非新颖性}对的概率。后者可以表示为 。通过使用贝叶斯定理，我们最终得到非新颖性雪崩尺寸分布： (9)通过代入公式(1)和(2)中的 ， (10)因此我们可以显式地写出： (11)图3、4(a)、4(b)、4(e)、4(f)、8和9中的曲线是通过对公式(9)进行数值积分得到的。在补充材料的第7节[55]中，我们还提供了 的显式级数展开。图9. UMT-E中非新颖性雪崩尺寸分布的标度律。(a) 在相同UMT-E过程的不同长度截断下的非新颖性雪崩尺寸分布。我们将参数值设为 。(b) 面板(a)中的相同分布，经过重新缩放使它们叠加在唯一曲线上。(c) 图8(b)中的相同分布（ ， 跨越从 到 的不同数量级），经过重新缩放使它们叠加在唯一曲线上。(d) 图8(a)中的相同分布（ 在整数值[2,5]范围内），按照面板(c)的方式进行重新缩放。新颖性的雪崩尺寸分布可以完全类似地得到，得到 (12)并代入 的表达式： (13)我们注意到，雪崩尺寸分布依赖于比值 和 ，以及序列长度 。然而，我们可以重新缩放雪崩尺寸 使不同序列长度 下得到的曲线坍缩成一条唯一曲线，如下一小节所示。在图8中，我们将UMT-E的间隔时间分布的模拟结果与解析结果进行对比，固定 时不同比值 下的结果[面板(a)]，以及固定比值 时不同 下的结果[面板(b)]，两种情况均固定序列长度。我们注意到，正如直观预期的那样，该分布的特征是当这些比值减小时支撑集增大。我们在补充材料的第2节[55]中报告了新颖性雪崩的相应分析。 5. 一般UMT中的雪崩统计基于前一节的结果，为了表示非新颖性雪崩尺寸分布，我们将 视为公式(9)中的自变量。我们通过将公式(6)代入公式(3)得到 ，因此可以写出 (14)其中 ，我们同样可以进行数值积分。我们可以以类似的方式推导 的表达式。在补充材料的第4节[55]中，我们表明上述表达式与模拟结果一致。在补充材料的第5节[55]中，我们还比较了使用公式(7)近似表达式得到的精度与使用参考文献[9]中渐近解得到的精度。我们表明，公式(7)的表达式及其通过施加 得到的对应形式都达到了与公式(14)表达式相当的精度。相反，当 超过几个单位时，参考文献[9]中的渐近解无法对雪崩尺寸统计提供合理的近似，而我们所分析的所有真实世界系统都是这种情况。C. 模型和真实数据中的标度关系上述结果表明，雪崩尺寸分布依赖于序列长度 。我们现在寻求一个标度关系来比较不同序列长度下的雪崩尺寸统计。我们观察到，两个连续新颖性之间的间隔对应于不同元素总数 增加一。因此我们可以写出，设定恒等式 ： (15)因此我们提出假设： (16)在图9(a)中，我们展示了UMT-E不同长度序列的间隔时间分布。在图9(b)中，我们展示了图9(a)中的相同数据作为重新缩放变量 的函数，通过定义 得到。我们可以看到，不同序列长度下的曲线完美坍缩在唯一曲线上。根据上述部分的结果，我们可以进一步观察到，具有相同希普斯指数（即相同比值 ）但不同 的UMT-E生成的序列可以通过变量 重新缩放到唯一曲线上，其中 。在图9(c)中，我们展示了图8(b)中的相同数据作为重新缩放变量 的函数。我们可以看到，不同比值 下的曲线完美坍缩在唯一曲线上。我们进一步在图9(d)中表明，对比值 的依赖并未通过重新缩放雪崩长度而消除，但仍然较弱。在图10中，我们将相同的标度应用于所有数据集，表明所有考虑的创新系统都服从不同序列长度的标度关系。对于每个数据集，我们在不同长度处截断整个序列。我们将 设为在整个序列的希普斯定律上测得的值（我们注意到，对于足够长的序列，拟合值 不依赖于序列长度）。图10. 不同真实世界数据集在不同序列长度下的非新颖性雪崩尺寸分布的标度律。我们考虑每个数据集在不同长度 处截断的序列。左：每个数据集中不同长度序列的非新颖性雪崩尺寸分布。右：左侧的相同分布，其中采用了为UMT-E推导的标度律。 指数从每个数据集中最长的序列拟合得到，如正文所述。所考虑的七个数据集不具有相同的希普斯指数。然而，其雪崩尺寸统计能由简单UMT模型很好复现的五个数据集（LastFM、GitHub仓库、Twitter话题标签、GitHub和Twitter用户）的指数跨度足够小，当作为变量 的函数绘图时，间隔时间分布的曲线近似叠加（图11）。至于比值 ，通过拟合公式(2)中的希普斯定律来估计每个数据集的比值 ，这给出了图2和图3图注中报告的参数。图11. 真实世界数据集中非新颖性雪崩尺寸分布的标度律。我们在此根据变量 重新缩放非新颖性雪崩的长度 。这种重新缩放使不同系统的曲线几乎坍缩成一个唯一形状。我们从每个数据集中最长的序列拟合 指数和比值 。III. 方法 A. 数据我们的分析考虑了七个不同的数据集。(1)、(2) GitHub是一个仓库托管服务，允许许多软件开发人员在同一项目上工作。用户可以注册此在线平台并创建新项目或与现有项目互动（前提是这些项目是公开的或用户有权访问）。互动范围从创建代码的新分支到创建或修改与项目相关的Wiki页面等。在我们的分析中，我们不区分仓库内可能的不同互动类型，而是关注这些互动的时间序列，因此时间序列中的元素就是仓库本身。我们使用的数据包含2015年1月GitHub用户的活动，包括 名用户在 个仓库上执行的 次操作。在本研究中，我们同时考虑了针对代码仓库所采取操作的时间序列以及执行这些操作的用户的时间序列。(2)–(4) 推特（现称为X）是一个社交网络服务。它是全球最大的社交媒体网站之一，也是访问量排名第14的网站。用户可以在帖子（原“推文”）中分享短文本消息、图片和视频，并点赞或转发/转推其他用户的内容。X包含私信、视频和音频通话、书签、列表和社区，以及Spaces（一种社交音频功能）。我们使用的数据集是2013年1月每日收集的，记录了用户的活动。没有包含“话题标签”的推文未被考虑。因此，该数据集由一系列按时间顺序排列的、用户采用的话题标签组成，每个标签由其自身ID标识。每个话题标签被视为一个独立元素。我们考虑了同一推文内话题标签按出现顺序构成的时间序列。我们将分析限定在数据的第一周，并同时考虑了话题标签的时间序列以及执行相应推文的用户的时间序列。总计，我们有 条推文，包含 个不同的话题标签，由 位不同用户分享。(5) LastFM是一个带有推荐系统的音乐网站。LastFM通过记录用户收听的歌曲详情（无论是来自互联网广播电台、用户电脑还是多种便携式音乐设备）来构建每位用户音乐品味的详细档案。我们使用的数据集包含了截至2009年5月5日1000位用户的完整收听习惯，以纯文本形式记录。它包含约 条收听的音轨记录，信息包括用户、时间戳、艺术家、曲目ID和曲目名称，共计 首不同的歌曲。(6) 古腾堡计划是一个英语文学文本语料库，来源于截至2007年2月的古腾堡计划电子书合集，由此产生一组约4600本无版权电子书，我们从中选取了最长的1000本，涵盖不同主题，包括散文和诗歌。我们在分析中对语料库进行了预处理，采用以下选择：忽略大小写。我们将具有相同词根的单词视为不同单词；即我们认为单词“flower”与“flowers”不同。我们将同形异义词视为同一个词，例如动词过去完成时“saw”和名词“saw”。我们移除了标点符号。通过将所有1000本书堆叠在一起获得的序列包含 个单词，总词汇量为 个单词。我们以随机顺序堆叠书籍，因为关于每篇文本创作时间的信息不可得。(7) 我们分析的英语维基百科数据集包含从整个维基百科语料库中随机选取的40,000个不同维基页面的文本。我们执行与古腾堡计划语料库相同的预处理。该序列是通过将所有页面堆叠成一篇独特的文本获得的，包含 个单词，其中不同单词的数量为 。B. 映射为了检验古腾堡和维基百科语料库的雪崩规模统计是否反映了不同语义语境之间的卷积这一假设，我们在建模方案中重现了这种设定。我们这样做得最简单，并非旨在给出一个完整的建模框架，而是为了表明考虑语义语境的叠加对于理解这些数据集中观察到的动态至关重要。然后我们按如下步骤进行： (1) 对于每个语料库，我们用UMT-E预测的解析公式[方程(2)]拟合每个文本序列（古腾堡语料库中为每本书，维基百科语料库中为每个维基页面）的希普斯定律，例如用词汇大小 拟合 ，并估计比率 和 。从参数 和 出发，我们得到 和 作为两个整数，其比率 最接近 ，范围在 和 内。一旦我们固定了 的值，我们将 设为最接近 的整数。 (2) 我们生成一个来自UMT-E的序列，例如 ，其估计参数与 的长度相同，从而得到词汇大小 。 (3) 如果 ，我们在时间 处截断 ，使得 ，从而得到 。 (4) 我们根据排名对 中的每个单词和 中的每个元素进行排序。我们根据频率将 中的每个不同元素替换为 中的单词：将 中最频繁的元素替换为 中最频繁的单词，将 中第二频繁的元素替换为 中第二频繁的单词，依此类推。 (5) 最后，对于每个语料库，我们将所有序列 按照与对应序列 相同的顺序堆叠在一起。C. UMST模型文献[9]中引入的UMST模型是UMT的推广，其中增加了语义组的概念。其动力学设计有利于停留在语义组内，通过属于实数区间[0, 1]的第四个参数 实现。该过程如下运作：在 时，瓮中包含 个不同的元素，分为 个不同的语义组。我们随机抽取第一个元素。在每个时间步 时，如果某个元素 属于与 相同的语义组，则根据其在瓮中出现次数成比例的概率从瓮中抽取；如果它属于与 不同的语义组，则根据其在瓮中出现次数乘以 成比例的概率抽取。强化和触发规则与UMT模型采用的规则类似。如果 是一个新颖项，则用 份副本在瓮中强化它，并通过在瓮中引入 个新的不同元素进一步扩展相邻可能。这些 个新元素共享一个新的语义组。如果 不是新颖项，则仅发生强化过程。在 的情况下，与UMT类似，如果最后抽取的元素是新颖项，我们可以选择强化参数为 。但请注意，对于 ，UMST模型仍然是非交换的。IV. 结论在过去几年中，多项研究推进了对创新过程显著统计特征的识别[9,10,17]。这项工作引入了雪崩统计量作为表征其动力学的关键观测量，补充了已经确立的齐普夫定律、希普斯定律和泰勒定律[12–14]。在UMT框架[9]内，我们推导了新颖项和非新颖项雪崩规模分布的精确表达式，这些表达式再现了跨不同创新相关数据集（包括协作平台、社交媒体、文化生产和自然语言语料库）的实证观察。同时，我们扩展了UMT框架内希普斯定律的现有表征[9,19]，强调了相邻可能初始规模的作用[61]。我们建立了UMT、其可交换版本（UMT-E）以及具有语义触发的瓮模型[9]之间的等价性；即当调谐以生成相同的希普斯定律时，这些模型产生相同的雪崩统计量。我们回顾说，UMST模型被设计用于重现相关项目出现中的相关性，例如通过熵度量量化的相关性[9]。这些相关性为相邻可能扩展机制提供了进一步证据，而简单的UMT模型并未考虑这些。在补充材料[55]的第6节中，我们讨论了希普斯定律提供的非交换性特征。三个模型在雪崩规模统计量方面的等价性，建立了希普斯定律与雪崩动力学之间的直接联系。然而，雪崩规模统计量，尤其是对于非新颖项，包含比希普斯定律本身更多的信息。实证分析还揭示了与模型预测的偏差，表明雪崩规模统计量可以区分那些可以有效描述为单一集体过程（因此遵循UMT预测）的动力学，以及那些由个体贡献叠加产生的动力学，从而揭示了超越希普斯定律描述的动力学特征。实际上，维基百科和古腾堡语料库都表现出重尾的事件间时间分布，与个体贡献的聚合一致。然而，只有古腾堡显示出小雪崩规模下的清晰幂律区域，反映了书籍更高的内部复杂性，其中多个主题和动力学共存。维基百科的雪崩统计量与古腾堡语料库中个别书籍的统计量之间的相似性支持了这一解释。从UMT-E的解析结果中，我们提供了一个缩放关系，使我们能够叠加来自同一系统但对应于不同序列长度的雪崩分布。所有考虑的数据集都遵循这一关系，揭示了创新动力学的一种普遍性形式。此外，我们推导了一个缩放关系，将塌缩扩展到几乎所有的数据集上，除了两个自然语言语料库，它们偏离了模型预测。这一结果突显了初始库大小和相邻可能扩展速率对每个系统的作用。总的来说，雪崩框架提供了加深我们对驱动创新机制理解的见解。我们相信它为未来跨创新系统的理论和实证研究提供了基础。