探索开放世界中人类与智能体的内在动机行为

《Proceedings of the National Academy of Sciences》：Intrinsically motivated humans and agents in open-world exploration

　　

是什么驱动了探索？理解探索的内在动机是认知科学与人工智能（AI）领域长期存在的挑战。本研究直接比较了成年人、8至12岁儿童以及AI智能体在名为Crafter（1）的复杂开放式环境中的探索行为。研究人员考察了三种常见的信息论内在目标——熵（entropy）、信息增益（information gain）与赋能（empowerment）——与其行为的关系。研究发现，这三种目标均与儿童和成年人的探索进度呈正相关，尽管熵与赋能同儿童探索进度的关联比信息增益更强。此外，在智能体与人类中，研究人员观察到熵最初快速上升随后趋于平稳，而赋能则持续上升，提示在探索早期个体寻求新颖状态，而在高级探索阶段则寻求可控制的状态。最后，研究人员发现初步证据表明关于目标的私人言语（private speech）可能有助于儿童的探索。本研究数据可在https://github.com/alyd/humans_in_crafter_data获取。

人类能够极为有效地探索新环境，即使没有外部奖励。甚至幼儿也会自发且智能地进行探索。这表明探索可能是一种无需明确指导或训练的基础性人类能力。无外部奖励的探索对于在缺乏直接反馈的非结构化、开放式或非平稳环境中运行的人工智能体同样至关重要。如何赋予人工智能体探索能力仍是一个开放性问题。一种方法是用强化学习（RL）训练智能体以最大化内在认知奖励，此类奖励激励智能体访问有前景的状态或获取有价值的经验，其灵感常来自信息论与人类好奇心。然而，研究人员仍不清楚内在奖励究竟如何驱动人类探索，以及这种探索与开放世界环境中的强化学习智能体相比如何。部分原因在于开放式探索本质上难以量化。例如，若仅观察儿童在游戏室中的自发探索，则难以用计算方式系统且定量地分析其行为。相比之下，本研究参与者平均产生超过一千个动作，而虚拟环境使研究人员能够自动刻画并定量分析这些动作。同样，将具有与人类儿童相同可供性的人工智能体引入物理环境较为困难，但可以将其引入与儿童完全相同的虚拟环境。在本研究中，研究人员从成年人、8至12岁儿童以及强化学习智能体处收集了在同一开放式虚拟环境Crafter（1）中的自发探索性游戏数据。Crafter是一款基于流行游戏Minecraft的"沙盒游戏"。与典型电子游戏不同，它没有明显目标或分数。相反，该环境呈现广泛的活动供探索。玩家在二维网格中移动，觅食获取食物与水、收集材料、制作工具并抵御怪物，且事先不了解任何机制。部分活动是其他活动的先决条件，因此玩家既可在广度上也可在深度上探索。例如，玩家可收集木材，用以制作木镐，进而用于采矿获取煤炭。研究人员能够自动精确记录人类参与者与AI智能体所采取的动作及所到达的状态，从而直接比较其行为。研究人员分析了人类与强化学习智能体的探索进度与三种流行的信息论内在目标——熵、信息增益与赋能——的相关程度。熵衡量智能体所访问世界状态分布的广度。信息增益衡量智能体通过不同行为所获取的信息量，其函数取决于这些行为过去被尝试的次数。赋能最大化动作与结果之间的互信息。因此，为最大化赋能，智能体需以一种导致结果平行变化的方式改变其动作。由此，赋能衡量智能体能够影响和控制环境的程度。研究人员还探讨了行为随游戏时间的变化。研究人员还转录了游戏过程中人类的言语，发现儿童的表现与其私人言语频率之间存在显著正相关，尤其是那些表达目标的言语。这支持了心理学先前的研究，表明私人言语可能在儿童创造性问题解决中发挥重要作用，且提出目标有助于为开放式探索与游戏提供结构。1.1 人工智能体中的探索。强化学习中的探索方法从偶尔采取随机动作（如ε-贪婪探索）到自动课程学习与目标设定不等。添加内在奖励是激励强化学习智能体探索有前景状态或获取有价值经验的一种特别通用的方法。这些奖励常基于信息论度量，如熵、信息增益与赋能，可应用于广泛领域。熵奖励激励智能体探索多样的状态或动作分布。信息增益奖励鼓励收集关于环境及其动力学的信息，例如通过在智能体尚无法很好预测的不熟悉状态中行动。当智能体可从众多不同动作中选择且每个动作具有可预测后果时，赋能达到最大，鼓励增加智能体对环境影响力的探索。直观而言，在Crafter游戏中，智能体可能通过将自身置于尽可能多的不同配置（位置、健康状态与库存内容的不同组合）中来最大化熵。它可能通过获得最具信息量的经验来最大化信息增益，例如从最少访问的配置中采取最少尝试的动作；它可能通过将自身置于对未来配置拥有最多选择与控制的配置中来最大化赋能。然而，即便采用复杂的内在目标，强化学习智能体的探索效率通常仍远落后于人类。在某些情境中，内在奖励甚至可能因无意中激励退化行为（如固着于环境中的随机噪声源）而损害探索。1.2 人类中的探索。发展研究者已表明，甚至幼儿也会以系统且理性的方式自发探索。此外，先前工作提示儿童可能尤其具有探索性，有时比成年人更具探索性。与AI文献类似，多种内在目标被提出作为人类探索的基础。成年人与儿童均被新颖性吸引，这与增加所访问状态分布的熵相关。也有证据表明成人与儿童均寻求能获得更多环境信息的经验。Br?ndle等发现成年人在炼金术游戏中试图最大化赋能，创造增加可用反应数量的元素；Melnikoff等也发现成年人最大化赋能，且赋能与独特行为及感受相关，尤其是被称为"心流"的无碍、自发掌控感。Yiu等发现儿童与成年人将赋能作为发现因果结构的线索。迄今为止，认知科学中关于探索的计算研究通常局限于简单且不真实的环境，通常只有少数不同状态与动作可供选择。一些更真实的研究使用了迷宫或提供了更大的组合状态空间。Crafter环境提供了特别丰富且开放的possibilities集合。此外，仅有少数研究直接比较人类与智能体，且仅Kosoy等也纳入了儿童。通过比较成年人、儿童与AI智能体在该共享环境中的探索，研究人员希望阐明熵、信息增益与赋能等内在目标是否有助于有效的开放式探索。2 结果。研究人员对记录的探索数据进行了三项主要分析。首先，研究人员评分成年人、儿童及每类AI智能体的探索有效性。其次，研究人员分析了人类与智能体行为在多大程度上增加熵、信息增益与赋能，以及这与探索进度的关系。在成年人中，所有三种内在目标均与探索进度相关。对于儿童，研究人员发现探索进度评分与熵和赋能均存在一致显著相关，但与信息增益的关联较弱。最后，研究人员研究了私人言语与探索的关系。在儿童（而非成年人）中，研究人员观察到基于目标的言语比例与探索熟练度之间存在强正相关。2.1 探索进度评分。研究人员设计了五个评分衡量探索的不同方面。其中若干基于达到称为成就的语义里程碑；许多成就是其他成就的先决条件，且当玩家死亡时所有进度重置，此时新回合开始。注意成就未被以任何外部方式标记或奖励，它们仅是智能体自发探索的结果。总体成就评分（AS）衡量在所有回合中至少达到一次的所有可能成就的比例。研究人员将其分解为广度与深度以探究不同的可能探索策略。研究人员还计算每回合达到的可能成就的平均比例（Mean AS），这与玩家在整个游戏过程中探索的效率与一致性相关。最后，研究人员计算每回合程序生成世界地图中访问网格单元的平均比例，作为基本空间探索的度量（Map Coverage）。2.2 程序。参与者被允许玩Crafter最多20分钟。此前无参与者见过该游戏。未给予游戏目标且无可见分数。尽管如此，参与者高度投入游戏；儿童平均采取超过1,300个动作，成年人超过2,700个。为与AI智能体比较，研究人员用三种不同奖励函数训练强化学习智能体。研究人员使用了强化学习文献中两个成熟的内在奖励：一个基于熵[APT，Liu and Abbeel]，一个基于信息增益[NovelD，Zhang等]。在外在奖励对照（Reward）中，智能体因每回合达到成就而获专门奖励。成功的强化学习训练应使Reward智能体达到大多数成就，因为它们被直接激励这样做，因此它们用于验证训练程序。相反，若内在奖励有效，则相应智能体应作为最大化内在奖励的副作用自发探索许多成就。每个设置训练13个随机初始化智能体，各100万时间步，这是强化学习训练的典型做法。研究人员指出，尽管人类玩Crafter的时间少得多，但他们受益于先前生活经验，而智能体从头训练。最后，研究人员纳入均匀随机采样动作的智能体（Random）作为基线。2.3 探索表现。研究人员呈现人类与智能体数据的汇总统计。为比较各组，研究人员对离散总体评分的均值使用置换检验，对连续Mean AS与Map Coverage使用Wilcoxon秩和检验，发现以下显著差异（P < 0.05）。外在Reward智能体在大多数评分上不出所料优于其他智能体，在Mean AS（与其外在奖励函数最相似的指标）上得分高于儿童并与成年人相当。这表明研究人员的强化学习训练程序按预期工作。此外，Random智能体在几乎所有指标上表现最差，表明内在奖励至少对智能体探索有一定帮助。NovelD智能体在除广度外的所有指标上优于APT智能体，表明其基于信息增益的奖励比APT基于熵的奖励更有效地驱动探索。事实上，NovelD智能体的表现与儿童相当，仅在Map Coverage上较差。然而，研究人员发现成年人在这一具有挑战性的开放世界环境中探索得最远，在除广度外的所有评分上高于儿童，并在所有评分上高于内在智能体。儿童在Map Coverage上优于所有智能体，并在除广度外的所有评分上优于APT。内在智能体相对于外在Reward智能体与内在动机的成年人表现较差，提示人类的开放式探索由比智能体所训练的更有效的内在动机形式驱动。特别地，如下文所见，人类表现似乎由赋能以及激励智能体的信息增益和熵共同驱动。分析人类的广度与深度评分，研究人员发现它们在儿童中正相关（ρ=0.51，P=0.01），但在成年人中不相关（ρ=-0.27，P=0.21）。二维直方图显示该相关性在得分较低的儿童中最明显，提示它源于努力或能力不足的共同原因。在更熟练的玩家中，不同探索风格变得明显，一些偏好建立在现有进度之上，另一些则做出更多样、独立的发现。2.4 信息论内在目标。研究人员接下来依据信息论内在目标刻画人类与智能体的探索。熵衡量整个游戏过程中所访问所有状态的多样性。状态访问分布定义为p(s)=Ns/∑s′∈??Ns′，其中Ns为玩家处于状态s的次数。该分布的熵定义为HS := -∑ s∈?? p(s)log p(s)。第e回合的熵基于截至并包括e的所有回合的访问计数之和计算。总体熵报告于每位玩家的总经验，求和所有回合的计数。信息增益衡量每回合平均获得多少信息，以玩家行为的新颖性表示。截至第e回合末从状态s采取动作a共Ns,ae次所累积的信息量度量为log(1+Ns,ae)。研究人员使用对数计数近似重复观察的递减新颖性，因为先前工作发现其表现与更复杂度量相似。仅在第e回合获得的信息是该回合与前一回合总信息之差，即log(1+Ns,ae)-log(1+Ns,ae-1)。这求和所有(s,a)对并除以该回合发生的总转移数，得到第e回合每次转移的平均信息增益：IGe := ∑s,a log(1+Ns,ae)?log(1+Ns,ae?1) / ∑s,a Ns,ae?Ns,ae?1。总体信息增益最终计算为IGe在所有回合的均值。赋能可解释为智能体对环境影响力的度量。状态s处的赋能定义为智能体执行器与从s到的下一状态s′之间的信道容量：E(s) := maxp(a) I(S′;A| s)=maxp(a)∑s′,a p( s′|a,s)p(a)log p(s′|a, s) / ∑a～∈A p(s′|a～,s)p(a～)，其中I为互信息。换言之，特定状态处的赋能由从该状态采取的动作a与后续状态s′之间的最大互信息给出。信道容量是每次动作通过游戏状态变化所传达的最大比特数。对每位参与者，研究人员使用跨所有回合累积的观察转移计数Ns,a,s′计算转移概率p(s′|a,s)。来自未探索状态与动作的下一状态分布被视为均匀（对应低赋能），因此该度量可视为玩家的经验赋能。研究人员仅计数单步转移(st,at,st+1)，因为Crafter中大多数有意义的转移发生在一个时间步内。研究人员使用Blahut-Arimoto算法近似信道容量，并求和所有状态获得总赋能E=∑s∈?? E(s)。计算所有目标值时，研究人员使用简化状态表示以合并语义最相似的状态，这对处理数据稀疏性必要。研究人员结合玩家当前面对单元格内容的语义标签、其库存内容以及其状态相对前一状态的增量（若有）。这捕捉玩家最可能关注且直接控制的环境方面，但避免状态中无意义的变异来源（如玩家周围树木位置的细微差异）。研究人员使用该表示从收集的游戏数据构建转移表，将每个转移(s,a,s′)映射到其被经历的次数。研究人员进一步过滤掉移动转移，专注于直接影响环境的尝试。这些度量是数学定义的。但直观而言，在Crafter环境中最大化熵可能包括访问尽可能多的状态，而最大化信息增益将涉及尝试尽可能多的状态-动作组合，最大化赋能将涉及采取导致对未来状态更多控制的动作。2.5 内在目标的达成及其与探索的关系。研究人员运行Wilcoxon秩和检验以比较每组人类与智能体的总体内在目标值。为评估内在目标值与探索评分之间的关系，研究人员为每个人类组计算最小二乘线性拟合，并使用双侧Wald检验评估斜率是否不同于零。以下差异与关联在P < 0.05下显著。人类达到的所有三种内在目标水平均高于Random智能体。研究人员未纳入基于赋能的智能体，但值得注意的是成年人与儿童在没有任何明确激励、奖励或训练的情况下达到高赋能。成年人在每个内在目标上也超过所有训练智能体。儿童达到的熵高于APT，赋能低于NovelD。在其余目标上他们与内在动机智能体相当。此外，研究人员发现成年人的基于成就的探索评分与每个目标之间显著正相关，提示它们可能确实有助于驱动人类开放式探索。儿童的总体基于成就的探索评分与其赋能和熵相关，但与信息增益不相关。这可能是因为通过在每个状态尝试许多不同动作可能获得高信息增益，即便大多数动作无效果且因此不导致成就。儿童可能对哪些动作有效的先验比成年人差，因此他们尝试更多动作但进展较少。令人惊讶的是，尽管APT智能体用基于熵的奖励训练，但它们在包括熵在内的所有信息论度量上表现差于其他强化学习智能体。用信息增益启发奖励训练的NovelD智能体仅在信息增益上超过Reward智能体。这可能是因为研究人员在专注于环境即时可控部分的抽象状态空间上计算度量，而APT与NovelD必须使用智能体的高维原始输入来估计熵与新颖信息。这可能在像Crafter这样复杂的环境中激励探索无意义的变异，类似于"噪声电视"问题，即内在动机智能体被电视屏幕上的随机图像所迷惑。2.6 内在目标的时间动力学。绘制目标随时间变化显示，信息增益每回合可预见地随人类最易获得的观察被耗尽而下降，但成年人与儿童在整个探索过程中均将其维持在显著高于所有智能体的水平。所有组在整个探索过程中均增加其熵与赋能，尽管熵早期增加更快随后趋于平稳，而赋能以稳定速率增加。研究人员还发现总体熵与赋能呈非线性正相关，其中达到高熵的玩家赋能增加更陡峭。这些结果提示熵可能是探索早期的主要目标，此时仍有许多新颖状态可观察，而一旦大多数状态已被访问但关于如何可预测地影响它们仍有更多可学习时，赋能提供更多信号。2.7 私人言语与探索。研究人员呈现私人言语、探索与内在目标之间关系的初步分析。研究人员从每位同意参与者处获取转录，并过滤私人言语utterances。尽管许多参与者完全不说话，少数人说出超过1,000词的私人言语。儿童自言自语几乎是成年人的两倍，平均词率约16词/分钟，而成年人约8词/分钟，尽管两者分布均有长尾。研究人员发现儿童词率与所有内在目标及探索评分之间存在弱正关联，但未达统计显著。此外，研究人员指出儿童较高的私人言语率可能仅反映对游戏的增加投入而非因果关系。受目标导向探索丰富文献启发，研究人员进一步研究更可能在私人言语中表达目标的儿童是否探索得更成功。作为对比度量，研究人员还分析了儿童表达问题的频率。遵循先前用大型语言模型总结人类数据的工作，研究人员使用ChatGPT（gpt-3.5-turbo）分类每个utterance是否表达目标和/或问题。为提高准确性，研究人员在做出每个分类前提示推理。为减少噪声影响，研究人员将分析限制在游戏过程中至少说出五个utterance的参与者，留下N=10名儿童与N=12名成年人。虽然含问题utterance的比例在儿童与成年人中几乎相同，为12%至13%，但儿童平均表达目标的可能性是成年人的两倍以上，为21%对10%。尽管研究人员发现问题比例与任何探索评分之间无显著相关，但研究人员发现目标utterance比例与儿童Mean Achievement Score之间存在显著正相关[r(8)=0.80，P=0.005，未校正]。这提示明确的目标设定可能确实对儿童探索重要，尽管研究人员指出这些分析仅为探索性，应在更大样本中确认。此外，该联系的因果方向不明确——可能表达更多目标的儿童因此是更有效的探索者，或更有动力探索的儿童也更可能表达目标。3 讨论。在本工作中，研究人员探究信息论内在动机在驱动复杂环境中开放式探索可能发挥的作用。研究人员发现熵与赋能的度量与成年人和儿童更丰富的探索一致相关。然而，用内在奖励训练的智能体，即便与环境互动的时间多出许多数量级，也不如成年人探索得远。这提示内在动机智能体探索可通过更好的近似与整合基于熵和赋能的目标来改进。特别地，设计抽象掉低层变异以专注于更有意义高层结构的目标可能有帮助。例如，Yann LeCun倡导的联合嵌入预测架构可用于学习抽象掉除联合最具预测性且最可预测特征外的所有特征。研究人员目前还在探索内在动机如何导致新表示以及新动作与策略。此外，研究人员观察到熵在游戏过程中快速增加后趋于平稳，而赋能缓慢稳定增加，这提示它们结合时可能更有效：熵可引导早期探索，而赋能可为高级探索提供更多信号。研究人员发现儿童在大多数探索指标与内在目标上表现差于成年人，但信息增益除外。这提示儿童尝试与成年人一样多的行为，但他们尝试的东西更不可能奏效，可能是由于对环境可能动力学的先验较差。研究人员还发现初步证据提示儿童的表现可能受外显言语化帮助：词率较高的儿童往往表现更好，且特别提及目标的utterance比例与达到成就的速率之间存在正相关。这些结果与心理学先前发现一致，即自我言语可帮助指导并聚焦儿童问题解决，也与AI中发现生成目标的智能体可能更有效探索一致。比较人类探索与自主动机AI智能体的探索留待未来工作。3.1 局限。尽管本研究每位参与者产生大量结构化数据（每个儿童平均超过1,300个动作，每个成年人2,700个），但相对较小的参与者数量限制了对不同设置与人群中人类探索的更广泛结论。私人言语发现的样本量更小，需要在预注册研究形式中用更大样本确认。此外，更多言语与探索之间的因果 relation 不明确，需进一步检验。研究人员测试的许多8岁以下儿童难以理解游戏，因此更适合儿童的环境将有助于研究跨发展的探索。研究人员对信息论目标的计算对所使用状态表示敏感；尽管研究人员试图通过使用相对紧凑的语义表示来模仿人类先验知识，但人类的先验可能允许他们以更有效的方式压缩状态空间。3.2 结论。最重要的是，本工作证明可以在同一复杂开放式环境中比较成年人、儿童与AI智能体的自发探索。此外，研究人员表明熵、信息增益与赋能等形式信息论度量可帮助解释所有三组的行为，并发现将儿童探索与目标导向言语联系起来的有趣初步证据。研究人员希望本工作为未来在更丰富环境中收集更大数据集、研究目标与抽象在内在动机开放式探索中的作用奠定基础。4 方法。4.1 开放式环境：Crafter。研究人员在Crafter中进行实验。与Minecraft类似，Crafter允许玩家探索广泛活动。玩家在程序生成的网格世界中控制角色，其中包含各种资源，可收集并用于补充状态水平（健康、食物、水、能量）或建造工具。当玩家被怪物攻击或任何其他状态水平为0时健康下降。环境在昼夜之间循环；夜间玩家视野变暗且更多怪物生成。当健康水平达到0时回合结束，将玩家重置到新的随机生成世界并清空库存。玩家控制下所有语义有意义的状态变化均由成就标记，其中一些具有必须在同一回合内满足的多级先决条件。若干基本成就（如Collect Drink）为生存所需，但工具制作成就无助于生存。可用动作要么移动玩家要么与环境互动。互动仅影响玩家状态、库存和/或玩家直接面对的单元格，其中Interact动作最为通用（用于吃、喝、砍树、采矿或战斗，取决于单元格内容）。另外七个动作各有独特效果，有时需满足先决条件，如Make Wood Sword将玩家库存中的木材转化为木剑，要求玩家面对制作台且有足够木材。研究人员修改游戏使其在短游戏过程中更易掌握并可通过常规游戏控制器访问。首先，研究人员通过将日光函数从1-cosπx3改为1-cosπx12略微延长游戏日中花在日光的时间比例。研究人员还在回合结束时添加明确的"Game Over"屏幕以确保参与者意识到角色死亡时间。最后，研究人员略微修剪动作空间，从原游戏移除五个最高级动作，因为它们无法映射到常规手持游戏控制器。4.2 参与者。在这项预注册、IRB批准的研究（AsPredicted参考：92521）中，研究人员最初从Bay Area Discovery Museum（BADM）招募51名6至12岁儿童，以及从University of California, Berkeley校园招募24名18至25岁成年人（平均年龄：24.8，女性：10，男性：14）。未完成至少一个完整游戏回合的参与者，或在BADM受到旁观者显著言语干扰的参与者被排除。游戏基础（如使用控制器）对年幼儿童过于困难，因此研究人员仅分析至少8岁儿童的数据（N=26，平均年龄：9.4，女性：11，男性：15）。此前无参与者见过Crafter。92%儿童与79%成年人有电子游戏经验，77%儿童与54%成年人至少玩过一次Minecraft。研究人员发现先前Minecraft经验对参与者表现无大影响，因为两游戏间差异足够大。儿童中也无年龄效应。所有研究在University Of California at Berkeley Institutional Review Board Protocol # 2010-01-631 "Causal Learning in Children"下进行，所有参与者获得知情同意。4.3 人类数据收集程序。参与者首先观看关于控制器如何工作的简短教程视频，未指定任何评分系统或目标。然后参与者被允许随意玩，最多20分钟。每个时间步的所有动作与完整世界状态均被记录。同意录音的参与者（17名儿童与23名成年人）的音频录音随后手动转录并带时间戳。4.4 智能体训练程序。研究人员训练三种强化学习智能体并使用一种随机智能体作为基线。每个时间步，随机智能体以概率0.475不采取动作以匹配人类玩家的平均动作率，否则均匀采样所有可用动作。研究人员训练两种具有成熟内在强化学习目标的智能体（NovelD与APT）。NovelD通过在熟悉与新颖区域边界提供大内在奖励来激励信息增益，使用随机网络蒸馏作为状态新颖性度量。APT使用基于粒子的熵估计器在学习表示空间中奖励智能体最大化状态熵。由于大规模计算赋能的计算复杂性，研究人员未训练基于赋能内在奖励的智能体。作为对照，研究人员还训练了外在智能体（Reward），其手工设计的奖励函数明确奖励解锁游戏内成就——这些也是大多数探索表现指标的基础。这在每回合首次达到成就时提供奖励1，同时每次智能体补充或失去健康时提供±0.1的小奖励。人类使用先验知识将视觉输入处理为语义表示——他们将一种像素配置识别为斧头，另一种识别为树——这有助于表现。为使评估更具可比性，智能体策略输入为游戏的简化语义表示：智能体9×8查看窗口中每个单元格内容的离散标签、状态与库存。所有强化学习智能体用Rainbow DQN训练100万时间步，ε-贪婪探索的ε在250,000时间步内从1线性衰减至0.01。研究人员用13个随机初始化训练每个智能体。最后，为行为分析，研究人员在每个智能体训练轨迹中均匀子采样25回合，以将回合数量级降至与人类相同（人类为5至28回合）。4.5 声明。伦理批准与参与同意：所有研究均获得Gopnik Lab下完整Institutional Review Board批准，并要求完整同意参与。发表同意：所有参与者同意，所有儿童姓名已从任何发表数据中隐去。部分同意部分或完整数据发表。初始研究在AsPredicted参考92521下预注册。