Transformer和大脑架构中的三个计算层级

《ACM Transactions on Intelligent Systems and Technology》：Three tiers of computation in transformers and in brain architectures

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

使人工智能系统同时具备流利的自然语言表达能力和可靠的逻辑推理能力是一个极具吸引力的课题，然而实现这些能力所需的底层机制仍鲜为人知。能力的提升源于众多因素（规模扩展、架构设计、训练方法），但任何特定任务所需的核心计算能力仍然难以理解。我们表明，决定系统能力的并非规模扩展或特定算法，而是计算理论中自动机层级体系内计算层级之间的转换。我们提供了严格的理论分析，以及对语言模型和人类受试者的实证评估，最终形成了一种具有理论基础且实用的基准测试方法，可用于判定人工系统或生物系统的计算层级。具体而言，我们确定了从无语言能力过渡到流利自然语言所需的层级，以及从清晰的语言使用过渡到可靠的逻辑推理所需的层级。由此产生的原则性分析为各类语言模型的能力与不足提供了解释性说明，并为扩展其逻辑与推理能力提供了可行的洞察。

AI 摘要

AI 生成摘要（实验性）

此摘要由自动化工具生成，未经文章作者撰写或审阅。其目的是支持文献检索，帮助读者评估相关性，并协助来自相邻研究领域的读者理解本文内容。本文摘要旨在补充作者提供的摘要，后者仍是论文的主要概述。完整文章始终为权威版本记录。点击此处了解更多信息。

点击此处对本摘要的准确性、清晰度和实用性发表评论。您的反馈将有助于完善并生成未来的修订版本。

要查看此 AI 生成的简明语言摘要，您必须拥有高级访问权限。