窥探人工智能大脑：机器像我们一样学习

　　

新的研究揭示了人类学习与机器学习之间惊人的几何联系。一种名为凸性的数学性质或许有助于解释大脑和算法如何形成概念并理解世界。

近年来，随着人工智能工具的普及，越来越多的人意识到人工智能的内部运作与人类大脑的运作有多么相似。

机器和人脑的工作方式有很多相似之处，例如，它们如何以抽象形式呈现世界，如何从有限的数据中进行概括，以及如何分层处理数据。丹麦技术大学研究人员在《自然通讯》上发表的一篇新论文，又增添了一项特性：凸性。

领导这项研究的丹麦技术大学计算机系教授 Lars Kai Hansen 表示：“我们发现凸性在深度网络中异常常见，这可能是机器学习过程中自然出现的基本属性。”

凸性可能连接人类和机器智能

简单解释一下这个概念，当我们人类了解“猫”时，我们不仅仅存储单个图像，而是建立一种灵活的理解，使我们能够识别各种猫 - 无论它们是大的、小的、毛茸茸的、光滑的、黑色的、白色的等等。

“凸性”一词源于数学，用于描述几何学等学科。彼得·加登福斯（Peter G?rdenfors）将其应用于认知科学，他提出，我们的大脑会形成概念空间，相关的想法会聚集于此。关键在于：像“猫”或“轮子”这样的自然概念，往往会在这些心理空间中形成凸起区域。简而言之，我们可以想象一条橡皮筋围绕着一组相似的想法伸展开来——这就是一个凸起区域。

可以这样想：在橡皮筋的周长内，如果有两个点代表两只不同的猫，那么它们之间最短路径上的任意一点都会落在我们想象的“猫”区域内。这种凸性非常强大，因为它能帮助我们从少数例子中进行概括，快速学习新事物，甚至帮助我们就事物的含义进行沟通和达成共识。它是使人类学习具有健壮性、灵活性和社会性的基本特性。

说到深度学习模型——从图像生成到聊天机器人等一切事物背后的引擎——它们通过将像素或文字等原始数据转换为复杂的内部表征（通常称为“潜在空间”）来进行学习。这些空间可以被视为人工智能组织其对世界理解的内部地图。

测量人工智能的内部结构

为了使人工智能更加可靠、值得信赖并与人类价值观相一致，我们需要开发更好的方法来描述它如何呈现知识。因此，至关重要的是确定机器学习空间的组织方式是否与人类概念空间相似，以及它们是否也构成概念的凸区域。

该论文的第一作者、丹麦技术大学计算机系的博士后 Lenka Tetkova 深入研究了这个问题，研究了两种主要的凸性类型：

首先是欧氏凸性，这很简单：如果你在模型的潜在空间中取一个概念内的两个点，并且它们之间的直线完全位于该概念内，那么该区域就是欧氏凸的。这就像通过混合已知示例来进行概括。

另一个是图凸性，它更加灵活，对于人工智能内部表征中常见的弯曲几何结构尤其重要。想象一下一个由相似数据点组成的网络——如果概念内两点之间的最短路径完全位于该概念内部，那么它就是图凸的。这反映了模型如何通过遵循数据的自然结构进行泛化。

“我们开发了新的工具来测量深度神经网络复杂潜在空间中的凸度。我们在各种人工智能模型和数据类型中测试了这些测量方法：图像、文本、音频、人类活动，甚至医疗数据。我们发现，帮助人类形成和分享概念的几何原理——凸度——也塑造了机器学习、泛化和与我们保持一致的方式，”Lenka Tetkova 说道。

AI隐藏订单

研究人员还发现，从海量数据集中学习通用模式的预训练模型，以及学习识别动物等特定任务的微调模型，都存在共性。这进一步证实了凸性可能是机器学习过程中自然出现的基本属性这一说法。

当模型针对特定任务进行微调时，其决策区域的凸度会增加。随着人工智能分类能力的提升，其内部概念区域的凸度会变得更加清晰，从而进一步完善其理解，并使其边界更加清晰。

此外，研究人员发现，预训练模型概念的凸度水平可以预测该模型在微调后的表现。

“想象一下，一个概念，比如一只猫，在机器被教导如何识别猫之前，就已经在机器中形成了一个清晰的凸起区域。这样，它以后就更有可能学会准确地识别猫。我们相信这是一个强有力的洞见，因为它表明凸性可能是衡量模型在特定学习任务中潜力的有用指标，”Lars Kai Hansen 说道。

迈向更佳人工智能的途径

研究人员表示，这些新成果可能具有若干重要意义。通过将凸性识别为一种普遍存在的属性，他们更好地理解了深度神经网络如何学习和组织信息。这为人工智能如何进行泛化提供了一种具体的机制，这可能类似于人类的学习方式。

如果凸性确实被证明是性能的可靠预测指标，那么设计出在训练过程中明确鼓励凸概念区域形成的人工智能模型或许是可行的。这或许能带来更高效的学习，尤其是在只有少量样本可用的情况下。因此，这些发现或将在人类认知与机器智能之间架起一座至关重要的新桥梁。

“通过展示人工智能模型所展现的对人类概念理解至关重要的属性（例如凸性），我们距离创造出能够以更易于理解、与人类思维方式保持一致的方式‘思考’的机器更近了一步。这对于在医疗保健、教育和公共服务等关键应用中建立人机之间的信任与协作至关重要。” Lenka Tetkova 说道。

“虽然还有很多需要探索的地方，但结果表明，凸性这个看似抽象的概念可能是解开人工智能内部运作新秘密的关键，并使我们更接近智能和人性化的机器。”

项目

这项研究是在诺和诺德基金会资助的“认知空间——下一代可解释人工智能”研究项目下开展的。该项目旨在打开机器学习的“黑匣子”，并构建工具，利用特定用户群体能够理解的概念来解释人工智能系统的内部运作。

On convex decision regions in deep network representations