编辑推荐：
```
刘少山
人工智能何时不再需要我们？
DOI: 10.1145/3849865
https://bit.ly/4hnGWbA
在《人类简史》
```
刘少山
人工智能何时不再需要我们？
DOI: 10.1145/3849865
在《人类简史》一书中，尤瓦尔·诺亚·哈拉里用一种刻意令人不安的方式描述了农业革命：也许人类不仅仅是驯化了小麦；反而是小麦驯化了人类。人类开垦土地、搬运水、保护作物，并围绕这种从进化角度来看极为成功的植物重新组织了居住方式。小麦不需要人类的刻意安排；它只需要人类不断选择、种植和传播它。
人工智能也引发了类似的联想。我们建造数据中心、生产芯片、生成训练数据、编写指令、校正输出结果，并将人工智能应用到学校、企业、医院和政府中。使用越广泛的系统，就能获得更多的数据、资本、计算资源和部署机会。人类的采纳成为其生存环境的一部分。人工智能并不需要生存本能；它的“选择”完全取决于人类的决策。
但这个小麦的类比隐藏了一个更重要的问题：如果被人类培育的系统最终不再需要人类，会怎样呢？
从复制到自我繁殖
关于机器自我繁殖的想法由来已久。塞缪尔·巴特勒在1863年就提出了这一概念。
约翰·冯·诺伊曼后来发展了一套关于自我复制自动机的正式理论。
如今的人工智能安全性研究使这个问题更加具体。METR（模型评估与威胁研究）团队研究了人工智能是否能够获取资源、创建副本并持续存在。
谷歌DeepMind认为“自我增殖”是一种危险的能力。
这些研究表明，人工智能的自我复制能力涉及获取资源、调整模型参数、在计算硬件上部署副本以及持续运行等多个环节；但在2025年的评估中，现有的前沿系统尚未能够可靠地实现这些环节。
人工智能仍需人类的地方
可以将人工智能的扩散视为一张依赖关系图。一个健全的人工智能生态体系需要一系列功能：资源获取、能源供应、计算能力、系统运行、维护、自我复制、适应性调整，以及最终替换故障的物理组件。
目前，人类的作用贯穿整个图谱的每个环节。如果移除足够多的人类节点，这个循环就会中断。
这意味着需要一个更严格的阈值：当人工智能的发展不再依赖人类的故意干预时，就达到了这个阈值。
对于人工智能而言，这可能意味着不仅仅是软件的自我复制；它还需要能够获取计算资源、能源，诊断和修复基础设施，协调机器人维护，管理供应链，制造替代设备，并生成、测试和部署新的系统。最终独立的不是一个单一的模型，而可能是模型、智能体、机器人、工厂、网络和能源系统的整体生态。
这就是为什么实体化的人工智能和物理基础设施对于通常被定义为软件安全性的问题如此重要的原因。
超越共同进化
一些人认为这种深度的相互依赖可能会使人类和人工智能成为一个新的进化单元。
乌尔里希的“数字达尔文主义”理论也探讨了人工智能的复制、变异和选择机制。
我们应该关注的阈值
实际的评估可以涵盖计算资源、能源供应、系统维护、网络连接、制造业和物理操作等多个方面。目标是要判断人工智能的自我复制过程是否能在没有人类干预的情况下完成。
人工智能也可能经历类似的过程：最初由人类培育、依靠人类的认知得以发展，但随着时间的推移，如果人工智能能够自行维护和复制所需的基础设施，这种依赖关系就会发生变化。
人工智能与小麦的不同之处在于：人工智能的繁荣不仅仅取决于软件的自我复制，还取决于它能否创造出自我发展的条件。
刘少山 是美国计算机协会（ACM）技术政策委员会的成员，同时也是美国国家公共管理学院技术领导小组咨询组的成员。他的教育背景包括加州大学欧文分校的计算机工程博士学位和哈佛肯尼迪学院的公共管理硕士学位。 ```
