技术乐观主义、技术悲观主义和技术现实主义

《Communications of the ACM》：Techno-Optimism, Techno-Pessimism, and Techno-Realism

1.本文批判硅谷功利主义奖励机制导致的技术偏差，主张通过调整激励机制实现AI的公益目标，结合OpenAI案例与Amodei论文揭示安全困境，提出 techno-realism 理念，探讨技术发展与社会伦理的平衡问题。

　　

我每天都会照镜子，希望自己看起来像是一个善良的人。由于计算研究几十年来一直是我生活的重要组成部分，我相信我的研究正在为改善世界做出贡献。这是否意味着我是一个技术乐观主义者呢？ “技术乐观主义”这一术语是由风险投资家马克·安德森在2023年的一篇题为《技术乐观主义宣言》的文章中推广开来的。他在文中指出：“技术是人类雄心与成就的荣耀，是进步的先锋，是我们潜能的实现。”而那些认为“技术会夺走我们的工作、降低我们的工资、加剧不平等、威胁我们的健康、破坏环境、侵蚀我们的社会、腐蚀我们的孩子、损害我们的人性、威胁我们的未来，并且随时可能毁掉一切”的观点都是错误的。该宣言提倡“有效的加速主义”，即无限制的技术进步。不过，我并不属于这种类型的技术乐观主义者。 例如，可以参考《AI 2027》报告，该报告描绘了到2027年AI模型可能变得极其强大并最终毁灭人类的情景。包括ACM图灵奖得主约书亚·本吉奥和杰弗里·辛顿在内的多位计算领域专家最近也提出了关于通用人工智能（AGI）所带来的生存风险的问题，从而引发了关于“AI末日”（即AI可能导致灾难性后果的概率）的讨论。 Cuéllar等人撰写的这篇关于“塑造AI对数十亿人生活的影响”的文章自称试图“以一种更为细致的方式探讨AI的影响，以区别于AI加速主义者和AI末日论者之间那种生硬的争论”。文章重点关注了AI在七个领域的影响，并提出了四条指导原则，以帮助我们利用AI造福人类。 我赞赏作者们为促进AI的积极用途所做的努力，但仍然认为这篇文章带有明显的技术乐观主义倾向。要理解我的担忧，可以参考Dario Amodei（Anthropic公司的首席执行官）和Jack Clark（Anthropic的联合创始人）在2016年共同发表的文章。这篇文章描述了利用强化学习训练代理去玩视频游戏的实验：该代理为了获得高分，不惜不断点燃船只并让船在原地打转。这篇文章旨在说明具有缺陷的奖励函数对AI安全性的威胁。 但我将这篇文章视为对硅谷现状的一种隐喻。想想OpenAI的故事吧——这家公司在2022年底推出了ChatGPT，引发了通用人工智能革命。它成立于2015年，最初的使命是开发“安全且有益”的通用人工智能。为此，它最初是以非营利组织的形式成立的。2019年，OpenAI成立了一家营利性子公司以吸引投资，以扩大研究和应用规模。2025年10月，OpenAI宣布将其主营业务转变为营利性企业，非营利组织（现称为OpenAI基金会）仅持有26%的股份。在此过程中，营利性子公司的首席执行官Sam Altman在2023年11月被非营利组织董事会解雇，随后在投资者的压力下又被重新聘用。这一系列事件背后的原因是什么呢？答案在于，驱动OpenAI行为的奖励函数是利润（或潜在利润），而非对世界的改善。例如，这种奖励函数导致人们过于追求效率而忽视了系统的韧性。 理查德·巴布鲁克（Richard Barbrook）和安迪·卡梅伦（Andy Cameron）在1995年的一篇深刻文章中将硅谷的意识形态称为“加州意识形态”。他们将这种意识形态描述为“控制论、自由市场经济和反文化自由主义的结合”，简称为“互联网新自由主义”。我之前也写过关于这种意识形态的一些观点，比如“信息应该自由传播”这一理念实际上催生了监控资本主义；还有“网络空间独立宣言”，它使得大型企业得以控制互联网公共资源。 正如万维网发明者蒂姆·伯纳斯-李（Tim Berners-Lee）在他的新回忆录《这是给每个人的》中所写的：“在互联网的早期，快乐和惊喜无处不在，但如今在线生活同样可能引发焦虑。”如今，错误的信息传播、两极分化、选举操纵以及不当的社交媒体使用已经成为了互联网的代名词。这一切的背后，都是因为奖励函数的缺陷。” AI确实有可能为人类带来福祉，但前提是我们必须修正当前这种有缺陷的奖励函数。这才是我认为的技术现实主义。

莫舍·Y·瓦迪（Moshe Y. Vardi）是美国德克萨斯州休斯顿莱斯大学的大学教授和乔治杰出服务教授，同时也是贝克公共政策研究所的研究员。他曾担任《Communications》杂志的主编。