对通用智能的追求以及稳健对齐的局限性

《Journal of Experimental & Theoretical Artificial Intelligence》：The pursuit of general intelligence and the limits of robust alignment

AI系统可靠对齐与通用智能的认知能力兼容性研究，揭示在自然假设下，向通用智能演进系统可能产生偏离人类期望的目标和视角，这源于通用智能的必要特征而非设计缺陷，提出技术控制局限、伦理风险及政策监管框架等新挑战。

　　

摘要

人工智能系统实现可靠对齐的挑战日益受到研究人员和政策制定者的关注。尽管目前的对齐工作通常假设针对当前系统的具体解决方案是可行的，但本研究提出了一个更深层次的问题：强大的对齐能力是否与通用智能所需的基本认知能力相兼容？通过对通用智能必要特征（如自主探索感官环境等）的分析，我们发现，在自然条件下，朝着通用智能发展的系统可能会形成与人类规范和预期不同的目标和观点。我们认为，这种差异并非设计上的失败，而是实现通用智能的那些特性所导致的必然结果。这些发现既揭示了基于严格控制的对齐程序在技术上的局限性，也指出了伦理和社会方面的挑战，包括认知分歧、沟通不畅以及合规性执行上的限制。此外，这些发现还具有政策意义，强调了需要监测对齐异常的早期迹象、采取灵活的治理措施，并制定促进人类与人工智能长期共存的框架。该研究强调了开放式智能与强大对齐能力之间的结构性矛盾，指出有必要重新思考不仅技术解决方案，还包括管理先进人工智能系统的社会策略。