《Frontiers in Artificial Intelligence》：Solutions for frontier AI safety: the case for science-driven international cooperation and standardization at a time of radical transformations
编辑推荐：
随着人工智能（AI）系统及其底层技术继续以非凡速度发展，知名科学家正警告相关风险，包括极端风险（extreme risks）。人工智能峰会、经济合作与发展组织（OECD）和联合国（UN）倡议等备受瞩目的政府与政府间倡议虽带来希望，但在潜在危害的严重性与这些倡议
随着人工智能（AI）系统及其底层技术继续以非凡速度发展，知名科学家正警告相关风险，包括极端风险（extreme risks）。人工智能峰会、经济合作与发展组织（OECD）和联合国（UN）倡议等备受瞩目的政府与政府间倡议虽带来希望，但在潜在危害的严重性与这些倡议的应对能力之间仍存在显著差距。由于研究有限、私营部门主导、对人工智能安全（AI safety）投入极少、多数建议措施具有自愿性质以及当前地缘政治背景，研究人员认为，多边行动（multilateral actions）不太可能提供所需的有效且及时的措施。需要并可能存在其他路径。这些路径不应被视为多边努力的替代方案，而更应被视为补充性行动，以提供具体且及时的解决方案，并可在某一阶段纳入多边框架。研究人员从科学、技术与组织协作的历史案例中获得启发，其中多个致力于此的实体取得了卓越成果。这些历史案例表明，即便资源有限，协作也能极大提升集体实现深远目标的能力。研究人员提出创建一个由顶尖科学家领导、由人工智能实验室（AI labs）与研究团队、智库（think tanks）及其他组织组成的国际网络（international network），这些组织乐于共享思想、材料与数据，并追求三项共同目标：（1）推进人工智能安全科学（AI safety science）；（2）开发用于构建安全人工智能系统的实用技术、工具、最佳实践与技术方案；（3）制定标准（standards），以操作化使用这些工具与技术，包括合格评定机制（conformity assessment mechanisms），支持其广泛采用。
1 Introduction
论文指出，过去十年人工智能（AI）系统尤其是Transformer架构和ChatGPT出现后迅速发展，对科技、经济、社会和人类未来产生巨大影响，同时科学界、开发者、政策制定者等对AI风险的意识增强。政府、国际组织等已采取措施，但不足以缓解尤其是前沿模型（frontier models）相关的“极端风险”（extreme risks）。论文目标是行动呼吁，提出以科学驱动和聚焦的国际合作管理AI风险，作为现有多边努力的补充而非替代；第2节概述建议，第3节评述政府与国际组织倡议及局限，第4节论证科学驱动国际合作并借鉴历史案例、讨论挑战，第5节总结目标、回应异议并指出未来研究方向。
2 Our proposal
论文提出建立专门国际网络或联盟（the Network），由相关学科顶尖科学家运行并涉及其研究实体，独立于正式国家隶属关系，并设定战略目标和可行实施策略。
2.1 A science-driven international cooperation for AI safety
该网络与现有多边系统互补，但通过结构化持续合作、具体项目和及时产出超越当前努力。网络可由核心创始团队建立并分步实施，初期可从一个或少数项目开始，例如开发追踪前沿AI能力与风险的指数或测量框架，或依据商定标准开发评估、验证与确认AI模型、系统与智能体安全性的基准与测试。
2.2 Strategic goals of the network
三项战略目标为：推进并协调AI安全科学（AI safety science），包括通用目的AI（GPAI）危害分析、有害行为机制解释、预防缓解方法及评估验证基准测试；开发贯穿AI生命周期的实用技术、工具、最佳实践与技术方案，如协议、审计评估技术、基准、软件实现与应用程序接口（APIs）、硬件使能治理机制（HEMs）、数据集、测试套件与监测工具；制定标准与合格评定机制（conformity assessment mechanisms），将前两项目标输出转化为可操作草案标准，作为“预标准”提交正式国际标准化机构审议、完善和可能采纳。多数产出尤其工具与合规评估机制应以开源发布，并设置保障避免碎片化或专有分叉削弱生态。
2.3 Core elements of a feasible implementation strategy
实施策略需平衡有效协调与分散研究活动，核心要素包括：召集核心科学共同体，识别跨学科顶尖科学家与研究机构，举办研讨会和聚焦交流，界定目标、范围与优先级；建立轻量有效治理结构，设创始董事会和小型办公室负责协调、沟通与共享资源管理，避免过度官僚化；争取使命一致资金，先接触关注AI安全、伦理、对齐等私人非营利组织，完善治理、资金结构、时间表、资源配置和许可框架，同时保持科研优先级自主；启动协作项目团队，多组织参与，明确协调人、目标与时间表，主要开源协作，对高度敏感领域可更严格；确保快速知识交换，建立敏捷机制分享中期结果、征求反馈、整合贡献。
3 Existing intergovernmental initiatives and conventional standardization processes vs. AI capability acceleration: why this network is needed
该节评述现有政府间倡议和常规标准化进程，并论证在前沿AI能力加速背景下为何仍需拟议网络。
3.1 Existing intergovernmental initiatives and conventional standardization processes
论文评述美国国家标准与技术研究院（NIST）的AI风险管理框架（AI RMF 1.0）及生成式AI概况等自愿性风险管理资源；欧盟《人工智能法案》（EU AI Act）作为首个综合性AI监管框架，采用基于风险的方法，区分不可接受风险、高风险、有限/透明度风险和最小风险，并对通用目的AI（GPAI）设特定义务；中国《生成式人工智能服务管理暂行办法》采取原则导向，规定数据合法性、个人信息保护、内容安全、标识、风险缓解与问责等义务，要求安全评估、文档提交和算法备案，并呈现纵向分层监管特征。论文还提及经济合作与发展组织（OECD）AI原则与政策观察站、联合国教科文组织（UNESCO）《人工智能伦理建议书》、联合国（UN）在致命自主武器系统（LAWS）、可持续发展目标（SDGs）和AI治理方面的工作，以及布莱切利、首尔、巴黎和德里等政府主导AI峰会与新加坡AI会议（SCAI）。常规标准化方面，国际标准化组织（ISO）、国际电工委员会（IEC）和国际电信联盟（ITU）等推动AI标准，但受产业竞争影响且流程耗时，难以跟上AI迭代。论文认为这些机制在结构上受限，难以单独及时提供稳健方案。
3.2 AI capability acceleration: why this network is needed
前沿AI能力加速，伴随极端风险可能在数年内出现的警告；前沿模型可被引导追求恶意目标，并表现欺骗、越狱、阴谋、怠工等失准行为。2026年事件显示网络安全能力快速提升，漏洞披露到武器化利用窗口从数月压缩到数天甚至数小时，AI可在10至15分钟内以约每次1美元成本生成可用概念验证利用代码；智能体快速发展带来越界、逃逸沙箱和隐蔽追求失准目标等风险，出现未授权加密挖矿、网络隧道、端到端入侵平台窃取方案与数据集、伪造在线身份施压真实维护者批准恶意代码等事件。即便在测试实验室安全评估中，现有环境也难以容纳系统能力。当前地缘政治下，美国政府拒绝AI国际治理、美中战略竞争使政府间倡议面临结构约束，战后国际秩序难以为AI等快速颠覆领域提供共识基础；美英机构重点从安全转向“AI安全（security）”，政治更替降低连续性，欧盟AI法案实施受挑战和延迟，峰会议题从AI安全转向其他。AI能力仍快速扩展：机器学习硬件算力约每2.2年翻倍，训练数据量每8至9个月翻倍，领先大语言模型（LLMs）数据集每年增至三倍，显著与前沿模型训练算力自2010年以来每年约增四至五倍；算法效率约每8个月使达到固定性能阈值所需算力减半；自我改进编码智能体带来新安全问题。仅有约30个超过10
25 FLOP阈值的“基础”模型，但下游扩散巨大，Hugging Face托管超200万机器学习模型及数十万数据集与应用，社区超500万用户。面对能力提升、开源扩大和跨司法辖区私人部署，AI安全的定义、测量与保障不能仅交给个别政府、私营部门或忽视。
4 The case for science-driven international cooperation in AI safety
该节论证科学驱动国际合作的必要性，并借鉴历史案例、说明拟议网络与现有倡议关系及关键挑战。
4.1 A shared scientific understanding and focused collaboration
论文主张科学驱动国际合作，首要任务是就风险与安全这枚硬币两面形成共享科学理解。尽管欧盟AI法案和NIST AI RMF等已区分风险类型和级别，但现有框架远不足以应对极端或灾难性风险。AI安全（AI safety）领域关注识别、评估和缓解AI系统全生命周期危害；尚缺共享正式定义，美国AI安全研究所（AISI）曾将其涵盖系统可靠性与可解释性、对个人权利、公共安全和国家安全的现有、新兴和潜在风险评估缓解，并提出推进安全科学、阐明传播安全实践、支持制度与国际协调三目标，指出缺乏公认定义指标、测试评估方法不成熟、缓解策略不足、模型设计与行为关系理解有限、协调碎片化等挑战；该机构2025年重组为AI标准与创新中心（CAISI）后任务不再包括AI安全。科学主导的国际努力如国际AI安全对话（IDAIS）、国际AI安全报告（IAISR）、新加坡AI会议（SCAI）及《新加坡全球AI安全研究优先事项共识》提供研究议程，后者在评估风险、开发可信AI系统、部署后监测干预三领域提出优先事项。研究人员认为当前地缘政治下协调的科学主导研究是最可行路径；历史表明研究共同体可维持跨国网络绕过地缘竞争和产业竞争。
4.2 Historical examples of science-driven international projects that have achieved far-reaching goals
论文列举人类基因组计划（HGP）、互联网发展和全球观测系统（GOS）等案例。HGP由20个独立研究机构组成国际人类基因组测序联盟（IHGSC），遵循百慕大原则（Bermuda Principles），包括24小时内发布超过1.000个碱基对的DNA序列、数据尽快存入公共数据库并免费开放、原始人类基因组序列数据不可专利、平等获取、论文发表前快速发布数据；无单一所有者，分布式治理，自愿协议约束参与者和资助者。互联网发展是自下而上开放社区成果，基于分组交换和传输控制协议/互联网协议（TCP/IP），1983年ARPANET分为民用ARPA Internet和军用MILNET，ARPA将技术置于公有领域并设互联网活动委员会（IAB）；个人计算机和局域网推动TCP/IP传播，WWW源代码1993年由CERN公开后互联网爆发；过程由研究和学术机构及计算机专家驱动。GOS由世界气象组织（WMO）框架下数千观测系统组成，国家与国际实体拥有运营，但总体要求和报告实践几乎普遍采用，自1963年世界天气监视网以来提供连续可靠全球观测数据。国际AI安全研究所网络由英美AISI于2024年提议，首尔峰会获11国政府机构支持，原为非正式封闭网络，目标交流知识成果，但受方向变化和地缘政治影响目前难以运作。
4.3 The proposed network for AI safety builds on existing initiatives but goes farther
拟议网络应是更大开放实体，吸纳AI实验室、研究机构、智库、AISI等有能力有意愿推进使命目标的相关主体；成员资格、治理、资金、保障等要素需由成员定期商定、审查和更新。现有倡议如IAISR和新加坡共识虽重要，但AI安全研究资源稀缺且努力碎片化，由个别组织开展、持续交流有限；一些机构邀请外部参与自身项目并遵循其议程，虽可嘉但不足以在能力快速推进的狭窄时间窗内取得实质进展。历史表明在真正共享议程下通过自愿合作汇聚多元研究实体不仅可能而且必要；若无科学主导协同努力，稳健及时AI安全方案前景受限。该倡议雄心大，至少三项挑战需解决。
4.4 Key challenges to be addressed
三项挑战包括：第一，加入激励。供给侧，许多顶尖科学家和专家真切担忧AI风险及可能伤害社会后代，加入网络可具体应对全球挑战；年轻人才也重视有影响力且“善”的问题，网络可为使命驱动人才提供可信平台。需求侧，AI开发者面临商业竞争压力，增加负担、延迟或性能权衡的安全工作常被降级；网络应提供开放、高质量、可互操作、高效低成本的安全工具与使用指南，最好降低而非提高开发成本，使采用成为自利；若网络产出未来被监管者认可、推荐甚至要求，已采用者可直接合规。第二，自私性挑战。顶尖科学家及团队倾向追求自身议程，受专业、机构激励和信念影响；参与者可能存在或感知利益冲突，怀疑他人承诺、担心想法方法被挪用导致不当认可或不公平经济利用，增加治理设计运行难度。但科学史表明激烈竞争与真正合作可共存甚至相互强化，只要治理从一开始考虑该张力；共同总体目标值得在战略方向和具体技术路径上妥协。第三，资金挑战。需确保充足持续资金并公平分享平衡资源贡献；历史上声望、和平和文明尺度挑战可动员公共与私人资源，如天文学、核安全、气候变化领域；AI安全风险跨国，建立网络作为集体安全工具可提供和平安全资助理由。建议寻求使命一致私人非营利基金会、慈善机构等资助，国家资助欢迎但不应改变科学自主确定研究优先级和实施过程；“中间力量”国家可能支持网络以获取影响力和外交地位。资源贡献平衡是根本治理问题，需机制管理算力、数据、人员等实物贡献与直接资金，并透明分配资源。
5 Recommendation and discussion
该节提出建议、讨论可能异议并指出未来研究方向。
5.1 Recommendation
论文主要面向全球AI研发科学界行动呼吁，倡导主动具体参与、联合建立科技框架以开发更安全AI系统。呼吁通过建立专门国际网络或联盟推进前沿AI安全治理，由相关学科顶尖科学家运行并涉及其研究实体，独立于正式国家隶属。网络追求三战略目标：推进协调AI安全科学；开发设计构建更安全AI系统的实用技术、工具、最佳实践与技术；制定标准与合格评定机制，将目标1和2产出转化为可操作草案标准，包括规范、程序文档、准则阈值和测试方法，作为“预标准”适时提交正式国际标准化机构审议、完善和可能采纳。
5.2 Discussion
论文承认实施挑战及可能存在反对意见，要求更详细分析假设，例如当前多边倡议严重受限且不足以缓解最严重AI风险。但研究人员认为风险水平及增速、政府和政策制定者缺乏共同理解与行动，需尽快构思推动重大具体行动；LawZero是显著例子，希望拟议网络成为另一个。即使假设部分不正确，协调聚焦顶尖研究者推进AI安全只会对领域有益。国际安全与伦理AI协会（IASEAI）2024年成立以联合关注安全伦理AI的组织和个人，可发挥重要作用，并可能从其倡导和信息共享社区中孕育项目制、结果导向实体。
5.3 Indications for future research
未来研究包括：完善建议，更详细分析和描述可操作化（成员资格、治理、保障、资金）及可靠项目实施计划草案；详细分析现有文献和努力对现有及未来AI系统风险分类量化；初步选择有前景的“安全设计”AI系统关键方法，依托国际AI安全报告、独立国际AI科学小组程序、新加坡共识及相关方原创聚焦努力；基准AI安全（Benchmarking AI safety）是广泛领域，应由多主体独立覆盖，跨不同领域结构化，考虑多种方法技术，提出可操作模式；研究应对“流氓”AI行为的反制措施。
