《Cambridge Forum on AI: Law and Governance》:Technology and tactics: The intersection of safety, AI, and the resort to force
编辑推荐:
人工智能(AI)正越来越多地以决策支持系统(DSS)的形式被纳入军事决策。此类系统可能向负责诉诸武力决策的人员提供基于数据的建议。尽管DSS在军事环境中并非新鲜事物,但研究人员认为,AI赋能的DSS在一个本就复杂的诉诸武力决策过程中引入了额外的复杂性——该过程
人工智能(AI)正越来越多地以决策支持系统(DSS)的形式被纳入军事决策。此类系统可能向负责诉诸武力决策的人员提供基于数据的建议。尽管DSS在军事环境中并非新鲜事物,但研究人员认为,AI赋能的DSS在一个本就复杂的诉诸武力决策过程中引入了额外的复杂性——该过程本质上具有同时带来战略稳定与伤害的双重潜力。研究人员提出了与AI相关的三类复杂性——交互与非线性复杂性、软件复杂性和动态复杂性——并考察了这些类别如何在诉诸武力决策中引入或加剧风险。随后,研究人员提供了旨在实践中缓解其中一些风险的政策建议。
**论文解读:AI赋能决策支持系统对诉诸武力决策的安全挑战**
**研究背景与问题**
随着人工智能(AI)技术的快速发展,其军事应用日益广泛,特别是在决策支持系统(DSS)中的嵌入,旨在辅助决策者处理海量数据并提升态势感知能力。然而,AI赋能的DSS并非简单的技术延伸,它们引入了多个层次的复杂性,对传统的诉诸武力决策过程构成实质性挑战。现有研究指出,AI系统在军事威慑和冲突升级中可能产生反直觉的行为,例如对威慑信号的理解不足(Wong et al., 2020),以及人机交互中的信任校准问题(Gilli, 2019)。然而,针对AI赋能DSS在诉诸武力决策中的具体安全风险,尚缺乏系统性分析。本研究旨在填补这一空白,通过识别三类关键复杂性——交互与非线性复杂性、软件复杂性和动态复杂性——来探讨AI如何加剧诉诸武力决策中的不确定性和潜在危害。研究强调,诉诸武力决策处于威慑与冲突升级的临界点,AI的引入可能破坏这一平衡,导致不必要或不当的武力使用。
**研究内容与结论**
研究人员采用系统工程的视角,结合历史案例(如古巴导弹危机、Petrov事件)和假设性场景(模拟一个AI赋能DSS系统),分析了AI赋能DSS对诉诸武力决策的影响。研究得出以下核心结论:AI赋能DSS的复杂性通过三种路径产生安全挑战——交互与非线性复杂性导致信息误导性决策,软件复杂性造成知识流失(黑箱问题),动态复杂性引发数据时效性与普遍性风险。这些挑战最终都归结到人类决策者身上,因为人类才是诉诸武力的最终决定者。研究强调,技术复杂性不能免除人类的责任,必须通过正式的安全审查机制和监管框架来管理风险。论文发表在《Cambridge Forum on AI: Law and Governance》特刊“AI与战争决策”中,由Toni Erskine和Steven E. Miller编辑。
**主要技术方法**
本文采用文献综述与概念分析法,结合历史案例研究(古巴导弹危机、Petrov事件)和现实案例(以色列国防军使用的“Lavender”工具)构建假设性AI赋能DSS系统。关键方法包括:1)通过系统动力学理论识别三类复杂性(交互非线性、软件、动态);2)基于安全工程文献(Leveson, 2023)定义安全为“免于伤害或其他不可取后果”;3)采用社会技术系统视角分析AI模型管道(包括数据标注、训练过程、推理输出)与人类决策者的交互。没有涉及实验或队列样本,但数据标注来源参考了全球南方国家(肯尼亚、印度、菲律宾)的实践。
**研究结果**
**2.1 交互与非线性复杂性**
通过分析AI系统内部组件(代码、传感器、算法)与外部组件(网络、用户输入)的相互依赖关系,研究人员指出,组件的交互可能导致多米诺效应,且因果非线性。在诉诸武力决策中,若AI系统使用和平时期数据(如“Lavender”)标注的敌手行动,在冲突升级场景下可能产生不准确推断,导致信息误导性决策。例如,错误预测敌手位置和动向可能引发不必要的武力使用,增加冲突升级概率。
**2.2 软件复杂性**
AI系统的概率性和学习能力导致输出不可预测,且计算过程难以追溯(“黑箱”)。这导致人类决策者丧失对输出逻辑的了解,引发信任校准问题。过度信任会导致对错误输出的忽视,而信任不足则导致系统能力被低估。在紧张决策环境中,这种知识流失加剧了安全风险。例如,古巴导弹危机中,若决策者过度信任错误信息,可能触发核战争。
**2.3 动态复杂性**
AI系统的快速演进和广泛应用带来数据时效性与普遍性挑战。分布式传感器网络的数据采集可能存在延迟,导致DSS建议基于过时或异构数据,与当前情境脱节。此外,数据标注的全球外包(如肯尼亚)可能导致对军事场景的语境误解,进一步增加不准确性。例如,AI系统可能无法适应政治气候的快速变化,导致策略失效。
**讨论与结论**
**讨论部分总结**:研究人员强调,诉诸武力决策始终应由人类主导,AI赋能DSS仅作为辅助工具。人类决策者必须应对三类复杂性带来的安全挑战,包括信息误导、知识流失和时效性风险。研究建议通过正式安全审查流程(由经培训的专家执行)来识别风险并制定缓解措施,同时考虑技术与社会技术层面的整体安全(包括信任、责任和安保)。此外,应明确AI工具与人类操作者的角色与责任,并设立独立监管机构确保高风险应用的安全。
**结论部分翻译**:
“研究人员认为,AI在诉诸武力决策中引入的复杂性产生了独特的安全挑战。研究人员通过社会技术视角来审视安全,其考量超越了物理伤害。在AI赋能DSS支持诉诸武力决策的案例中,安全与安保问题的交互被凸显。讨论了三种复杂性及其相关的安全关切:交互与非线性复杂性可导致信息误导性决策;增加的软件复杂性导致对系统运作基本知识的丧失;动态复杂性则带来普遍性与不同时间尺度的问题。诉诸武力决策由人类做出,AI赋能DSS很可能被用于支持这些人类角色。由于诉诸武力决策本质上是一种人类实践,复杂AI系统引入的安全挑战在人类层面显现。正是人类决策者必须应对信息误导性决策、知识丧失以及AI的普遍性和不同时间尺度问题。正是人类决策者必须决定他们愿意接受哪些风险。威慑与冲突升级之间的界限由诉诸武力决策维持。AI赋能DSS的引入使这一复杂而微妙的领域变得更加复杂。尽管AI确实为诉诸武力决策提供了战略机遇,但这些系统引入的独特安全挑战不能被忽视。”