难以捉摸的可靠性：从技术法律的角度探讨军事应用中维护和评估人工智能性能所面临的挑战

《Computer Law & Security Review》：Elusive reliability: Techno-legal considerations on the challenges of maintaining and reviewing performance of AI in military applications

　　**克劳迪娅·克洛诺夫斯卡（Klaudia Klonowska）**
**法国巴黎政治学院（Sciences Po Paris）博士后研究员**

**摘要**
本文探讨了军事人工智能（AI）系统的可靠性及其对遵守国际人道法（IHL）的影响，特别是在AI重新训练和微调日益呈现非线性和实验性特征的背景下。研究表明，各种机器学习技术在战争应用中存在性能下降的重大风险。离线学习系统虽然静态且手动更新，但随着战场环境的变化会遭受概念漂移（concept drift），导致性能下降而无需人工干预；而在线学习虽然在动态环境中具有适应性，但容易发生灾难性遗忘（catastrophic forgetting）和对抗性操纵（adversarial manipulation），从而削弱了预测性。

分析的核心是离线系统中的用户生成反馈循环（user-generated feedback loops），这些循环旨在通过迭代更新来提升系统性能。通过采访军事工程师和实地考察，本文说明了预期的AI系统循环优化如何削弱其可靠性以及用户评估其使用是否符合IHL的能力。实际上，这些优化循环反而引入了不可预测性。

本文的重要贡献在于将AI系统的技术现实与IHL合规框架联系起来。它批判了将可靠性视为纯粹机器驱动过程的假设，而是强调了机器的“学习能力”依赖于那些不断调整和维护AI模型性能的工程师们的努力。通过分析离线学习更新和反馈循环如何破坏法律审查的流程，本文呼吁重新思考第36条对AI赋能工具的适用性，强调系统修改过程中的持续监督和透明度。这项工作为法律学者提供了理解军事AI社会技术复杂性的基础，以确保在不断发展的战场技术环境中的责任追究。

**1. 引言**
“生命周期”（lifecycle）框架在关于AI系统的监管辩论和立法工作中被广泛采用。政府专家小组（GGE）在讨论致命自主武器系统（LAWS）时也经常提及这一框架，该小组重申国际法适用于AI系统的整个生命周期。这一框架被用来挑战“完全自主”系统的概念，而是强调了人类在AI的设计、开发、训练、测试、验证、使用和退役过程中的作用。然而，就像其他工具一样，其旨在普及软件开发过程的目的是不可避免地掩盖了其中的复杂性。

本文重点关注数据驱动AI系统的非线性实验性质及其对遵守国际人道法的影响，并详细探讨了机器“学习能力”在多大程度上依赖于人类的介入。通过案例研究，本文展示了预期的系统优化循环如何削弱系统的可靠性以及用户评估其是否符合IHL的能力。本文还指出了与武器、作战方式或方法相关的法律挑战，分析了AI系统修改何时被视为“新的”，并探讨了重新审查义务的适用性。鉴于AI技术的快速变化，文章认为法律审查义务难以有效预防敌对行动中的违规行为；因此，除非开发新的合规保障机制，否则各国可能只能事后采取补救措施。

本文的关键贡献在于将AI系统的技术现实转化为法律语言，帮助法律界更好地理解相关的社会技术复杂性。人们越来越意识到AI并非单一的技术集合，因此区分不同模型、应用和使用场景对于精确的法律评估至关重要。为了实现这种精细化的分析，本文概述了持续学习模型（在线学习）与手动更新学习技术（离线学习）之间的差异。尽管大多数研究者在其分析中并未明确区分这两种技术，但有研究表明，持续学习的AI模型在法律合规性、系统可预测性和事前法律审查方面带来了更大挑战。例如，IEEE小组的报告指出，跨学科专家普遍认为AI系统“不应能够在现场学习和更新”。本文认为，尽管对持续学习模型的担忧是合理的，但手动更新模型同样存在性能下降和可靠性难以保障的问题。

本文旨在帮助律师理解在线学习与离线学习技术的区别，并为他们提供适当的术语来评估这些技术对IHL义务的潜在影响。需要提醒的是，一些AI系统可能结合了在线和离线学习技术，目前也有努力正在减少这两种技术的风险和漏洞。因此，有必要密切关注可能影响法律评估的发展动态。

**2. 生命周期各阶段的共存：理解在线与离线学习技术**
生命周期框架描述了创建数据驱动AI系统（或机器学习算法MLA）所涉及的各个阶段，通常从研究和概念开发开始；接着是准备数据集（如数据收集、整理、标注等）；模型设计与开发；测试、评估、验证和确认（TEVV）程序；人员培训与认证；然后是系统的使用或部署阶段；最后是退役阶段。尽管生命周期框架组织有序，但并非所有AI模型都会经历所有阶段。实际上，不符合这一流程的模型比遵循该流程的模型更多。例如，无监督学习不需要数据标注；此外，生命周期并不一定是循环性的（即各个阶段不会重复出现）。实际上，许多步骤是同时进行的，例如数据整理可能发生在系统部署过程中，或者模型训练阶段与使用阶段难以区分。

为了解释生命周期中不同阶段的共存，本文简要介绍了在线学习与离线学习技术的区别。从技术角度来看，模型的“学习”过程离不开人类的辅助，人类帮助提取数据模式并解释不同方法带来的脆弱性和风险。

在线学习（也称为增量学习、持续学习或现场学习）是指ML模型利用实时输入数据流进行学习和更新的技巧。动态数据流指的是来自环境的不断变化的数据流，模型据此实时更新参数。这种技术适用于那些底层模式会随时间变化的应用场景，如金融、欺诈检测或广告。然而，并非所有AI系统都持续实时学习新数据。离线学习（也称为批量学习）是指模型根据训练阶段学到的内容进行操作，除非手动更新否则不会继续学习新内容。一些研究者将这些算法称为“固定”算法，因为它们无法从新数据中学习新模式。为了保持性能和准确性，必须手动更新这些算法。

**3. 结论**
在线学习与离线学习技术的区别主要在于训练过程：在线学习是实时或接近实时的，而离线学习则是通过手动更新进行的。在线学习更清晰地表明模型训练并非部署的先决条件。本文总结了在线学习与离线学习系统之间的关键技术差异（见表1）。

**表1. 在线学习与离线学习技术的关键技术差异**

**在线学习（Online Learning）**
- **特点**：
- 随着新数据的出现持续更新模型参数和权重
- 在固定数据集上训练，仅在重新使用新数据批次后更新
- 实时或近乎实时的更新

**离线学习（Offline Learning）**
- **特点**：
- 需要存储整个数据集以供重新训练
- 需要存储过去的训练数据以及新遇到的数据
- **存储与计算要求**：
- 通常不需要长期存储数据
- 需要更高的计算能力和存储资源

**示例说明**
微软的Tay机器人是一个典型案例：它是一个在线无监督学习系统，通过Twitter上的用户互动不断学习并生成文本。然而，这种学习方式导致了极端仇恨言论的传播。这种演讲形式并非微软工程师所期望或预见的；然而，考虑到用户或自动化机器人经常产生的内容类型，这些结果并不完全出乎意料。微软迅速关闭了该系统并发表了道歉声明。Tay机器人事件展示了在线学习系统面临的许多挑战，包括可能迅速偏离预期性能的问题。微软的Tay机器人是当代大型语言模型（LLMs）如GPT和BERT的早期前身，后者现在采用了更复杂的架构来降低模型从与用户的在线互动中学习到不良关系的风险。一旦在大量数据上进行训练完成后，模型的参数和权重通常会固定下来，系统就不再从新的用户互动或输入中学习。尽管如此，LLMs仍可能针对特定用途进行更新或微调。在军事领域的一个例子是，据报道以色列使用“数百万截获的巴勒斯坦人对话”来微调LLM，以分析巴勒斯坦人的口语方言。这种在新数据集上对LLM的微调旨在提高其分析巴勒斯坦方言对话的准确性。

然而，离线学习方法的局限性在于，预训练的LLMs可能会迅速过时。因此，OpenAI和其他部署LLMs的人工智能公司实施了新的策略，包括基于人类反馈的强化学习（RLHF）和一种称为检索增强生成（RAG）的过程，其中系统会访问最新的数据库以提供更准确的信息，但“学到的信息不会被保留，导致任何更新的丢失”。用于训练LLMs的技术可能会继续发展，这揭示了在线学习与离线学习技术之间的核心冲突：如何在从输入数据流（例如用户提示、社交媒体内容）中学习到不良行为的风险与确保AI模型能够适应不断变化的条件（例如新的科学发现）之间找到平衡。

需要注意的是，在实践中在线学习和离线学习之间的区别并不总是那么简单明了。首先，一个AI系统可能结合了多种不同的学习技术。例如，一种配备AI的车辆可能使用在线（强化）学习在复杂的动态环境中持续更新其导航功能，同时使用离线（监督）学习来检测特定对象。其次，随着AI技术的快速发展，每天都有新的技术被提出。因此，已经存在多种结合在线和离线学习元素的混合学习技术。尽管该领域有新的发展，但在许多AI模型中，在线学习与离线学习之间的区别仍然相关且被广泛使用。基于这一理解，下一节将讨论每种学习技术所面临的挑战，特别是在军事领域。

“持续学习”这一常用术语可能会给人留下AI系统不断提高准确性的印象。然而，本节将展示，特别是在应用于军事领域动态变化的任务时，AI系统出现性能下降或其他偏离预期结果的情况有很多原因。这里的性能下降指的是模型输出的质量和准确性的下降，通常是由于数据的变化、使用场景的变化或手动更新造成的。最终，性能下降之所以重要，是因为它影响了AI系统的可靠性。换句话说，如果模型的性能不再符合测试和验证期间设定的预期，就会削弱指挥官对其使用后果的预见能力，以及评估其在特定军事行动中的使用是否在合理范围内的能力。这也挑战了国家通过事先的法律审查机制来减轻可能违反国际法律义务的风险的能力。

本节详细说明了数据驱动AI可靠性难以捉摸的原因，重点关注军事应用。它列出了可能导致AI性能下降的各种因素。维持模型性能的难度源于MLAs对数据的依赖，尤其是对“训练时数据”的依赖。因此，模型性能可能会因为模型本身的变化或外部特征/条件的变化而波动。本节旨在强调，所有MLAs都可能发生性能下降。尽管在线学习系统和离线学习系统在性能下降的方式上存在差异，但数据驱动的AI系统总体无法保证一致的预测质量或长期准确性。

军事领域是一个不断演变的环境的例子，其特征是新对手、新战术和新作战手段的出现，以及战争造成的地形变化和平民人口的流离失所。这些变化也被称为“漂移”，对在非静态环境中保持MLAs的准确性构成了重大挑战。在各种类型的漂移中，“概念漂移”尤为相关。这是一种现象，即（有时是微妙的）新出现的情况导致算法模型参数的对齐失败，从而削弱了其进行准确预测的能力。例如，想象一个在军事单位受到攻击时推荐疏散路线的AI决策支持系统。这个假设的离线学习系统在冲突前使用卫星和其他地理空间数据进行了训练。然而，在冲突期间，建筑物被摧毁，桥梁倒塌，一些新的隧道被挖掘出来。冲突后的环境与系统在训练期间学习的模式显著不同，导致概念漂移。如果系统没有进行手动更新，它可能无法准确优化疏散路线。

原则上，离线学习系统更容易受到概念漂移和其他环境变化的影响。离线学习系统假设“数据分布是静态的”，因此它们通常无法在没有手动更新的情况下捕捉到新的数据模式。概念漂移会导致算法准确性的显著下降，进而影响其可靠性，这可能会无意中造成伤害。然而，不应该因此就认为在线学习系统更适合在不断变化的环境中使用。正如接下来将讨论的那样，在变化的环境或使用场景中，在线学习技术也存在弱点。

在线学习系统的一个重要且鲜为人知的挑战是所谓的“灾难性遗忘”现象。灾难性遗忘发生在“模型在训练新任务时之前学习到的任务性能突然下降”的情况下。灾难性遗忘的发生是因为，在在线学习系统中，大量的新输入数据可能会覆盖之前学到的关系和模式。随着先前数据关系的“遗忘”，系统进行预测或建议的能力下降，因此其准确性也随之降低。例如，假设军方使用AI模型通过无人机摄像头捕捉的图像来识别敌方车辆和武器。最初，这个AI支持的无人机在沙漠环境中部署，并学会了区分黄色和棕色地形中的物体。后来，同一系统被部署到森林区域，那里的颜色主要是绿色和蓝色。如果系统使用在线学习，它会根据森林环境的新输入数据更新其学到的模式。但它可能会“忘记”在沙漠中学到的内容。当系统用森林的新模式覆盖了在沙漠中学到的模式时，就会发生灾难性遗忘。如果系统再次遇到概念漂移（例如，遇到混合地形或重新部署到沙漠），它可能无法像预期那样工作，需要重新训练。

在频繁发生概念漂移的环境中，这个问题尤为严重。战争就是其中之一。这是因为，除了遗忘之外，在线学习系统还可能从随机或无关（噪声）数据中学习到错误的知识，从而引入误导性的关联。例如，在漫长的冬季战斗中，在线学习系统可能根据背景中的雪花（白色像素）来识别坦克。结果，即使在最初的训练数据中包含了夏季条件下的坦克合成图像，系统也可能无法在非雪地条件下正确识别坦克。换句话说，系统不仅忘记了坦克的原始概念，还用基于白色背景的坦克概念替换了初始训练/部署期间学到的模式。灾难性遗忘加上虚假的相关性，不可避免地会导致意外的性能表现。在某些情况下，这可能导致严重的误识别、目标定位错误和操作失败。

近年来，减轻或预防灾难性遗忘已成为一个重要的研究领域。有趣的是，自AI领域诞生以来，研究人员一直在研究人类和动物大脑的长期记忆机制，以模仿计算机如何避免“忘记”从初始训练数据集中学到的模式。最常见的减轻灾难性遗忘的技术之一是“重放”，即在系统演变过程中重新播放旧数据模式，以确保它们不会被“遗忘”。讽刺的是，减轻灾难性遗忘的策略也导致了相反的现象——灾难性记忆，即系统过度泛化模式，从而无法在变化的环境中准确区分旧模式和新模式。总体而言，这些挑战无论是灾难性遗忘还是灾难性记忆，都强调了工程师需要监控、维护并确保AI模型在变化环境中的持续性能。

除了由于概念漂移和灾难性遗忘导致MLAs性能下降之外，Vela等人还发现了一种他们称之为“AI老化”的现象。作者观察到，尽管存在概念漂移，MLAs的性能也会随着时间的推移而下降，无论这些模型上次训练的时间长短如何。这一观察适用于预测航班延误、天气情况、患者检查延误和股票收盘价的模型。换句话说，即使不进行任何修改，跨多个领域测试的常见MLAs的性能也会随时间下降。“AI老化”的风险突显了确保AI系统可靠性的挑战，即使是在那些变化较少的内军事任务中也是如此。

最后，不应忘记战争不仅是一个动态的环境，也是一个对抗性的环境。因此，对手也可能故意逃避检测或引入其他干扰来破坏模型的学习过程。所有MLAs都可能受到对手的操纵、干扰和规避。例如，在线学习技术容易受到对手操纵环境并提供恶意输入的影响。这被称为数据投毒——一种通过删除或向训练数据集中添加新数据点来操纵ML模型训练过程的方法。数据投毒使对手能够操纵模型所学到的内容。离线学习系统依赖于部署前收集的训练数据，因此对这些系统的数据投毒需要对手在系统训练之前获取并修改存储在服务器上的数据集。这与在线学习系统形成对比，后者在部署过程中进行训练，不需要使用训练数据集。相反，对手可以利用在线学习的适应性，注入伪装成真实数据的恶意示例。例如，一个使用在线学习技术的异常检测系统可能被部署来识别恶意或不寻常的活动，如军事车辆的非预期大规模移动。对手可能会逐渐引入军事车辆移动的模式，使AI系统认为这些是常规活动。在环境中对输入数据进行对抗性操纵的目的是为了误导AI系统，使其将攻击误分类为良性活动，从而逃避检测。尽管离线学习系统在部署期间不会持续学习，但它们仍然可能依赖于从战场收集的数据。如果这些数据批次在重新训练模型之前没有得到适当的清洗，它们也可能破坏或降低离线学习系统的性能。此外，正如上述示例所示，对抗性攻击不仅涉及AI系统的网络安全问题。即使攻击者没有入侵或以其他方式获取系统的底层架构，数据投毒或逃避攻击也会干扰AI模型的训练。系统也可能通过修改外部环境而被操纵，而不需要直接接触模型。这就是为什么对抗性攻击会降低数据驱动模型的性能风险。

总结来说，首先，AI模型的性能或准确性从来都不是恒定的。使用AI功能需要认识到，不仅持续学习的模型，所有数据驱动的模型本质上都是不稳定的。它们的可靠性难以捉摸。然而，需要不断调整以维持其性能。其次，AI模型的性能是由模型的内部能力和外部条件共同决定的。即使模型本身没有变化，由于外部条件的影响，其可靠性也可能显著降低。因此，要确定模型的性能是否发生了显著变化（例如，为了触发下文所述的重新审查义务），不能仅依赖手动更新的考虑。

**4. 西西弗式的劳动：性能监控、模型重新训练和用户生成的反馈循环**

虽然所有数据驱动的模型都容易受到性能下降的影响，但在线学习和离线学习技术之间的一个关键区别在于工程师对系统变化的控制程度。由于这些系统的学习能力是从未经过滤的数据中不断发展的，因此可能更难以控制或预测性能影响。工程师可能也不知道系统摄入了哪些被污染的数据、导致虚假关联的变化或其他放大了数据中某些模式的变化。正如Tay机器人事件所示，系统的性能超出了工程师的预期。此外，由于“学习”发生在使用或部署过程中，这引入了很大的不确定性，并削弱了测试、验证和确认的重要机制。

普遍认为，持续学习的系统对可靠性构成了重大挑战，正如引言中提到的那样。目前还没有迹象表明军事部门已经在目标识别中冒险使用在线学习系统。实际上，我交谈过的大多数军事机构的专家表示，他们使用的是离线学习系统。美国国防部联合人工智能中心的创始主任约翰·沙纳汉中将（退休）在2024年也写道，他不知道有任何能够进行在线学习的AI驱动的军事系统。其他高风险评估、安全关键的环境，如医疗保健和自动驾驶，也在采用在线学习技术，尽管这些技术存在风险，并且确保适当的验证和确认仍面临持续的挑战。

因此，在这一部分中，我的重点是与离线学习技术相关的调整实践，特别是用户生成的反馈循环。这是因为这些实践鲜为人知，而且这个案例研究表明，维护AI模型准确性的困难并不局限于在线学习系统。为了确保离线学习系统继续发挥其作用并从不断变化的冲突情况中学习新模式，有必要定期进行更新和修复。为了保证AI模型的可靠性，需要不断调整软件。然而，更新离线学习系统的过程可能非常耗时且需要大量资源。因此，调整者实施了特定的“快捷方式”机制来促进这一过程，例如用户生成的反馈循环或辅助AI系统。

为了明确起见，在这个分析中，反馈循环指的是工程师用来改进系统性能的用户生成响应。无论是明确的还是隐式的反馈，都可以从用户那里收集。明确的反馈包括评分、点赞/点踩选择或书面笔记。隐式用户反馈则是通过观察用户行为来收集的，例如分析用户关注了哪张图片、用户点击链接的频率等。然后，收集到的反馈会被清洗、分析，并由工程师用于重新训练离线学习系统。数据批量的清洗可能涉及移除可能导致系统得出错误关联的不需要的数据点。之所以称为循环，是因为更新后的系统会再次由用户进行评估，用户的反馈会重新反馈给开发者。

需要注意的是，用户生成的反馈循环与基于人类反馈的强化学习（RLHF）不同，后者自用于优化大语言模型输出以来变得越来越流行。虽然RLHF直接将用户反馈纳入模型输出，但反馈循环通常需要专门的人员来审查和实施用户评论。另一个关键区别是，RLHF更适合需要主观判断的MLA应用，其中人类反馈用于优化用户偏好。相比之下，反馈循环的目的是提醒工程师系统性能发生了变化，不再符合所需的准确性，需要干预。

基于与工程师的访谈，我确定了四个关注点：用户反馈的质量、监控和更新离线学习系统的机制，以及对指挥官或其他用户了解系统可靠性的影响。在每个小节中，我将讨论确保AI模型按预期运行的经验困难所带来的法律后果。

**4.1. 对反馈的误解**

在反馈循环中，一个常见的挑战是用户对反馈机制的误解。一位受访者向我举了个例子，她回忆说一个AI决策支持系统提供了让用户通过点击点赞或点踩来提供反馈的选项。她反思这个实验时指出了用户对点赞/点踩的不同理解与系统工程师的理解不一致：
“我们遇到了一个大问题，当我们观察用户时，他们对点赞或点踩的理解各不相同，他们有时会拒绝正确的检测结果——比如检测结果是正确的，但并不符合他们的当前需求，所以他们会选择点踩。这对后端的工程师来说意味着什么？他们可能会认为这是一个错误的检测结果。但对用户来说，点踩意味着：我想从屏幕上移除此结果，它并不是错误的，我只是现在不想看到它。如果你不派人检查所有的反馈，你就可能在训练错误的数据上，从而误导AI，使其变得混乱。我没有很好的解决办法，但这确实是一个随着操作进展而难以保持更新的问题。”

这个例子说明了实现反馈循环时如何设计反馈循环以支持调整者更新和重新训练模型的关键挑战。该领域缺乏关于用户生成反馈循环适当设计和整合的最佳实践或指南。试图实施这一功能的军事机构正在尝试各种设计选择，才能有效地利用用户反馈。适当的设计应确保用户和工程师对反馈机制有共同的理解，特别是在使用简单的暗示（如点赞或点踩）的情况下尤为重要。

另一种选择是实施开放式反馈，用户可以不受限制地提供书面反馈。在这种格式下，用户可以在文本框中描述他们对AI输出准确性、充分性或可靠性的疑虑，提供更详细的反馈。然而，书面反馈会给用户带来负担，因为他们可能需要花费时间编写反馈。这对于测试或训练环境中的系统来说可能是有益的反馈设计，但对于确保AI系统“随着操作进展而保持更新”来说不太合适，因为它会降低军事决策的速度。更长的书面反馈还需要工程师额外的审查时间，并且“可能难以转化为模型的更新”，从而延长了系统更新的总体时间。

因此，相比较长的反馈形式，较短的多项选择反馈机制更受欢迎，尽管它们也有其挑战。即使使用多选题反馈设计，仍然存在如何引出用户反馈的问题。例如，是否每个建议都要求用户必须点赞或点踩？是否应该提供一个额外的中间选项（如问号）来减少不确定的反馈？以及如何确保用户和工程师之间对反馈有共同的理解？

追求速度的需求影响了反馈循环的设计以及调整者维持基础模型准确性能的能力。清洗新数据批次或提供和审查详细的文本反馈需要时间。当速度优先于准确性时，这不仅会影响系统设计，还会影响确保离线学习模型持续可靠性的相关机制。

**4.2. 人为错误**

实施用户生成的反馈循环的另一个挑战是人为错误的高风险。这可能有多种形式。例如，用户可能错误地使用系统：
“另一个问题是，用户可能看到了错误的图像。目前检测结果和图像是分离的，所以当你看到一个检测结果时，不能确定它基于的是哪张图像。如果用户不理解，或者只是粗心、疲劳或压力大等原因，即使检测结果正确，但由于没有加载相应的图像，他们仍然可能做出错误判断。我们已经多次遇到这种情况：用户看到检测结果，但实际上看到的是旧图像，因此认为检测结果是错误的。我发现他们没有加载用于推理的基准图像，如果加载该图像，通常会发现事实证明AI是正确的，但用户没有加载正确的图像。这是一个用户界面问题，但我们经常遇到。”

用户和工程师之间对反馈机制的误解会导致人为错误。换句话说，如果用户将正确的AI输出标记为“错误”，而开发者根据这个反馈重新训练模型（例如，在监督学习中改变图像的标签），那么重新训练后的系统将从用户的错误中学习到错误的响应。如果开发者不加以检查，用户就会将错误引入系统，并通过AI系统传播出去。这对于处理用户生成反馈的开发者来说是一个重大挑战，因为他们不能简单地接受人类的回答作为最终答案：“没有人是万能的，即使他们是专家。”

然而，开发者也可能缺乏评估用户反馈有效性的专业知识。或者，他们可能被要求不分青红皂白地整合所有用户反馈。在军事环境中，这些错误尤其令人担忧，因为它们不仅可能导致操作失误，还会进一步复杂化对错误AI行为或结果的责任分配。

**4.3.缺乏实际的验证依据
因此，确定什么是正确的预测是用户生成反馈循环中的另一个挑战，尤其是在军事背景下。军事人员可能依赖他们的工具来评估一个地区的安全性、估计平民伤亡人数、计算影响范围等等。由于并不总是能够验证情报的准确性，这个领域的一个常见特点是不确定性，或者称之为“战争的迷雾”。
例如，假设一个用户通过一个基于人工智能的图像识别系统收到通知，称有几架敌对战斗机驻扎在某个区域。现在想象有一片大云层遮住了图像，用户无法看到任何战斗机，但这并不意味着它们不存在。在这种情况下，除非有其他验证方法，否则用户和系统一样不知道这个识别是否正确。操作的快速性可能会削弱验证目标的可行性以及对人工智能输出的依赖性。因此，用户可能不确定如何解释所呈现的信息，也无法提供有意义的反馈。
在某些情况下，验证人工智能输出准确性的难度更大，因为这些系统不仅仅用于进行事实性评估（例如，这是一架飞机，那是一座医院建筑），还用于做出法律判断（例如，这是一个受保护的对象，那是一个战斗人员）。这样的评估需要解决战场上的不确定性与“极其困难”的法律判断之间的对齐问题，比如判断某个对象是否具有军事目的。
在攻击发生后，估计战斗人员和平民死亡人数的难度尤其大。在死亡人数评估方面，军事机构、事实调查团和非政府组织往往提供不同的数据。这既是因为复杂的战争现实，也是由于法律上的模糊性，即对于一个人是否为战斗人员的解释存在差异。这种复杂的战场现实大大削弱了用户和工程师确定人工智能输出真实性的能力，尤其是在操作和认知压力下。
因此，如果没有办法验证输出的准确性，就可能无法始终评估人工智能系统的性能，更无法在整个操作过程中保持其可靠性。这就是为什么我将维护人工智能性能的过程称为“微调”，因为这种方法不是基于系统的理论框架，而是依赖于对模型的小型、迭代性和直观性的修改。

4.4. 实施用户反馈的实际挑战
下一个重要的考虑因素是将用户反馈应用于人工智能模型的可行性。在一个理想的世界里，每条用户生成的反馈都应该被仔细审查、处理并实施。然而，军事机构可能会面临资源稀缺、人力有限、处理能力不足或存储空间有限等问题，从而无法确保所有反馈都能得到妥善处理。
例如，可能会有用户指出某个系统行为异常——他们确实指出了这个问题，但谁来处理它呢？随之而来的是一系列后勤问题……
一方面，这种情况凸显了记录和文档化用户反馈及其实施过程的价值。例如，这样的文档对于确保人工智能错误的可追溯性非常重要。然而，另一方面也表明仅靠文档化是不够的。仅仅知道用户将某个建议标记为“行为异常”并不能明确问题出在哪里（是数据、模型还是其他外部因素）。在大量的用户反馈中，工程师如何区分系统的关键缺陷和许多看似合理的用户评论（这些评论可能包含潜在问题），并选择哪些进行逐步实施呢？
这一情况还突显了人工智能系统部署者可能面临的不确定性。例如，在一个不完善的系统中合法使用与违反规定的使用之间的界限在哪里？合理性的标准可能会决定某个系统在特定情况下的使用是否合法。但是，当底层模型的性能不断演变、过去的经验无法预测其未来的准确性，且缺乏监督和更新机制时，指挥官如何才能充分了解系统呢？为了负责任地使用或部署人工智能系统，指挥官需要知道什么？这些问题正是那些希望在遵守国际法律义务的同时部署人工智能系统的用户所面临的法律挑战的核心。
因此，由于无法验证输出的准确性，可能无法始终评估人工智能系统的性能，更难以在整个操作过程中保持其可靠性。这就是我将维护人工智能性能的过程称为“微调”的原因。

4.5. 军事人工智能应用的法律审查机制的影响
由于人工智能系统的可靠性难以确定，由此产生了许多法律问题。例如，它挑战了用户和指挥官判断在特定情况下依赖人工智能系统是否合理和合法的能力。在本节中，我将重点讨论各国确保其基于人工智能的战争手段和方法不违背法律规定的义务。
《日内瓦公约第一附加议定书》的缔约国有义务在“研究、开发、获取或采用新的武器、手段或战争方法”时进行法律审查。目前尚存争议，不确定这一规定是否已经具有习惯国际法的地位。关于这一点有两个关键的法律争议：一是范围问题：哪些基于人工智能的军事系统属于第36条的适用范围，从而触发审查义务？界定这一范围时，“战争手段”和“战争方法”的定义模糊性带来了挑战。
在我的简要分析中，我假设所有对敌对行动有重大影响的人工智能系统（无论是武器化还是非武器化的）都应接受审查。各国可以通过广义解释第36条的范围，或者采取措施确保其使用的系统不会违背法律义务来采纳这种方法。
第二个关键问题是“新武器、手段或战争方法”的定义。虽然答案尚不明确，但国际红十字会等相关机构仍认为，每当基于人工智能的武器、手段或战争方法“以新的方式使用或被修改从而改变其功能或效果”时，就应该进行新的法律审查。这是本次分析的重点。

5.1. 事前审查的不足
通常，关于法律审查义务的文献并没有区分持续学习和手动更新的系统。据我所知，只有一篇学术文章明确讨论了与法律审查机制相关的人工智能学习技术，而且该文章主要关注在线学习。McFarland和Assaad对部署持续学习型人工智能系统所面临的挑战进行了细致分析。他们认为，审查在线（实地）学习型自主武器系统的主要难点在于预测所有可能引发其行为变化的刺激因素。正如上文所述，在线学习系统会根据使用过程中收集的动态数据流中的模式做出意外适应。这一问题因人工智能系统的复杂性和不可预测性而变得更加复杂，因为“甚至它们的创造者也无法详细解释它们是如何做出特定决策的”。这些特性使得可靠地预测系统行为变得困难，实际上使得事前审查变得几乎不可能。因此，他们提倡进行迭代审查以降低系统变化带来的风险。
随着越来越多的学者和国家的支持，他们主张通过迭代审查来减轻系统变化带来的风险。在线学习系统在实际投入使用之前可能需要采用实验性或原型模型。由于设计目的是在运行中学习，它们的初始性能可能非常不准确且不可靠，但部署后有潜力迅速改进。在线学习系统从实战中学习，这对法律审查机构提出了重大挑战，因为它们可能既无法预测系统性能，也无法确定其是否符合审批标准。当在线学习系统的训练和使用同时发生时，它们会缩短人工智能系统的生命周期阶段。

5.2. 系统修改与重新审查的义务
法律审查义务适用于所有新的武器、手段和战争方法。即使一个国家之前拥有某种武器或方法并进行了审查，但如果其效果或预期用途发生了显著变化，根据这一义务它也可能被视为“新的”，从而需要重新审查。
在战争中，对战争手段的现场修改是很常见的现象，这也是将某种手段视为“新的”并触发法律重新审查的典型例子。然而，并非所有修改都足以需要全面重新审查。特别重要的是那些会对武器效果、性能或预期用途产生重大改变的修改，因为这样的改变可能会导致违反国际义务的风险。然而，在大多数情况下，隶属于武装部队的法律顾问应当进行临时评估，以确定是否需要进行彻底的审查。尽管这种方法指的是物理组件，但问题是是否可以类比地将其应用于人工智能系统，将更新视为现场修改。我认为这种类比并不合适，因为判断修改是否显著对硬件和软件来说是不同的。物理组件的改变通常是可以预测的后果。例如，当将无人机的榴弹替换为燃烧武器，或者将侦察无人机修改为携带榴弹时，这些改变将导致不同的效果。由于攻击者必须仔细考虑他们的作战手段和方法是否可以针对战斗人员和军事目标而不对平民和民用物体造成过度伤害，因此对爆炸物的修改可能会影响指挥官遵守国际人道法中目标规则的能力。如果武器本身是被禁止的，这也可能会导致国家违反条约义务。同样，更换坦克轮子显然不是重大修改，因为它不会改变系统的效果或预期用途。相比之下，修改软件组件的后果并不那么可预测。Sculley等人提出了“改变任何东西都会改变一切”（CACE）的原则，强调对“超参数、学习设置、采样方法、收敛阈值、数据选择以及几乎所有其他可能的微调”都会影响整个系统的性能。虽然更换硬件中的一个螺丝不太可能改变系统的功能（即使安装不正确），但软件组件则不同。添加或删除几个数据点、调整阈值或实施任何其他看似微不足道的改变都可能对模型的性能产生连锁效应；这些后果在测试或生产中才能观察到。

因此，将针对现场修改武器的重新审查义务类比地应用于人工智能武器的软件更新是不合适的。维护人工智能性能所需的修改远远多于武器的硬件组件。工程师可能每个月、每周甚至每天都在修改软件和重新训练系统。将所有这些修改都视为需要重新审查整个人工智能系统是不切实际的，因为这不仅会消耗大量资源，还会严重影响这些系统在战争中的高效使用。也不是所有修改都可以被审查，也无法确定哪些修改足以构成一种“新的”武器或能力并触发测试和重新审查的义务。在模型微调、重新训练和小型改进之间有许多模糊的界限，这使得很难定义何时它们超出了根本性修改的阈值。只有在极少数情况下，当对人工智能架构进行重大更改，或者系统被用于其最初未设计的用途时，才会明确触发重新审查的义务。例如，Copeland等人讨论了当设计用于国际武装冲突的系统被重新部署到非国际武装冲突中时需要重新审查的情况，这可能会触发不同的义务和必要的预防措施。然而，大多数单独来看对人工智能系统的修改可能被认为是微不足道、微妙或渐进的；即使结合起来，它们也可能破坏系统的可靠性，从而违反国际法。同样，值得考虑的是，开发者可能有意地对其系统进行一系列小更新，以避免耗时且资源密集的法律审查，从而确保系统的持续使用，即使这些更新总体上显著改变了系统性能。

不幸的是，人工智能系统很少会进行主动的重新审查。国家更有可能在人工智能系统性能下降的风险出现时采取反应性措施。至少，国家可能会采用监控程序来检测系统行为是否异常或产生的输出是否偏离了所需的最低性能标准。通过强有力的监控和透明的报告收集的信息对于支持指挥官和操作员了解人工智能系统的预期性能，以及帮助法律顾问监控任何新出现的改变是否对国际人道法下的目标评估有重大影响至关重要。持续监控将支持许多人提倡的迭代审查过程。需要注意的是，鉴于当前的监控能力，反应性风险评估存在重大缺陷。2024年的一项研究回顾了大量关于人工智能基准测试的出版物后发现，该领域存在严重不足。其中最相关的限制是，许多人工智能性能测试没有测量它们声称要测量的内容，或者缺乏明确的测量定义，使得这些测试无法科学地复制。此外，关于如何解释基准测试结果知之甚少，现有的评估技术产生的结果也不可靠。同样，建立“模型需要重新训练的触发机制”仍是一项正在进行的工作，工程师们正在努力找到有效的实施方法。

迫切需要开发更好的测试和监控协议来确保人工智能系统的性能得到维护。如果没有适当的机制，国家在造成大规模伤害之前不太可能发现人工智能系统中的严重缺陷。6. 结论：可靠性的幻觉

一个重大风险是基于善意但却错误的信任，或者对系统可靠性的幻觉而继续使用人工智能系统。在许多军事应用中，人工智能性能下降的风险很常见。军事领域的特点使得人工智能系统更容易产生不确定的输出或表现出意外的行为。不仅性能在不断变化，而且检测这些变化以及判断变化是否足以进行干预和重新训练模型的机制也缺乏。正如用户生成反馈循环的示例所示，确保系统输出有效的机制会增加额外的脆弱性和引入级联错误的可能性。因此，部署前的系统可靠性评估无法预测使用过程中的可靠性，而部署中的监控机制也存在缺陷，可能无法为指挥官或操作员提供足够的系统可靠性变化指标。这些风险因速度而加剧。军事机构采用人工智能系统是为了超越敌人，投资于能够更快做出决策的技术。这一目标有着广泛的后果，包括人工智能的采购和整合过程。例如，用户生成的反馈循环的设计旨在减少操作员的工作负担，即使这种代价是一系列误解、错误和开发者难以正确实现用户反馈的问题。由于重点在于维持人工智能系统性能所需的人工劳动，这篇文章可能会给人一种印象，即人为错误是机器与愿景、知识甚至真相之间的障碍。有些人甚至可能认为问题出在将错误引入系统的用户或开发者身上，并希望移除人类成员会导致“更好”或“更准确”的结果。但这并不是本文的结论。相反，我认为机器没有人类是无法“工作”的。对机器的调整是优化、转化和修改算法生成知识的过程的一部分。没有人类，机器就变得无用。因此，人工智能错误中本质上包含着人性。

最后，这篇文章对第36条法律审查下“新”武器、作战手段和方法的法律辩论做出了贡献，详细阐述了军事学习技术对事前审查以及迭代审查所构成的挑战。我认为人工智能的学习特性严重妨成了任何有意义的审查，造成了在线学习系统与旨在限制在操作环境中使用此类系统时可能出现的不合规情况的审查之间的紧张关系。我还提出，不仅通常考虑的在线学习系统，离线学习系统在确保达到所需的最低法律可预测性阈值方面也存在重大挑战。第36条本质上是预防性的，要求缔约国采取额外议定书中的义务，以减轻它们可能对受敌对行动影响的人造成的风险。遗憾的是，人工智能系统的性质引入了新的挑战，使得预先确保合规性变得复杂。相反，我认为国家更可能采取反应性措施，对使用过程中观察到的变化和错误做出反应。关键问题是，测试和监控机制是否能改进对人工智能性能不再符合设定标准的检测，或者法律审查是否将成为确保人工智能系统持续合法性的不足机制。如果测试和监控得到改进，并出现了令人满意的评估人工智能性能基准的措施，那么可以在性能显著偏离预期时进行迭代审查。然而，如果情况并非如此，那么验证和确保人工智能武器、手段和方法持续合法性的法律机制必须不断发展并适应当前冲突中使用的技术。这一挑战将需要重新考虑与确保军事行动合法性相关的技术专长、资源和流程。