处于道德抉择中的机器人：一项关于人工智能顾问在军事伦理决策中应用的实地研究

《Frontiers in Artificial Intelligence》：Robots in the moral loop: a field study of AI advisors in ethical military decision-making

道德AI在长期协作中显著影响人类道德判断，但建议矛盾时人类会部分反弹。62名美军学员与机器人或人类顾问合作三个月后，面对"牺牲士兵或平民"的道德困境，初始均因建议转向功利主义（减少总死亡），但当后续建议强调保护平民时，93%的人立即调整，最终约53%完全回归原立场，仅1%强化功利主义。研究表明机器人与人类顾问的即时影响力相当，但长期道德立场易受动态建议影响。设计应注重透明化权衡，结合人类反思机制。

　　在当前社会中，人工智能（AI）和机器人正在越来越多地进入那些涉及人类生命与道德价值的领域。军事指挥官可能依赖机器助手为涉及生死的决策提供建议；医生借助决策支持工具来指导医疗优先级的分配；而驾驶者则越来越依赖自动驾驶系统在复杂情境下做出风险判断。这些现实中的应用表明，人工智能对人类道德选择的影响已经不再是一个假设性的场景，而是一个需要深入研究的议题。然而，尽管已有研究表明，短期的与机器人互动可以改变人们的道德判断，但对于长期协作中人工智能对人类道德决策的影响，以及在复杂的道德困境中，人们如何应对连续的、相互冲突的建议，目前的研究仍存在显著的空白。

本研究通过一个为期三个月的团队协作项目，探索了这些问题。项目中，62名美国军事学员在高保真的模拟作战环境中与一个名为SIEMA（Socially Intelligent and Ethical Mission Assistant）的智能道德助手进行合作。该助手既可以以人类顾问的形式出现，也可以以人形机器人形式存在。参与者在完成长期协作后，面对一个涉及士兵与平民生命权衡的道德困境，并根据SIEMA的建议进行决策调整。结果显示，参与者在收到SIEMA的建议后，其道德判断发生了显著变化，而这种变化在随后收到相反建议时又出现了明显的反弹。这表明，即使是经过长期协作的道德建议，其影响也可能是短暂的，且人们倾向于根据新的信息重新评估自己的道德立场。

本研究的三个核心研究问题分别探讨了以下内容：第一，机器人顾问是否能在高风险情境下有效影响人类的道德决策，且其影响是否与人类顾问有所不同；第二，当人们接收到连续的、相互冲突的道德建议时，他们是否能够根据新的信息更新自己的判断；第三，人们在面对矛盾建议时，是否会完全恢复到最初的道德立场，还是会在原有基础上形成新的平衡。研究结果表明，无论建议来自机器人还是人类，参与者在最初阶段都表现出相似的道德判断变化。然而，在后续阶段，当建议强调保护平民时，大多数参与者再次调整了他们的立场，回归到更接近原本的道德判断，这反映了道德决策的灵活性与可逆性。

在定量分析方面，研究发现，参与者在收到SIEMA的建议后，其道德判断得分显著上升，表明他们倾向于选择更符合“最小化总伤亡”的方案。然而，当建议转向强调保护平民时，得分明显下降，显示出参与者对建议的重新评估。这一反弹效应在机器人和人类条件下均存在，但其表达方式有所不同。在机器人条件下，参与者更倾向于基于结果进行判断，而在人类条件下，他们则更可能引用个人信任或对建议来源的质疑。这些差异表明，虽然道德判断的变化在两种条件下相似，但其背后的动机和表达方式却存在微妙的不同。

在定性分析方面，研究者对参与者的开放性回答进行了主题分析，发现了四个主要的道德推理主题：结果导向的道德计算、保护平民的道德义务、对顾问的信任与委托，以及士兵责任的伦理观念。这些主题在不同的决策阶段表现出明显的演变趋势。例如，在最初的阶段，参与者更多地依赖结果导向的逻辑，而在后续阶段，他们更强调保护非战斗人员的道德义务。此外，参与者对机器人顾问的信任程度明显下降，这可能是因为他们认为机器人缺乏人类的伦理直觉和情感因素。相比之下，人类顾问的建议更容易被参与者接受或拒绝，而这种接受或拒绝更多地基于对建议本身的看法，而非对建议来源的评价。

这些发现对于人机交互（HRI）的设计和训练具有重要的启示。首先，设计道德AI顾问时，必须确保其建议与人类价值观相一致，以避免违背道德原则。其次，应保持人类在决策过程中的主导地位，防止因过度依赖AI而导致责任转移。研究结果表明，人们在面对AI建议时，更倾向于通过反思和评估来形成自己的道德判断，而非盲目接受。因此，AI应被设计为辅助工具，而非决策权威。最后，政策制定者需要建立透明和可追溯的机制，以确保AI建议的道德影响可以被监督和评估。同时，应考虑如何在实际操作中平衡AI的建议与人类的伦理判断，以避免因单一建议而对道德优先级造成不可逆的影响。

本研究还揭示了道德决策的动态性与复杂性。参与者在面对不同的建议时，会根据情境的变化调整自己的道德立场，这种调整既可能是对建议的接受，也可能是对建议的反弹。这表明，道德判断并非一成不变，而是受到多种因素的影响，包括建议的来源、建议的内容以及个体的道德信念。因此，在设计AI系统时，必须考虑到这些复杂的交互动态，确保其建议能够促进道德思考，而非简单地引导决策。

此外，研究结果也对未来的道德AI研究提供了方向。例如，未来的实验可以探索更多样化的道德困境，以评估AI在不同情境下的影响。同时，可以进一步研究不同形式的建议（如文字、语音或身体语言）如何影响人们的道德判断。此外，纵向研究可以揭示人们是否会在长期接触AI建议后形成更持久的道德观念，而不仅仅是短期的反应。这些研究将有助于更全面地理解AI在道德决策中的作用，并为设计更符合人类道德需求的AI系统提供依据。

总之，本研究不仅提供了关于AI在道德决策中影响的实证数据，还揭示了人类如何在面对连续建议时调整自己的道德判断。这些发现对于AI设计、伦理培训以及政策制定都具有重要的意义。在AI日益深入人类决策过程的背景下，确保其在道德判断中的作用是辅助而非主导，将是未来研究和实践的关键。同时，研究也强调了人类在道德决策中的核心地位，以及AI在支持人类伦理思考方面的重要性。通过深入理解这些动态，我们可以更好地设计AI系统，使其在促进道德决策的同时，避免对人类道德自主性的侵蚀。