用于自主飞行器指令生成的、具备隐私保护功能的大语言模型联邦微调技术

《Computers and Electrical Engineering》：Privacy preserving federated fine tuning of large language models for Autonomous Aerial Vehicles command generation

　　摘要：为自主飞行器指令生成对大型语言模型进行微调时，会在协同训练过程中暴露飞行日志、巡逻路线以及全球定位系统坐标等信息。本文提出了一种具备隐私保护功能的联邦微调框架，该框架能够将操作指令转换为结构化的JavaScript对象表示法命令，同时有效防范隐私泄露、服务器被窥视以及恶意客户端攻击。该框架基于低秩适配与联邦平均算法构建。通过逐步差分隐私随机梯度下降并结合雷尼差分隐私机制来控制每个客户端的数据泄露程度。此外，还利用基于椭圆曲线密码学的成对安全聚合方法，以及基于哈希的密钥派生技术来隐藏单个更新信息，同时采用克鲁姆算法和坐标裁剪均值滤波器来应对恶意更新。在非独立同分布的狄利克雷划分条件下，我们对六类任务中的14,446组指令对进行了测试。在使用五个模拟客户端、TinyLlama-1.1B模型、εε=8参数设置以及克鲁姆算法的情况下，该完整框架在面对单一恶意攻击者时仍能实现0.8608的BLEU评分，且JSON命令的有效性达到100%；而集中式处理方式的BLEU评分仅为0.8618。由于低秩适配技术的应用，每步的差分隐私噪声可忽略不计（每个参数约为10^-6），因此数据差异性才是影响系统性能的关键因素。若没有针对恶意更新的防御机制，联邦平均算法的JSON命令有效性仅能达到76.6%。

引言：自主飞行器已从专门的军事工具转变为广泛应用于农业、基础设施检查、灾难救援及物流领域的设备。2025年全球这类飞行器的市场价值约为260亿美元，预计到本世纪末这一数值还将翻一番[1]。随着飞行器数量的增长以及任务复杂性的提升，操作人员开始依赖自然语言界面来发送指令，而非手动设定航点。大型语言模型使得这一做法成为可能。已有研究证明，大型语言模型能够将“飞到桥上并拍摄热成像照片”之类的口头指令转化为结构化的JSON命令，供飞行控制器直接执行[2][3][4]。这种方法的优点显而易见，但其潜在风险却往往被忽视。

要对这些模型进行微调，就需要使用来自实际运营的数据，而这些数据本身具有高度敏感性。飞行日志、GPS坐标、巡逻路线以及监控目标都包含着自主飞行器操作人员不愿公开的操作或个人信息。联邦学习为解决这一问题提供了另一种思路，它将原始数据保留在每架飞行器的边缘设备上，仅将模型更新结果传输至中央服务器[5]。然而，共享模型更新并不意味着完全不分享数据。已有研究表明，通过梯度反演攻击[6]，可以从客户端发送的更新数据中还原出部分训练数据，而最新的研究更表明，甚至可以从语言模型的梯度中以惊人的准确度恢复出文本序列[7]。如果聚合服务器存在安全隐患，或者有窃听者监视空地通信，就有可能利用这些漏洞获取关键任务信息。

仅依靠单一机制难以有效抵御这些威胁。差分隐私技术[8]虽然能够限制任何观察者从模型更新中获取的信息范围，但仍然会让每个客户端的加密后更新数据单独暴露在服务器面前。安全聚合技术[9]则通过成对的加密掩码来隐藏各个节点的贡献，但一旦队列中的某架飞行器被攻破并开始发送恶意更新，该技术就无法起到保护作用。克鲁姆算法[10]和坐标裁剪均值算法[11]等针对恶意更新的防御机制虽能识别并剔除恶意数据，但它们最初是为没有隐私干扰的环境设计的，可能与差分隐私带来的干扰效果不相容。这些防御措施各自针对不同的攻击类型，要让它们协同工作并非易事。

近期有一些研究试图解决其中的部分问题。孙等人[12]将联邦低秩适配与差分隐私技术相结合，但未考虑恶意攻击防御和安全聚合问题。高等人[13]则同时研究了恶意攻击防御、差分隐私以及可验证聚合技术，但他们针对的是图像处理任务中的卷积神经网络，而非语言模型。夏等人[14]则尝试同时解决差分隐私、恶意攻击容忍度以及通信效率问题，同样是在视觉任务场景下进行的研究。在自主飞行器领域，阿亚纳等人[15]通过安全多方计算技术实现了具备隐私保护功能的无人机群大型语言模型推理功能，但却未能对需要直接处理原始运营数据的微调阶段提供任何保护。据我们所知，目前还没有任何研究能够在非独立同分布数据条件下，将联邦大型语言模型微调、差分隐私技术、加密安全聚合以及恶意攻击防御机制结合起来，用于自主飞行器的指令生成任务。

本文提出了一种用于大型语言模型驱动的自主飞行器指令生成的、具备隐私保护功能的联邦微调框架。我们使用低秩适配技术，在五个模拟的自主飞行器客户端组成的队列中对TinyLlama-1.1B模型[16]进行微调，其中数据差异性是通过狄利克雷分布类的不平衡机制来模拟的。该框架同时运用四种防御机制。我们的主要贡献如下：第一，据我们所知，我们首次提出了一个集成低秩适配联邦微调、逐步差分隐私随机梯度下降与雷尼差分隐私机制、基于椭圆曲线密码学（NIST P-256标准）的具有前向保密功能的成对安全聚合，以及克鲁姆算法和裁剪均值算法的恶意攻击防御机制的完整框架，用于大型语言模型驱动的自主飞行器指令生成。第二，我们构建了一个包含14,446组自然语言指令与结构化JSON命令配对的特殊数据集，这些数据涵盖了六类自主飞行器任务场景，我们还在具有非独立同分布特性的实际条件下，通过不同的狄利克雷浓度参数α∈{0.1,0.5,1.0,10.0}进行了测试。第三，通过500个样本的测试，我们证明，在面对实施符号翻转恶意攻击的单一恶意攻击者时，采用差分隐私参数εε=8以及克鲁姆聚合机制的完整框架仍能实现0.8608的BLEU评分，且JSON命令的有效性达到100%；而集中式且无隐私保护措施的基准方法的BLEU评分仅为0.8618。我们还发现，由于低秩适配技术的特性，再加上子采样放大效应，使得在该场景下每步的差分隐私噪声可以忽略不计，每个参数的噪声水平约为10^-6，这一结果本身也具有很高的实用价值。第四，我们通过实验分析了在联邦低秩适配微调过程中数据差异性与差分隐私之间的相互作用关系，发现影响模型质量的主要因素是狄利克雷浓度参数α，而非差分隐私预算参数εε。

本文的其余结构如下：第2节将综述与联邦大型语言模型微调、差分隐私、安全聚合、恶意攻击防御以及大型语言模型驱动的自主飞行器系统相关的研究成果。第3节会对系统架构和面临的威胁模型进行详细阐述。第4节将详细介绍所提出的框架。第5节会介绍实验设置及测试结果。第6节将分析研究结果、存在的局限性以及实际应用意义。第7节则会对本文内容进行总结，并指出未来研究的方向。