GS-Chaff：面向隐私保护大语言模型推理的多智能体提示级语义干扰方法

《Sensors》：GS-Chaff: Multi-Agent Prompt-Level Semantic Chaffing for Privacy-Preserving LLM Inference

　　

基于云的大语言模型（LLM）服务日益用于处理可能包含私有或敏感信息的自然语言查询。传统隐私保护方法（如密码学保护（cryptographic protection）和文本净化（text sanitization））常引入显著计算开销或破坏原始查询的语义完整性，导致隐私保护与任务效用之间的权衡。为解决该局限，研究人员提出生成式语义干扰（Generative Semantic Chaffing, GS-Chaff），一种无需训练的多智能体框架，用于自然语言文本查询上的隐私保护LLM推理。GS-Chaff不显式掩蔽敏感内容，而是将用户真实意图隐藏于语义合理的干扰（chaff）查询中。该框架由两个基于小语言模型（SLM）的智能体实现：隐私策略智能体（privacy policy agent）自适应确定每个文本查询所需的语义抽象级别与干扰因子（chaffing factor）；生成式语义干扰智能体（generative semantic chaffing agent）生成语义对齐的伪查询。云端推理后，受保护真实查询对应的响应通过无状态索引在本地恢复，无需修改云端LLM。基于文本基准的实验结果表明，GS-Chaff将攻击者的真实查询识别率降至22.5%，接近随机猜测，同时在评估基准上保持推理效用。此外，相较于使用固定干扰配置的设置，GS-Chaff将本地预处理时间减少了。

研究背景方面，随着可扩展语言建模的快速进展，基于云的大语言模型（LLM）服务在人类辅助中提供越来越多效用，但用户在交互中分享的法律、医疗、金融等高利害信息面临模型反演、查询利用及服务端数据泄露等隐私风险。传统密码学机制（如同态加密（HE）与安全多方计算（MPC））理论性强但计算代价高，难以在LLM上规模化；文本净化（text sanitization）虽轻量却破坏语义上下文且易受基于背景知识的再识别攻击。因此需在语义层面对意图表征进行规制。研究人员受Rivest经典“Chaffing and Winnowing”理论启发，提出从内容隐藏转向意图隐藏的GS-Chaff框架，相关成果发表于《Sensors》。

关键技术方法上，研究人员采用两个SLM驱动智能体协同：隐私策略智能体基于查询敏感性与任务需求，通过指令引导推理动态输出抽象级别α与干扰因子k（k∈[1,K]）；生成式语义干扰智能体依据α对敏感实体做提示级语义抽象，并生成k条与抽象后真实查询在语义粒度、术语与风格分布一致的伪查询，满足语言模型概率相似性约束。本地端保留真实查询在洗牌批次中的位置索引idx，云端LLM对混合批次盲推理，客户端按idx抽取真实响应。实验以Llama-3.2-1B为SLM，云端用GPT-3.5-Turbo、GPT-4-Turbo、GPT-4o等，基准含StrategyQA、MuSiQue、MedQA、LegalBench，攻击评估含多智能体共识攻击与有限侧信道（token长度、端到端延迟）攻击。

研究结果部分，3.1节问题定义给出机密LLM推理下三类威胁：基于语义分布的再识别、基于语言模型一致性的判别、多智能体共识攻击。3.2节威胁模型明确诚实但好奇（honest-but-curious）云端提供商为主要对手，隐私目标为真实查询识别抵抗、意图隐藏与可否认性而非全文保密，以Top-1识别准确率与隐私保护率（PPR=1?Acc_id）度量。3.3节技术框架分三阶段：3.3.1隐私策略智能体输出(α,k)决策向量，越界回退至(α₀,k₀)；3.3.2生成式语义干扰智能体做α级抽象得描述符D，并按模板T、风格S、约束C生成k条伪查询q?_j，使其与q?_real在LM概率分布下不可分；3.3.3无意识推理与扬谷（winnowing）阶段本地随机置换得Q_shuf=π({q?_real}∪{q?_j})，记idx=π^?1(real)，云端返回R_batch=f_θ(Q_shuf)，本地取r_real=R_batch[idx]。3.4节理论分析给出理想下随机猜测概率1/(k+1)作为参照，并指出实用中因分布不等价需经验评估；效用随α减小而保真度升高。

第4节结果显示，4.1节主结果在MedQA上GPT-4o达0.865准确率，接近无隐私基线；多智能体共识攻击下LegalBench真实查询识别率22.5±1.8%，贴近随机基线21.2±1.5%。4.2节消融表明动态α与k缺一不可，移除α引导抽象（随机掩码）或去伪查询均降PPR；策略联合分布在LegalBench集中于α∈{3,4}、k≈5，高α高k几乎不出现；侧信道攻击结合token与延迟仅比随机高3.5点。4.3节人工评估100例LegalBench得重构风险0.56/2、效用有效性96.0%。4.4节架构对比显示双智能体分离优于单智能体两阶段与联合提示，固定k基线相比GS-Chaff本地预处理更慢；SLM主干Llama-3.2-1B、Qwen2.5-1.5B、Gemma-2-2B、Phi-3-mini中Phi-3-mini达Top-1识别21.28%、MedQA 86.50%，但峰值内存7.81GB、时延3.76s，表明可按端侧资源选型。

讨论部分指出GS-Chaff在单会话设定有效，但跨会话长期画像、更广侧信道（请求频率、流量、日志）、本地索引泄露、自适应语义攻击仍待解；框架本身不向云端隐藏明文，仅断联用户与真实意图的绑定。结论部分翻译如下：本研究提出GS-Chaff，一种通过用户意图隐藏实现自然语言文本查询隐私保护LLM推理的多智能体框架。GS-Chaff采用隐私策略智能体自适应确定语义抽象与干扰参数，配合生成式语义干扰智能体产出语义一致干扰查询。在评估文本基准上的实验表明，协同智能体设计在所用攻击设定下降低真实查询识别风险，同时在基准上保持任务效用。借助轻量SLM做策略控制与语义查询生成，GS-Chaff提供无需修改云端LLM的客户端隐私机制。未来工作将研究系统级保护及长期或跨会话攻击，扩展至传感衍生输入与多模态需进一步探索语义转换、跨模态对齐及资源受限边缘部署。