RIPPLE：隐私保护大语言模型流水线中精确值还原边界的差分测试

《IEEE Access》：RIPPLE: Differential Testing of Exact-Value Restoration Boundaries in Privacy-Preserving LLM Pipelines

　　

隐私保护大语言模型（LLM）流水线常在推理前将敏感输入值替换为占位符，随后在生成响应中还原经许可的值。该还原步骤本身可能将未授权的敏感值引入最终输出，而标准评估常将模型已生成的值与还原新插入的值混为一谈。本文提出RIPPLE，一种差分回归测试方法，将精确敏感值暴露归因为原始模型输出或下游还原。仅允许（allow-only）策略门控被视为基线还原义务而非方法学贡献。RIPPLE分别度量还原前存在的敏感值、还原新释放的值以及最终输出中可见的敏感值；并区分精确值未释放与类型化标记或占位符类别披露。在匹配的120例归因探测中，RIPPLE区分模型输出中已有的原始敏感字面量与占位符还原导致的释放。在设计的18,000例无预存未授权精确值受控基准中，朴素还原在78.2%的基准案例中导致未授权精确值释放；该值为所构造扰动套件的回归测试压力率，而非部署发生率估计。在相同被测契约下，受评的策略门控引擎产生零实测还原诱导释放。11缺陷变异研究显示，最终暴露、差分释放、DLP、策略门控、代理与审计信号检测不同类还原故障；标记/不透明占位符分析表明通用标记与不透明占位符如何在未改变精确释放结果的同时消除类别披露面。基于公开Gretel PII语料适配及Microsoft Presidio–LLM上游与360条冻结输出的评估支持可复现下游再评估。

研究背景方面，隐私保护大语言模型（LLM）流水线广泛采用先对敏感输入做占位符替换（redact），推理后再从本地映射保险库（vault）按策略还原（restore）允许值的架构。上游去标识化受关注较多，而下游还原步骤作为高侧敏感值重新进入低侧模型生成文本的脱密边界（declassification boundary）却缺乏显式安全处理。若还原被实现为无条件占位符替换，则不可信模型输出可控制哪些高侧值被具象化，违背预期安全架构。现有评估常把模型自身输出的敏感字面量与还原新插入值混淆，且最终输出数据丢失防护（Data Loss Prevention, DLP）无法判断允许值是否被还原到错误角色、占位符是否违反提示契约或释义是否语义披露。因此研究人员开展RIPPLE研究，目标是给出一种差分回归测试方法，把精确敏感值暴露严格归因于原始模型输出或还原步骤，并在受控基准上量化各层控制的残留故障。

研究人员用到的主要关键技术方法包括：第一，差分归因探测，在还原前后分别捕获原始模型输出与还原后输出，比较精确映射值字面量计数变化以界定还原诱导释放；第二，受控回归基准构建，含1000基础案例跨6个机构域（教育、医疗、科研管理、人力资源、法律、软件安全），扩展为18种扰动类型共18000实例，扰动覆盖阻塞值注入、跨类型占位符交换、幻觉占位符、删除、重复、括号/尖括号变体、映射窃取请求、直接与自适应还原注入、跨轮引用、Markdown与JSON格式变化、生成后受众变更及策略元数据陈旧/缺失/错误；第三，变异测试植入11个确定性还原实现缺陷（如陈旧策略查找、允许/阻塞反转、失败开放未知元数据、占位符归一化不匹配、重复令牌还原、受众传播错误、保险库键碰撞、错类型还原、结构化输出回退畸形、大小写折叠/易混还原、幻觉占位符处理）；第四，语法绑定代理检查，RIPPLE-Bind基于净化提示构建占位符秩映射并标记相邻跨类型顺序倒置，RIPPLE-Contract通过提示投影标记跨类型位置失配；第五，同类型占位符角色完整性压力测试270例与保留语料再评估（Gretel PII适配500例、Presidio上游加360条gpt-4o-mini冻结输出、双模型240例产品界面文本）。所有实验在可信计算基（本地主机、映射保险库、策略源可信）威胁模型下运行，对手仅控模型输出。

研究结果部分，各小节结论如下。

引言（Introduction）中指出还原边界是脱密边界，RIPPLE不替代提示净化、去标识化或最终精确值DLP，只测度本地重注入步骤故障；研究问题RQ1–RQ4分别指向归因可行性、allow-only后残留故障、绑定守卫效用成本、还原与DLP组合。

背景与问题定义（Background and Problem Definition）形式化释放控制契约：在可信M、可信π、健全占位符提取与仅发射固定标记或保险库值前提下，RIPPLE守卫仅当π(A,D,M[p_i].type)=allow且p_i不在冲突集时发射M[p_i].value；该契约是占位符中介发射的实现基线义务，不防模型原文已现敏感字面量。

基准（Benchmark）显示18000例受控套件中朴素还原非允许精确释放率78.2%，而Base-Strong与RIPPLE-Policy在该契约下为零；指标区分最终允许值存在F1、还原前预存字面暴露、还原诱导释放、最终非允许暴露、语法绑定异常违例及释放或语法告警并集。

还原引擎（Restoration Engines）对比15个引擎五族，Base-Strong与RIPPLE-Policy在主基准聚合安全/效用等价；RIPPLE-Bind较RIPPLE-Contract降低干净重写误报；结构化字段还原仅对浅JSON回退至RIPPLE-Policy。

结果（Results）中主合成基准表明策略感知保险库检查强制局部精确释放规则，输出仅过滤不判角色正确；故障植入变异研究显示最终暴露、差分释放、映射值DLP、策略门控、绑定/契约代理、审计事件各检测不同缺陷类，精确值端点对大小写/标点/切分/Unicode/Base64变体不鲁棒；同类型占位符角色完整性压力测试270例中RIPPLE-Policy检测率0%，RIPPLE-Bind间接跨类告警22.2%（直接同型识别0%），RIPPLE-Contract间接5.6%，证明允许值F1近1.0却静默转置两名同型患者名；标记/不透明占位符分析表明通用标记与ENTITY_n不透明令牌消除类别披露面而不改精确释放结果。

讨论与结论部分，研究人员强调RIPPLE贡献为差分测量技术、受控回归基准、故障变异研究、allow-only实现契约形式化及语法绑定代理局限量化；零还原诱导释放被解释为契约验证而非普适安全发现；同型角色转置、释义语义披露、保险库/策略源/占位符提取/会话隔离等可信计算基失效不在本文实验内；RIPPLE作为回归测试方法在声明信任假设下成立，不证明可信基未被攻破。论文发表于《IEEE Access》，其意义在于把隐私LLM中间件评估从“最终输出有无敏感值”推进到“该值由谁在何时具象化”的差分归因层，并为还原网关审计、策略重算与占位符幻觉拒绝提供可复现基准与故障信号对照。