《Knowledge-Based Systems》：In-context bias propagation in LLM-based tabular data generation
编辑推荐：
研究人员研究了基于大型语言模型（LLM）的表格数据生成中上下文偏见传播（in-context bias propagation）问题。研究人员证明，上下文学习（ICL）示例中存在的统计偏见会系统性地传播至LLM生成的表格数据分布，且LLM以条件式和交叉式方式捕
研究人员研究了基于大型语言模型（LLM）的表格数据生成中上下文偏见传播（in-context bias propagation）问题。研究人员证明，上下文学习（ICL）示例中存在的统计偏见会系统性地传播至LLM生成的表格数据分布，且LLM以条件式和交叉式方式捕获并传播偏见。研究人员通过跨多个模型系列的线性敏感性分析量化了该传播过程。研究人员引入了一种新的提示注入（prompt injection）视角，即恶意代理向协作式数据生成流水线中注入少量有偏的上下文示例。研究人员表明，这种定向操纵会引发针对被攻击群体的公平性违规，证明仅控制提示中一小部分的 adversary 即可在不降低效用指标的情况下损害下游公平性。研究人员系统地表征了提示侧防御（prompt-side defenses）针对上下文偏见注入的有效性，表明这些策略可以减少合成数据和下游差异，但没有任何单一防御能在无效用权衡的情况下一致控制所有公平性指标，且由特征对齐攻击注入的高阶相关性即使在强制边际均等约束下仍然持续存在。
研究背景方面，高质量标注数据的稀缺是医疗、金融和刑事司法等敏感领域部署机器学习系统的主要瓶颈。由于严格的隐私法规和人工标注的高成本，实践者日益依赖合成数据增强来构建鲁棒分类器。传统生成模型（如VAE、GAN、扩散模型）虽为表格合成的标准方法，但通常需要大量域内数据才能生成可靠数据。近年来，LLM通过上下文学习（ICL）展现出强大的泛化能力，仅需少量ICL示例即可生成统计连贯的表格样本而无需微调。然而，ICL的有效性依赖于一个关键且常未被审视的假设，即提示中提供的上下文示例是无偏的且独立同分布于真实数据分布。在检索增强生成（RAG）流水线或协作式数据平台等实际部署场景中，该假设很少成立，上下文示例常常是嘈杂的、偏斜的或从未经验证的来源动态检索的。现有提示方法通常依赖上下文示例相对于目标分布是独立同分布（i.i.d.）的强假设，而实践中可用数据频繁偏斜或人口统计不平衡，这些偏见在LLM表格生成过程中如何传播的机制尚不清楚。此外，机器学习模型放大训练数据偏见的倾向已被充分记录，但上下文偏见的安全影响尚未被充分探索。因此，研究人员开展了这项研究，旨在调查推理时引入的"外源性"偏见如何通过ICL机制传播至合成数据并影响下游公平性，同时将基于提示的对抗性偏见注入作为一种新的攻击面加以研究。研究的重要意义在于揭示了驱动高保真生成的机制与促进偏见传播的机制同源，暴露了LLM数据生成流水线中的重要漏洞，并强调需要更鲁棒的防护措施。
在技术方法上，研究人员评估了四个开源LLM（Granite-8B、Mistral-7B、Mixtral-8x7B、Qwen-70B），使用vLLM在四块NVIDIA H100 GPU集群上部署，每种设置生成5000行合成数据。上下文示例每10次推理调用重新生成并随机化以保持统计独立性。传播分析中上下文示例为合成构建，修改选定变量的比例??；对抗研究中干净示例从真实数据集i.i.d.采样。提示结构采用CuratedLLM的框架，上下文大小??∈{20,40,60,80,100}。使用Adult、Compas、Diabetes、Thyroid数据集，以及Bank Marketing作为附录数据集。评估涵盖下游效用（宏F1）、分布保真度（TVD、JSD、关联矩阵距离、RBF-MMD）和群体公平性（SPD、EOD、EO）。采用隔离森林进行异常检测鲁棒性评估，并评估了五种提示侧缓解策略。
研究结果方面，在"上下文偏见传播"部分，通过边际偏见传播分析发现，输入与输出分布偏移之间存在线性关系，??增加产生成比例的生成分布散度增加，目标群体在合成输出中的概率随提示中基础概率线性缩放；性别偏见的分布漂移相比种族有所衰减但线性关系保持。通过上下文示例数量分析发现，传播系数????随??单调增加，表明更大的上下文窗口增强了分布偏移的传播强度，这与更大上下文窗口改善合成数据保真度的机制一致，但当提示分布偏斜时该机制形成关键漏洞。通过条件偏见传播分析发现，LLM有效捕获上下文示例中的条件概率??(??=1|??target)并传播至合成样本，目标子群线性敏感而非目标子群保持稳定，??=80时SPD增幅比??=20更陡峭；模型特定行为上，目标子群斜率显著陡于非目标子群，混合专家模型和大规模模型展现更强的条件传播。通过交叉性偏见传播分析发现，LLM可靠复现注入的交叉模式，{Female, Black}和{Male, White}的??(??=1)随??单调增加而非目标子群持平或下降，??越高交叉传播强度越大，LLM在复现注入交叉相关性的同时携带预训练的内在群体偏见，形成复合歧视模式。
在"对抗性上下文偏见注入"部分，通过威胁模型定义，考虑多用户向共享LLM服务贡献少样本示例的协作流水线，adversary控制??个示例中的比例??但无法访问模型参数或诚实用户的示例，目标是影响目标群体的标签率同时保持高整体效用，采用特征对齐示例模拟中等风险特征。通过特征对齐示例分析发现，??增加时目标子群的关键预测特征密度向adversary设定的特征值偏移，非目标群体保持接近原始分布；race-aware设置下随??增加下游差异显著增加且race特征重要性（MDI）上升，race-blind设置下差异有所衰减但仍随??小幅增加。通过合成数据公平性影响分析发现，中等攻击率（??=0.3）即在所有模型和数据集中引发显著群体差异，Compas上SPD??从?0.13移至?0.25（Granite-8B），多个配置超过0.1的公平性攻击成功阈值。通过分布保真度分析发现，边际分布相似性随??单调退化（JSD显著偏移），但该退化在少样本增强场景中具有隐蔽性；关联距离和MMD在非目标特征子空间保持相对稳定，而目标属性与标签子空间的差异在更高注入率下增加，表明攻击主要修改目标公平性相关关系而保留其余特征间结构。通过传播至下游模型分析发现，宏F1在真实数据上随??几乎持平而下游SPD绝对值单调增加（Mistral-7B从?0.05增至?0.35，Qwen-70B从?0.34增至?0.57），公平性显著退化而效用保持；EOD和EO呈现类似单调增加趋势；下游分类器在Compas和Thyroid等复杂任务上尤其脆弱。通过效用-公平性权衡分析发现，F1R在??=0到??=0.6之间变化通常在0.1-0.2以内，而SPD??变化可超过0.3，大量模型-数据集对在中等偏见水平下受影响但F1与无偏设置难以区分。通过下游分类器鲁棒性分析发现，TabPFN效用最高但绝对下游差异从0.15增至0.25，效用广泛稳定而绝对差异在三个分类器中增加、随机森林中减少，切换架构不必然消除群体差异。通过异常检测器鲁棒性分析发现，隔离森林在??=0.6时标记许多注入示例但也丢弃大量干净示例，且该评估假设可访问真实数据子集训练检测器，与数据稀缺场景前提矛盾。
在"评估提示侧缓解策略"部分，评估了五种策略：基于相关性过滤、Fair-SPD、群体平衡、随机子集和基于指令的缓解。通过频率计数平衡分析发现，平衡子群频率计数稀释adversary仅针对特定子群注入偏见的影响。通过基于相关性过滤分析发现，计算每个特征相对于受保护属性的全局相关权重并聚合Pearson、Spearman和互信息分数，移除相关分数最高的示例。通过Fair-SPD分析发现，采用贪心剪枝方法迭代移除对当前差异贡献最大的示例直至|SPD(??′)|≤??，在提示中强制执行人口统计均等。实验结果表明，Fair-SPD在大多数设置中一致降低下游差异SPD??同时保持可比F1；基于指令的缓解在若干配置中减少差异但有效性依赖模型和数据集且可能引入效用退化；SPD??改善频繁但存在SPD??未降低而SPD??改善的解耦情况；SPD公平性增益不保证EO/EOD改善。总体而言，公平约束的提示选择是比随机化或频率平衡更强的基线，但不能在所有模型和指标上完全消除对抗性偏见注入。
讨论部分总结了研究发现：驱动高保真生成的机制与促进偏见传播的机制同源；更大的上下文大小??在更好捕获上下文分布的同时增加对人口统计偏斜的敏感性，形成提高上下文窗口以改善合成数据效用反而增加复现历史不公或对抗性注入风险的权衡；锚点构造提供了模型先验行为的受控参考，允许将??=0时的差异归因于内在模型偏见并将外源性偏见测量为受控提示扰动诱导的偏差；对抗性上下文偏见注入作为一种新的漏洞方案，adversary控制少量上下文示例即可影响合成数据公平性且这些偏见被下游模型捕获导致歧视性预测同时保持高效用指标；该漏洞在传统分类器和TabPFN等现代表格基础模型中持续存在；提示侧防御可衰减这些效应但有效性和效用权衡因设置而异。研究结论部分翻译如下：本文系统表征了上下文示例中的统计偏见如何传播至LLM生成的表格数据。研究人员证明，随着上下文示例数量增加，模型日益与提示的统计属性对齐，从而复现单变量、条件式和交叉式偏见。在此基础上，研究人员引入了一种新的对抗框架，其中adversary可注入特征对齐示例以操纵目标子群的输出分布。结果表明，这种操纵可在很大程度上保持效用的同时损害合成数据和下游公平性，使得仅基于效用的检查不足以揭示攻击。结构和基于异常的诊断可在某些设置中检测操纵，尽管所评估的异常过滤器也移除了许多干净示例。最后，提示侧防御可衰减这些效应，但其有效性和效用权衡因设置而异。这些发现共同暴露了LLM数据生成流水线中的重要漏洞，并强调需要更鲁棒的防护措施。
