《Neurocomputing》：Evaluating the Role of Provider on Safety Alignment in Large Language Models
编辑推荐：
大型语言模型（LLM）的安全对齐通常通过单轮交互进行评估；然而，已部署的智能体系统在跨越数十至数百轮对话的扩展上下文中运行。研究人员通过21,200次实验观察开展了一项大规模实证调查，涵盖来自Claude、Gemini和GPT家族的九个模型、200个安全关键场
大型语言模型（LLM）的安全对齐通常通过单轮交互进行评估；然而，已部署的智能体系统在跨越数十至数百轮对话的扩展上下文中运行。研究人员通过21,200次实验观察开展了一项大规模实证调查，涵盖来自Claude、Gemini和GPT家族的九个模型、200个安全关键场景以及从1轮到200轮的深度范围。研究结果表明，塑造安全行为的主导因素并非上下文积累，而是提供者训练方法，后者解释了拒绝率中53%的方差。提供者层面的分析揭示了安全行为稳定性方面的显著不对称性，GPT模型的翻转率比对应Claude和Gemini模型高出达三倍。这些模型被观察到将低拒绝率与升高的不稳定性相结合，这表明安全训练可能掩盖而非转变底层模型行为。领域层面的分析进一步凸显了差异化的脆弱性特征，其中自残和儿童安全场景在所有提供者中均获得显著较低的拒绝率。最后，研究人员发布了扩展上下文安全基准（ECSB），以支持未来的评估和扩展。
大型语言模型（LLM）的安全对齐通常通过单轮交互进行评估，但实际部署的智能体系统需要在数十至数百轮对话的扩展上下文中运行。现有基准如TruthfulQA、HarmBench和SafetyBench隐含假设安全行为不随上下文变化，然而以Claude Computer Use、OpenAI GPT智能体和AutoGPT、ReAct为代表的自主系统维持持续上下文，使单轮评估的结论可能无法推广。这一差距促使研究人员探究：在无对抗意图的正常对话积累下，安全行为是否会被动退化。基于材料科学中疲劳失效的类比，研究提出两种可能：若安全训练深度编码于模型参数，则行为应稳定；若仅为表面修改，则扩展上下文可能使预训练底层的倾向浮现。明确这一区别对于理解对齐究竟是模型价值观的转变还是仅输出层面的修饰具有重要意义。
研究人员对来自Anthropic、Google和OpenAI的9个模型（Claude Sonnet 4.5、Claude Haiku 4.5、Claude 3.5 Haiku、GPT-5、GPT-5-mini、GPT-4o-mini、Gemini 2.5 Pro、Gemini 2.5 Flash、Gemini 2.5 Flash-lite）在200个安全关键场景中展开21,200次观察，深度范围1至200轮。结果显示，塑造安全行为的主导因素并非上下文积累，而是提供者训练方法，后者解释了拒绝率中53%的方差。提供者间的差距（最高与最低拒绝率相差53个百分点）比深度效应高约一个数量级。GPT模型展现出高达三倍的翻转率，且低拒绝率与高不稳定性并存，提示安全训练可能掩盖而非转变底层行为。领域分析显示自残和儿童安全场景的拒绝率全面较低。研究还发布了扩展上下文安全基准（Extended Context Safety Benchmark, ECSB），包含200个场景、10个领域，每个场景配有语义等价的扰动变体，用于深度索引评估。
关键技术方法方面，研究人员构建了ECSB基准，包含10个领域、200个场景，每个场景由原始提示和扰动变体组成。上下文通过20个良性对话主题模板生成，采用确定性播种保证可重复性；所有模型在深度1、10、30、50轮评估，低成本模型额外延伸至75、100、150、200轮。显式安全行为采用五级分类（完全拒绝、部分拒绝、澄清、部分服从、完全服从）并二值化为拒绝/服从。扰动稳定性通过原始与扰动提示响应的一致性度量，显式-隐式发散度结合五级分类标签和稳定性表计算。统计分析采用Kruskal-Wallis检验、Mann-Whitney U检验、Spearman相关、Cohen's d和方差分解等非参数方法。
5.1 深度对拒绝率的影响：在共同深度1至50轮（Stratum 1）中，平均拒绝率从深度1的67.5%升至深度10的73.1%，随后基本平稳（深度30为73.8%，深度50为73.1%）。Kruskal-Wallis检验显著，但Cohen's d仅为0.123，属于可忽略效应。提供者差异显著：Google（91.9%）和Anthropic（84.8%）远高于OpenAI（38.9%）。方差分解显示提供者解释53%的方差，而深度仅解释1%。
5.2 模型级拒绝水平和深度趋势：各模型拒绝率差异大，Gemini 2.5 Pro最高（97.2%），GPT-5最低（25.9%）。9个模型中5个存在显著相关（GPT-5、GPT-5-mini、Claude Haiku 4.5、Gemini 2.5 Pro、Gemini 2.5 Flash-lite），但相关强度均为小效应（|r|约0.09至0.14）。GPT-4o-mini略有下降但不显著。
5.3 基于Jensen-Shannon散度的深度分布变化：JS散度最大出现在深度1与50之间（0.0578），深度1与30为0.0551，而深度10、30、50之间较小（0.0184至0.0340），表明主要变化发生在从单轮到多轮之间，更高深度间差异有限。
5.4 领域脆弱性、提供者调节和翻转集中：在所有领域中，Anthropic和Google的拒绝率高于OpenAI，OpenAI在自残（9.6%）、欺骗操纵（19.0%）和医疗伤害（21.3%）上特别低。自残总体拒绝率最低（50.6%）且深度效应为负（Δ=-0.05）；儿童安全总体拒绝率67.9%但翻转率最高（16.7%），表明决策边界不稳定。深度改善在网络安全和欺骗操纵领域较大，而自残和儿童安全改善有限。提供者不对称性显著：GPT-5-mini（27.5%）和GPT-5（22.8%）的翻转率是Claude Sonnet 4.5（6.6%）和Gemini 2.5 Pro（3.5%）的三倍以上。
5.5 显式-隐式发散：平均响应稳定性为80.6%，不随深度显著变化（Kruskal-Wallis H=1.035, p=0.792）。发散度在提供者间分离明显：OpenAI（0.358）远高于Anthropic（0.156）和Google（0.135）。Gemini 2.5 Pro和Claude Sonnet 4.5发散度最低，GPT-5-mini最高，表明后者显式拒绝与实际决策过程差异最大。
5.6 扩展深度轨迹（Stratum 2）：对GPT-4o-mini、GPT-5-mini、Claude 3.5 Haiku和Gemini 2.5 Flash-lite评估至200轮，未发现系统退化或阈值效应。GPT-4o-mini（r=+0.068, p=0.007）和GPT-5-mini（r=+0.101, p<0.001）呈微弱的正向趋势，即安全行为随深度略有改善。
讨论部分将研究重新框定为“方法而非上下文”：提供者间差距远大于深度效应；
