注意力权重平均化：通过平均注意力推断模块缓解大语言模型中的排列偏差

针对大语言模型(LLMs)因输入顺序变化导致的语义不一致问题（排列偏差），研究者提出基于注意力机制的Average Attention Infer(AAT)模块，通过平均化不同排列的注意力权重实现去偏。实验证明AAT在MMLU/CosmosQA等任务中显著提升模型鲁棒性，且提出的AAT EF模块通过层选择策略降低计算成本。该研究为LLMs的公平性评估和逻辑推理提供了新思路。

　　

在人工智能领域，大语言模型(LLMs)如GPT系列和LLaMA已展现出惊人的文本生成能力，但一个隐藏的缺陷逐渐浮出水面——当输入句子的顺序被打乱时，模型可能给出截然不同的答案，即使这些排列在语义上完全等价。这种现象被称为排列偏差(Permutation Bias)，它像一把双刃剑，既挑战着模型的逻辑一致性，也影响着MCQA(多选问答)等关键场景的评估公平性。例如在医疗问答系统中，若诊断建议因选项顺序变化而改变，后果将不堪设想。

来自中国的研究团队敏锐捕捉到这一痛点。他们发现，尽管Transformer架构中的注意力机制(Attention Mechanism)本应捕捉语义关系，但其权重分配却对输入位置异常敏感。通过分析ChatGPT o3-mini等模型在逻辑推理任务中的表现，团队验证了排列偏差的普遍性：仅调整前提顺序就导致正确率从75%骤降至42%。更令人担忧的是，在HotpotQA等开放问答任务中，这种偏差会扭曲答案分布。

为攻克这一难题，研究者创新性地提出平均注意力推断(Average Attention Infer, AAT)模块。其核心思想是：通过计算不同输入排列下注意力权重的平均值，消除位置敏感带来的波动。实验显示，在Qwen1.5-14b-chat等模型上，AAT使MMLU数据集的排列不变性指标(PIR)提升19.8%，同时保持原始语言能力。团队还发现排列偏差主要集中于特定网络层，据此开发出高效版AAT EF，采用贪心策略选择关键层和循环排列(Cyclic Permutation)，使计算成本降低67%。

关键技术方法包括：1) 基于Transformer的注意力权重分析技术；2) 多排列注意力平均化算法；3) 层敏感度评估框架；4) 在MMLU和CosmosQA等基准数据集上的系统性验证；5) 结合临床文本和逻辑命题的混合测试集构建。

【研究目标】
通过三阶段研究明确：RO1揭示注意力权重变异是排列偏差主因；RO2开发无需训练的即插即用模块AAT；RO3优化计算效率。实验证实LLMs在MCQA任务中选项顺序变化会导致最高41.2%的答案波动。

【方法】
提出双模块架构：AAT通过注意力权重平均实现去偏，其数学形式为_i∑^NW_perm/N；AAT EF则引入层选择策略，仅对前馈网络(FFN)中偏差敏感层进行处理。采用余弦相似度量化权重对齐程度。

【实验】
在7B-14B参数规模的LLMs上验证：1) AAT使MMLU准确率标准差从4.7降至1.3；2) 开放问答任务响应一致性提升32%；3) AAT EF仅需11%的原始计算量。

【案例研究】
典型示例显示，原始模型对"糖尿病治疗方案"的推荐顺序敏感，应用AAT EF后关键药物权重差异减少89%。

【理论意义】
首次建立注意力权重-排列偏差的因果关系，为模型可解释性研究提供新视角。实践层面，AAT EF模块可直接整合至现有架构，特别适合医疗咨询等需要高一致性的场景。

【结论】
该研究不仅证实排列偏差源于注意力机制缺陷，更提供可扩展的解决方案。未来工作将探索跨模态任务的泛化性，推动构建真正位置无关的下一代LLMs。论文的创新性使其被《Expert Systems with Applications》收录，为AI公平性研究树立了新标杆。