《Results in Engineering》：Capturing Subjectivity: A Weighted Ensemble Approach to Preserve Annotator Diversity
编辑推荐：
主观语言任务，例如性别歧视检测或情感分析，通常涉及人类标注者之间的显著不一致，这反映了真实的解释多样性而非标注噪声。传统的聚合方法，最常见的是多数投票（majority voting），强制使用单一参考标签和人为共识。这存在问题，因为它丢弃了关于不同人群如何解
主观语言任务，例如性别歧视检测或情感分析，通常涉及人类标注者之间的显著不一致，这反映了真实的解释多样性而非标注噪声。传统的聚合方法，最常见的是多数投票（majority voting），强制使用单一参考标签和人为共识。这存在问题，因为它丢弃了关于不同人群如何解释相同内容的信息，从而掩盖了对于理解所研究现象至关重要的细微差别。本文引入了一个视角主义（perspectivist）框架，该框架通过基于人口统计学变量训练独立分类器，随后通过加权集成策略（weighted ensembling strategy）组合它们，明确建模标注者多样性。每个视角根据其个体性能（F1分数（F1-score））被分配一个相对重要性，并优化决策阈值以最大化集成的整体F1分数。在三个数据集——EXIST文本2024（EXIST Texts 2024）、EXIST模因2024（EXIST Memes 2024）和重新标注版本的SST-2（SST-2）——上进行的实验表明，所有任务均获得一致改进。加权集成在EXIST文本上达到0.84的F1分数，在EXIST模因上将性能从0.84提高到0.91，并在重新标注的SST-2数据集上达到0.95的F1分数。这些结果表明，加权视角主义集成在精确率和召回率之间实现了比单个模型和标准基线更好的平衡，同时保留了人类解释多样性。它们强调了视角主义建模作为通向更公平、更稳健的自然语言处理（NLP）系统的途径的潜力，这些系统更能符合人类变异性。
本研究聚焦于主观性自然语言处理（NLP）任务中标注者不一致的建模问题。传统方法如多数投票（majority voting）通过强制生成单一共识标签，丢弃了不同人群对相同内容解读的多样性信息，这在性别歧视检测或情感分析等高度主观任务中掩盖了关键细微差别。为保留解释多样性，研究人员提出视角主义（perspectivist）框架：依据人口统计学变量（性别、年龄、族群、教育水平）将数据集分割为独立子集，分别训练基于XLM-RoBERTa-base或mDeBERTa-v3-base的变换器（Transformer）模型，并通过基于个体F1分数（F1-score）的加权集成策略组合各视角输出，同时优化决策阈值以最大化集成整体F1分数。实验在三个数据集——EXIST 2024文本（EXIST Texts 2024，包含6,920条西班牙语/英语推文，由725名标注者注释）、EXIST 2024模因（EXIST Memes 2024，约8,000个模因的文本内容，由887名标注者注释）以及重新标注的SST-2（SST-2，263个电影评论句子，由156名标注者按族群和年龄分组注释）上进行。结果证明，加权视角主义集成在精确率与召回率间取得更好平衡，优于单个模型及多数投票基线，且保留了解释多样性。该研究突出了视角主义建模作为构建更公平、更稳健NLP系统路径的潜力。
**研究背景**
在自然语言处理（NLP）中，性别歧视检测、情感分析等主观任务常伴随标注者间显著不一致。这种分歧并非噪声，而是反映了解释多样性的人口统计学和文化根源。传统聚合方法（如多数投票）强制生成单一共识标签，丢弃了不同群体如何解读相同内容的信息，掩盖了对理解现象至关重要的细微差别。近期工作（如Learning with Disagreement范式）主张保留并利用标注者差异，但现有方法多直接建模多个标注（如软标签或不确定性感知目标）或学习标注者特定行为，未将人口统计学视角作为独立建模单元，也未系统研究通过校准集成策略组合视角。因此，需要一种方法显式建模人口统计视角，在保留解释多样性的同时优化整体性能。
**研究内容与结论**
研究人员提出加权视角主义集成方法：依据人口统计学变量（性别、年龄、族群、教育水平）将数据分割为视角特定子集，训练独立分类器，基于其在校准集（Test 1）上的F1分数计算归一化权重，并通过优化决策阈值最大化集成F1分数，最终在独立保留集（Test 2）上评估。在EXIST文本数据集上，加权集成F1分数从基线0.82提升至0.84，AUC（Area Under the Curve，曲线下面积）达0.90；在EXIST模因数据集上，F1分数从0.83提升至0.91，AUC达0.98；在重新标注的SST-2数据集上，F1分数从0.90提升至0.95，AUC达0.92。统计自举分析确认了模因数据集上0.174的ΔF1具有统计学显著性。定性分析显示，加权集成能纠正8个个体模型中6个同时出错的歧义案例，缓解子组偏差。研究表明，加权视角主义集成在高度主观任务中优于单一模型和多数投票基线，保留解释多样性且提升系统鲁棒性。
**关键技术方法**
研究人员使用的主要技术方法包括：（1）基于人口统计学变量（性别、年龄、族群、教育水平）分割数据集以构建视角特定子集；（2）对EXIST模因训练集采用基于上下文词嵌入（Contextual Word Embeddings, CWE）的数据增强，通过BERT（bert-base-uncased）模型替换少数类（非性别歧视）中的标记以缓解类别不平衡；（3）使用XLM-RoBERTa-base（对EXIST文本和SST-2）和mDeBERTa-v3-base（对EXIST模因）进行监督微调，超参数固定为学习率3e-5、批次大小16、训练10轮含早停（Early Stopping）；（4）加权集成策略，基于校准集（Test 1）上各视角模型的F1分数计算归一化权重，并遍历0–1间100个等间距阈值优化决策阈值以最大化集成F1分数；（5）最终在独立保留集（Test 2）上评估集成性能，采用准确率（Accuracy）、宏平均F1分数（Macro F1-score）和曲线下面积（AUC）作为指标。
**研究结果**
*6. Results（结果）*
加权集成在三个数据集上均显示一致改进：EXIST文本的宏平均F1分数从基线0.8218提升至0.8393，AUC从0.8924升至0.8991；EXIST模因的F1分数从0.8265跃升至0.9120，AUC达0.9762；重新标注的SST-2的F1分数从0.90升至0.9499，AUC达0.92。结果表明，基于个体F1分数的加权组合增强了系统判别能力，尤其在高度主观任务中。
*6.1 Confusion Matrix and AUC Curves（混淆矩阵与AUC曲线）*
混淆矩阵分析显示，所有数据集上主对角线（真阳性和真阴性）占优，错误率低；SST-2上模型近乎完美，零假阳性、仅一个假阴性。AUC曲线均高于非判别对角线，EXIST模因的AUC最高（0.9762），表明加权集成在多模态文本中具有最优判别能力。
*6.2 Qualitative Analysis of the Weighted Ensemble（加权集成的定性分析）*
通过代表性案例表明，当8个个体模型中有6个同时错误时，加权集成仍能输出正确预测。例如，EXIST文本中涉及反讽或文化指涉的实例，加权集成通过聚合人口统计视角缓解了子组特定偏差，产生更稳定的全局信号。
*6.3 Statistical Analysis（统计分析）*
非参数自举（Bootstrap）重抽样（B=5000）计算95%置信区间（Confidence Interval，CI）：EXIST模因的ΔF1为+0.174，区间[+0.151, +0.199]不包含零，证明改进稳健；EXIST文本的ΔF1为+0.031，区间[-0.001, +0.065]略过零；SST-2的ΔF1为+0.052，区间[0.000, +0.194]较宽，因测试集小（n=20）统计效力有限。
**讨论与结论**
讨论部分指出，加权视角主义集成在高度主观任务中表现最佳，权重分布显示大型且内部一致性高的群体（如拥有学士学位或白人/高加索裔标注者）获得更高权重，而少数群体贡献较小，表明方法在多样性与准确性间取得平衡。该方法保留了解释多样性，但依赖于详尽的标注者人口统计元数据，且训练多个独立模型增加了计算负载。研究结论部分（8. Conclusions and Future Works）翻译如下：本文提出了一种视角主义方法，结合从不同人口统计视角训练的模型，利用解释多样性改进主观NLP任务。与消除不一致的共识聚合不同，该方法表明保留标注者差异可提供有用信息以提升模型鲁棒性和公平性。三个数据集上的结果显示，不同视角训练的模型能捕捉单个模型无法捕捉的解释细微差别，加权组合策略在主观性更强的任务中比简单投票或均匀集成提供一致改进。标注者多样性和人口统计平衡塑造整体有效性。未来工作计划将方法扩展至反讽或情感检测等任务，并探索基于置信度的更复杂加权机制。
