准确性与同理心之间：人类与基于 Transformer 的多标签情绪标注比较研究

《Journal of Intelligent & Fuzzy Systems》：Between accuracy and empathy: A comparative study of human and transformer-based multi-label emotion annotation

　　

摘要

本研究考察了在低资源语言环境下，人类标注与基于Transformer的多标签情感标注之间的结构对齐情况。研究团队对408条塞尔维亚语文本进行了人工标注，使用映射到GoEmotions分类体系28个类别的软标签评分进行标注。标注者间一致性为中等水平（微观F1 = 0.58），反映了细粒度情感标注固有的主观性。本研究比较了四种建模范式：将零样本英语模型应用于机器翻译文本、在翻译语料上训练的领域自适应微调模型、在硬标签和软标签监督下训练的多语言XLM-RoBERTa模型，以及在原始塞尔维亚语文本上训练的区域南斯拉夫模型。最高整体性能由在翻译语料上微调的领域自适应GoEmotions模型实现（微观F1 = 0.50），大幅优于零样本跨语言迁移。在未使用情感专属数据训练的跨语言和区域模型中，XLM-R-BERTi?取得了最强的微观层面性能（微观F1 = 0.36），表明区域语言预训练对实现人机对齐的贡献。对预训练基线模型进行的情感极性分析表明分歧较低（约6%），但在细粒度类别层面的分歧仍然显著。基于强度加权的软标签标注反映了情感类别边界的模糊性，凸显了领域自适应和情感专项训练对于改进人机对齐的重要性。

人工智能系统在我们自己的语言中是否能更好地理解情感？——人机情感判断的比较

理解文本中表达的情感对于改善数字沟通、教育、心理健康支持和人机交互具有重要意义。人们通常在自己的母语中表达情感时最为自然和准确。情感含义不仅由词语决定，还受到文化背景、共同经历和微妙语境的塑造，这些元素在翻译过程中可能无法完全保留。这引出了一个重要问题：当文本从一种语言翻译为另一种语言时，人工智能（AI）系统能在多大程度上理解其中的情感？

在本研究中，我们考察了AI系统在识别塞尔维亚语文本中的情感时与人类判断的吻合程度。我们创建了一个包含408条短叙事的语料库，这些数据收集自一个在线论坛。来自相同语言和文化背景的人类评估者对每条文本标注一种或多种情感，并允许标注不同强度的情感程度。

随后，我们比较了多种AI方法。一些模型最初在英语上训练，然后通过机器翻译应用于塞尔维亚语文本。另一些模型则被直接调整或训练于塞尔维亚语数据，包括为南斯拉夫语系开发的区域语言模型。我们发现，仅依赖翻译的模型在捕捉微妙的情感差异方面更加困难。相比之下，经过塞尔维亚语专项适配或由母语者标注数据训练的模型表现出明显改善。微调有助于系统更好地反映本地语言中的模式以及人类标注者解读情感的方式。

尽管AI系统总体上能够区分广泛的情感倾向（如正面或负面语气），但在模型与人类解读细粒度情感类别的方式上仍存在重要差异。模型在情感显著且高频出现的情感（如喜悦和悲伤）上表现最佳，而更为微妙且依赖上下文的情感仍难以被一致地识别。

获取本文的完整访问权限

查看本文的所有访问和购买选项。

获取访问权限