《Applied Sciences》：Multi-Metric Evaluation of Translation-Based Cross-Lingual Sentiment Consistency Using Large Language Models and Neural Machine Translation
编辑推荐：
在当今全球化与数字互联的世界中，个体日益以多种语言分享情感、意见与经历，使得准确翻译对跨语言情感分析至关重要。尽管机器翻译（MT）在多语言应用中被广泛使用，但翻译质量、语义相似度与情感一致性之间的关系仍未被充分理解。本研究考察了六种基于大语言模型（LLM）的系
在当今全球化与数字互联的世界中，个体日益以多种语言分享情感、意见与经历，使得准确翻译对跨语言情感分析至关重要。尽管机器翻译（MT）在多语言应用中被广泛使用，但翻译质量、语义相似度与情感一致性之间的关系仍未被充分理解。本研究考察了六种基于大语言模型（LLM）的系统（GPT-4o-mini、Gemini 2.5 Flash-Lite、Qwen 2.5、Llama 3.1、Mistral 7B、NiuTrans LMT）与四种基于神经机器翻译（NMT）的系统（Google Translate、Microsoft Translator、NLLB-200、LibreTranslate-v1.5）在涉及英语、西班牙语、法语和汉语的十二个翻译方向上维持分类器中介情感一致性的表现。实验基于多语言亚马逊评论语料库（MARC），随机抽取84,000条用户评论。研究人员采用多维评估框架，结合情感一致性指标（准确率、加权F1、马修斯相关系数（MCC）和情感稳定率（SSR））、翻译质量估计（COMET-QE）和语义相似度评估（LaBSE）。统计显著性通过Friedman与Nemenyi事后检验考察。结果显示，GPT-4o-mini、Gemini 2.5 Flash-Lite与Google Translate在多个评估维度上持续位列最强系统。涉及汉语的翻译方向性能差异尤为显著，凸显语言特定结构特征的影响。此外，语义相似度与翻译质量仅与情感一致性呈中等程度相关，表明高语义相似度未必保证强情感一致性。总体发现论证了多维且具统计依据的评估框架对跨语言情感一致性的重要性，并为当代MT系统的优势与局限提供实践洞见。
研究背景与动机：在全球化数字平台中，跨语言情感分析依赖机器翻译作为中间步骤，但自然语言的特定结构、口语表达与文化语境对自动翻译系统的可靠性与一致性构成挑战。现有文献多以多语言分类模型或翻译式单语方法处理跨语言情感分析，少有研究从语义质量与分类性能双维度考察翻译对情感一致性的影响，且多数未对系统间性能差异做统计显著性检验。为此，研究人员在《Applied Sciences》发表该研究，提出联合评估LLM与NMT系统在多翻译方向下的分类器中介情感一致性，以填补方法论与实证空白。
主要关键技术方法：研究人员选用多语言亚马逊评论语料库（MARC）作为样本队列，从英语、西班牙语、法语、汉语各随机抽样21,000条评论，合计84,000条；文本经去HTML标签、去URL/邮箱/表情符及空格归一化预处理。翻译系统涵盖6种LLM（GPT-4o-mini、Gemini 2.5 Flash-Lite、Qwen 2.5、Llama 3.1、Mistral 7B、NiuTrans LMT）与4种NMT（Google Translate、Microsoft Translator、NLLB-200、LibreTranslate-v1.5），覆盖12个互译方向。情感标注采用预训练XLM-RoBERTa（XLM-R）多语言分类器对原文与译文分别打标，以标签一致率作为情感一致性操作化指标；辅以NLPTown模型与人工子集（840条）验证标注可靠性。评估指标分三类：情感一致性用准确率、加权F1、MCC、SSR；翻译质量用无参考COMET-QE（wmt22-cometkiwi-da）；语义相似度用LaBSE余弦相似度。统计采用Friedman检验与Nemenyi事后检验，并算Spearman秩相关。
研究结果：
5.1 情感一致性：GPT-4o-mini加权F1最高（0.8303）、准确率0.8279，Gemini 2.5 Flash-Lite次之，Google Translate与Microsoft Translator紧随且媲美部分开源LLM；Qwen 2.5-7B（0.8214）优于Llama 3.1-8B（0.8151），NiuTrans LMT为0.8118；Mistral 7B（0.7772）与NLLB-200（0.7659）最低。MCC与SSR趋势一致，GPT-4o-mini与Gemini SSR最低、MCC最高，NLLB-200 SSR最高（0.2557）、MCC最低（0.5983）。涉及汉语目标方向（如EN→ZH、FR→ZH）性能下滑最剧，NLLB-200在FR→ZH仅0.711。
5.2 翻译质量：COMET-QE宏平均Google Translate最高（0.7509），GPT-4o-mini（0.7497）与Gemini（0.7484）近距跟随，Qwen 2.5-7B（0.7278）居开源之首，NLLB-200与LibreTranslate垫底。英源西/法方向商用NMT占优，汉目标方向全体系统得分陡降，但GPT-4o-mini、Gemini、Qwen仍保持0.67+。COMET-QE排名与情感一致性排名不完全镜像。
5.3 语义相似度：LaBSE宏平均GPT-4o-mini最高（0.8678），Gemini（0.8643）、Qwen（0.8638）、Microsoft Translator（0.8633）相近，NiuTrans LMT（0.8451）胜Llama 3.1-8B（0.8347），NLLB-200（0.8041）低，Mistral 7B最低（0.7677）。欧语对相似度高，汉参与方向拉开差距；LaBSE排名与COMET-QE不同（Google Translate COMET第一但LaBSE落于前述LLM之后）。
5.4 统计显著性：Friedman检验在加权F1（χ2=显著）、COMET-QE、LaBSE上均p<0.05，效应量Kendall’s W依次COMET-QE最强、加权F1次之、LaBSE中等。Nemenyi显示头部三系统（GPT-4o-mini、Gemini、Google Translate）两两不显著，但与NLLB-200、LibreTranslate、Mistral 7B差异显著；LaBSE区分度相对低。
讨论部分总结：研究人员指出情感保存受架构与目标语言共同影响，汉目标方向因高语境依赖、缺显式屈折标记致极性线索易在翻译中衰减，解释为何语义表示稳但情感分类跌。COMET-QE与LaBSE捕捉不同侧面，高LaBSE不保高情感一致（如LibreTranslate在EN→ES达0.928但SSR未相应改善），呼应“诗意意图悖论”。Spearman相关显示加权F1—COMET-QE ρ≈中等正、加权F1—LaBSE与COMET—LaBSE亦中等正但未近1，证明情感一致性含超出语义保真的信息（局部极性词、强化语、文化情感表达）。统计显著性支撑头部系统优势非随机。
结论部分翻译：本研究以多维且统计锚定的框架评估机器翻译在跨语言情感分析中的情感一致性与语义质量。结果表明翻译系统效能不能仅由语义相似度解释，而是模型架构、语言对、翻译方向与评估法共同决定。若干LLM系统获最高情感一致性，但Google Translate与Microsoft Translator等商用NMT仍极具竞争力；GPT-4o-mini、Gemini 2.5 Flash-Lite与Google Translate在三项维度稳居前列。LLM在汉—法类等远距对中亦显稳健。研究回应四则RQ：RQ1-LLM总体优于开源NMT但商用NMT匹敌最优LLM；RQ2-情感分类、情感一致与语义质量指标互补不可相互替代；RQ3-语义质量与情感一致正相关但异维，高语义不保高情感一致；RQ4-翻译方向与目标语（尤汉语）显著调制性能。Friedman/Nemenyi确认差异显著非随机。整体凸显联合情感分类—情感一致—语义质量多维评估之必要，为跨语言情感感知MT提供方法与实证基础。
