南斯拉夫语系新闻中基于方面的情感分析模型评估:AspectBench基准数据集构建与从微调专家模型到选择性大语言模型延迟决策的系统研究

《Frontiers in Artificial Intelligence》:Evaluating fine-tuned, embedding-based, and zero-shot models for aspect-based sentiment analysis in South Slavic news

【字体: 大 中 小 】 时间:2026年09月18日 来源:Frontiers in Artificial Intelligence 6.7

编辑推荐:

   在当代数字媒体环境中,从海量且持续的信息流中自动提取公众舆论的能力至关重要。基于方面的情感分析(Aspect-Based Sentiment Analysis,ABSA)提供了这种细粒度的能力。在本研究中,研究人员针对该任务的一种特定的、具有工业应用价值的

  


在当代数字媒体环境中,从海量且持续的信息流中自动提取公众舆论的能力至关重要。基于方面的情感分析(Aspect-Based Sentiment Analysis,ABSA)提供了这种细粒度的能力。在本研究中,研究人员针对该任务的一种特定的、具有工业应用价值的表述形式展开工作,该形式在文献中更正式地被称为文档级实体目标情感分析(Targeted Sentiment Analysis,TSA)或实体级情感分析(Entity-Level Sentiment Analysis,ELSA),其中"方面"指代公司、品牌等命名实体。然而,将其应用于形态复杂、资源较少的语言(如南斯拉夫语系语言),尤其是在长篇新闻领域,仍然是一个重大挑战。本研究中,研究人员引入了AspectBench——一个面向文档级ABSA的新基准数据集,包含斯洛文尼亚语和塞尔维亚-克罗地亚语的真实网络新闻文章,旨在测试模型对未见方面的泛化能力,其中塞尔维亚-克罗地亚语部分已公开发布。利用该基准,研究人员开展了一项全面的实证研究,评估了五种不同的建模范式,包括轻量级文档嵌入分类器、微调的多语言及特定语言预训练语言模型(Pre-trained Language Models,PLMs)、层次注意力网络(Hierarchical Attention Networks,HANs)、零样本和少样本设置下的本地大语言模型(Large Language Models,LLMs),以及采用多专家PLM的学习延迟决策(Learning-to-Defer,L2D)策略,包括完全LLM延迟和基于置信度门控的选择性LLM延迟(使用DSPy校准提示)。实验结果表明,有监督专家模型仍然是该任务最可靠的基础,Longformer、mDeBERTa-v3、mT5、特定语言编码器以及层次模型在不同语言和类别平衡条件下均表现出较强的性能。方面掩码(aspect masking)对有监督专家模型普遍有效,特别是PLM和HAN变体,但并非在所有模型家族和评估视角下均一致受益。独立的本地LLM不具备竞争力,而完全LLM延迟在应用于每个实例时表现不稳定。然而,选择性LLM延迟更有前景,因为将低置信度的专家预测路由至LLM可以改善或稳定性能,同时限制不必要的LLM调用。此外,研究人员利用最小可行集分析展示了性能、校准和不确定性如何随标注量变化,为未来真实世界数据集上的媒体监测标注活动提供了实用指导。因此,本研究填补了资源较少语言ABSA的一个重要空白,并为模型复杂度、数据特征与面向真实世界媒体监测的鲁棒学习延迟决策系统开发之间的权衡提供了实用见解。
**论文解读**

**一、研究背景与问题提出**

在当代数字媒体生态中,新闻文章、博客和网络内容往往包含多个目标实体和广泛的话题范围,因此仅理解整体情感而无法识别情感的具体指向,对于关键决策而言远远不够。基于方面的情感分析(Aspect-Based Sentiment Analysis,ABSA)通过识别文本中对特定实体及其属性的情感极性,提供了这种细粒度能力。在媒体监测语境中,该任务更精确地对应于文献中所定义的实体级情感分析(Entity-Level Sentiment Analysis,ELSA)或目标情感分析(Targeted Sentiment Analysis,TSA),其"方面"为具体的命名实体(如公司和品牌名称)。

然而,将ABSA从受控基准推向真实世界的多语言媒体监测面临若干关键挑战。首先,大多数最先进模型和大规模数据集以英语为中心,形态复杂且资源较少的语言家族(如南斯拉夫语系)严重滞后。其次,新闻文章通常为长篇文档,对某一实体的情感可能跨越多个段落微妙地表达,句子级ABSA方法难以处理。第三,数据往往高度不平衡,中性或多数类情感占主导地位。最为关键的是,工业级媒体监测系统必须能够动态处理未见方面,即训练数据中未出现的新公司、产品或话题,这要求模型具备强大的泛化能力。此外,现有ABSA基准数据集中超过70%基于商业评论,新闻媒体领域显著代表性不足。

**二、研究内容与意义**

为应对上述挑战,研究人员构建了AspectBench——一个面向文档级、实体目标情感分类的评估基准数据集。该数据集源自斯洛文尼亚语和塞尔维亚-克罗地亚语的真实新闻剪报,由媒体监测机构Kliping d.o.o.的专业分析师进行情感标注(正面、中性、负面),经多步骤预处理后,塞尔维亚-克罗地亚语子集包含约82.7k条实例、65个独特方面,斯洛文尼亚语子集约51.6k条实例、49个独特方面。测试集设计采用标签部分未见分割策略,未见方面实例占斯洛文尼亚语测试集的69.2%、塞尔维亚-克罗地亚语的59.1%,以显式评估模型泛化能力。

利用该基准,研究人员系统评估了五种建模范式:(1)基于BGE-M3的轻量级文档嵌入结合多层感知机(MLP)分类器;(2)微调的多语言PLM(XLM-RoBERTa、Longformer、mDeBERTa-v3、mT5)及特定语言编码器(SloBERTa、BERTi?);(3)基于XLM-RoBERTa的层次注意力网络(HAN);(4)零样本和少样本提示的本地大语言模型(Gemma-3-27B-QAT,结合DSPy框架进行提示优化);(5)学习延迟决策策略,包括非LLM专家组合(多数投票、概率平均、置信度选择、浅层堆叠器)、完全LLM延迟和基于置信度门控的选择性LLM延迟。

研究发现,有监督专家模型(微调PLM和层次模型)仍然是该任务最可靠的基础,其中Longformer、mDeBERTa-v3、mT5及特定语言编码器均表现出较强性能,最佳模型选择取决于语言特性和类别分布。方面掩码(将实体名称替换为"[ASPECT]"占位符)对有监督专家模型普遍有效——在14组非LLM配对比较中,11组通过掩码提升了宏观F1值,但该策略并非在所有模型家族中一致受益,语言特定编码器(SloBERTa、BERTi?)的结果较为混合。独立提示型LLM远逊于微调专家模型。完全LLM延迟在应用于全量数据时不稳定,因其会将已正确的高置信度预测暴露给LLM进行不必要的修改。选择性LLM延迟则更具前景:以低置信度门控将困难案例路由至LLM,在限制LLM调用的同时改善或稳定性能。例如,斯洛文尼亚语中采用Longformer掩码专家配合10%门控率,将774个实例路由至LLM后,宏观F1从75.88提升至77.34,在路由项中产生45次纠正和16次退化。非LLM专家组合策略(多数投票、概率平均等)可提供强基线,但浅层堆叠器未明显优于简单策略,表明最强专家模型共享许多困难案例。最小可行集分析表明,性能、校准和不确定性随标注数据量增加的变化速度因评估标准而异,少数类行为和校准敏感决策需要更多数据。

**三、主要关键技术方法**

本研究使用的核心技术方法包括:(1)采用SpaCy进行句子分割和关键词提取,FastText进行语言识别过滤;(2)以BGE-M3生成1024维文档嵌入,结合三层MLP分类器(512→256→3);(3)基于Hugging Face Transformers库微调多语言PLM,包括XLM-RoBERTa(512 token截断)、Longformer(4096 token)、mDeBERTa-v3(512 token)、mT5(文本到文本生成式分类)及语言特定编码器SloBERTa和BERTi?;(4)构建简化的层次注意力网络(HAN),以XLM-RoBERTa为句子编码器(每句最多96 token,每文档最多128句),通过两层交互Transformer和四头全局注意力机制进行文档级聚合;(5)利用DSPy框架的MIPROv2优化器,以Qwen-2.5-72B为教师模型、Gemma-3-27B-QAT为学生模型进行提示优化;(6)基于蒙特卡洛dropout的预测熵和互信息估计用于不确定性量化。数据集来源于Kliping d.o.o.媒体监测机构的客户定制新闻剪报,涵盖斯洛文尼亚和西巴尔干地区。

**四、主要研究结果**

*整体性能对比:*有监督专家模型构成最强基线。斯洛文尼亚语中,SloBERTa掩码变体取得最高宏观F1(73.03)和QWK(0.710);塞尔维亚-克罗地亚语中,BERTi?基线和Longformer掩码变体分别达到81.70和81.37的宏观F1。文档嵌入方法作为轻量级基线有用,但始终低于更强的PLM和层次系统。提示型LLM性能远低于微调模型。

*输入条件与文档长度:*显式的句子提取或LLM摘要并非性能提升的必要条件。XLM-RoBERTa提取式变体在斯洛文尼亚语中优于截断基线,但LLM摘要方案较弱且不稳定;塞尔维亚-克罗地亚语中截断XLM-RoBERTa反而强于提取式变体。Longformer、mDeBERTa-v3等长上下文模型表现良好,表明情感证据通常可从文章前部或标准文章-方面输入中恢复。

*方面掩码效应:*掩码在14组非LLM配对中11组改善了宏观F1,在12组微调或层次配对中10组改善。但在BGE-M3和语言特定编码器上效果不一;LLM延迟场景中,LLM有时受益于显式目标名称。

*非LLM专家延迟决策:*多数投票和概率平均在两种语言中均优于单独掩码专家,但浅层堆叠器未明显超越简单策略,表明强专家共享许多失败案例。在斯洛文尼亚语中多数投票达76.35宏观F1;塞尔维亚-克罗地亚语中置信度选择达84.18宏观F1和0.829 QWK。

*选择性LLM延迟:*斯洛文尼亚语中Longformer掩码专家在10%门控下将宏观F1从75.88提升至77.34。塞尔维亚-克罗地亚语中mDeBERTa-v3掩码专家在30%门控下具有竞争力,Longformer选择性运行在20%门控下达到84.07宏观F1和0.830 QWK。定性分析表明,LLM改进主要来自新闻模板中局部目标归属判断,困难案例在不同专家和实体间重叠。

*最小可行集分析:*斯洛文尼亚语中宏观F1在30%训练数据时达到全数据分数的10%以内,40%时达到2-5%以内;塞尔维亚-克罗地亚语中对应阈值分别为10%、30%和75%。中性类别早期稳定,情感承载类别和校准敏感决策需要更多数据。

**五、讨论与结论**

研究结果表明,有监督专家模型是文档级实体目标ABSA最可靠的基础,Longformer、mDeBERTa-v3、mT5和语言特定编码器为原有比较提供了重要补充。直接提取或LLM摘要并非强PLM性能的必要预处理步骤。方面掩码对专家模型变体普遍有效,但应将其视为一种经验性输入条件策略而非普遍适用的规则。

LLM结果在分离完全延迟和选择性延迟时最为清晰:独立提示不具有竞争力,完全LLM延迟不足以替代专家模型;当专家不确定性能够识别低置信度案例时,选择性LLM延迟更具前景,LLM可纠正其中有用的一部分,同时保持高置信度预测不变。定性分析表明这些改进来自反复出现的新闻模板中的局部目标归属判断,而非广泛的话题路由。

选择性延迟决策为未来媒体监测系统提供了实用且可分析的机制:它减少了不必要的LLM调用,暴露了困难案例以供审查,并提供了随着更强大LLM出现而进行受控测试的途径。研究结论指出,AspectBench表明南斯拉夫语系新闻中的文档级实体目标ABSA即使对强大的多语言模型仍具挑战性,有监督专家模型结合选择性LLM延迟为真实世界媒体监测提供了一条稳健的部署路径。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号