《Pattern Recognition》：Semantic-preserved Augmentation with Reliability-aware Fine-tuning for Aspect Category Sentiment Analysis
编辑推荐：
本文针对方面类别情感分析(ACSA)任务中标注数据稀缺、现有基于大语言模型(LLM)的数据增强方法存在语义漂移、以及微调模型决策可靠性不足等问题，研究人员提出了一个统一的解决方案。他们通过设计结构化提示模板指导LLM生成多样化且语义一致的数据，并结合余弦相似度过滤机制确保增强数据的语义保真性。在此基础上，创新性地提出了一个结合词元级正确性和序列级置信度的可靠性感知微调策略。实验结果表明，该方法在多个基准数据集上超越了现有基线模型，有效提升了ACSA模型的性能与决策可靠性。
在电商评论、客户反馈分析等场景中，我们不仅想知道用户对某个产品是“好评”还是“差评”，更希望了解他们对“食物的质量”、“服务的态度”或“笔记本电脑的电池续航”等具体方面（Aspect）的感受。这就是方面类别情感分析（Aspect Category Sentiment Analysis, ACSA）的核心任务——从一个句子中，自动识别出提到的方面类别（如FOOD#QUALITY）及其对应的情感极性（正面、中性或负面）。这种细粒度的洞察力对于深入理解用户意见至关重要。然而，获取大量高质量、带精确方面-情感标签的标注数据成本高昂，成为制约ACSA模型性能提升，尤其是在低资源或新领域应用中的主要瓶颈。
为了缓解数据稀缺，研究者们将目光投向了能力强大的大语言模型（LLM），希望通过提示（Prompting）让LLM自动生成额外的训练数据。但这带来了新的挑战：天马行空的提示容易导致生成的句子偏离原意（语义漂移），而过于保守的词汇替换又难以产生丰富的语言变化。如何在保持语义一致性和增强语言多样性之间取得平衡，是数据增强（Data Augmentation, DA）的关键。另一方面，即使有了更多的数据，模型在面对语义相近的细粒度类别时，其预测仍然可能摇摆不定，决策的可靠性有待提高。现有的方法通常关注模型输出的整体分布不确定性，缺乏对生成式模型在词元（Token）层面预测可靠性的精细度量。
针对上述双重挑战，一篇发表在《Pattern Recognition》上的论文，由岭南大学的柴亚平、谢浩然和秦泗钊教授合作，提出了一种创新的框架。该研究旨在利用LLM进行语义保持、语言多样的数据增强，同时确保从生成的合成语料库中进行可靠学习，从而提升ACSA模型的泛化能力和决策可信度。
为达成研究目标，作者主要采用了以下几个关键技术方法：首先，利用结构化提示模板引导GPT-4o-mini等LLM，以原始句子及其方面-情感标签为条件，生成表达多样但语义忠实的新句子，并引入LLM作为验证器对生成数据的标签一致性进行校验。其次，采用基于Sentence-BERT（SBERT）的句子嵌入计算原始句与生成句之间的余弦相似度，设定阈值（τ=0.7）进行语义一致性过滤，剔除语义偏差过大的样本。最后，在模型微调阶段，设计了一种可靠性感知的目标函数，该函数为每个训练样本计算一个可靠性分数（ri），该分数综合了词元级正确率（si）和序列级置信度（ci），并以此对标准负对数似然损失进行重新加权，同时采用线性预热（warm-up）策略来降低训练早期噪声的影响。实验基于SemEval-2015/2016的四个公开数据集（Rest15, Rest16, Lap15, Lap16），以Flan-T5（3B）为基础模型进行。
研究结果
4.4. 主要结果
与传统的ACSA模型（如BERT、PBJM）、仅推理的LLM基线（如Llama-3.3-70B, GPT-5-mini）以及其他指令微调基线（如InstructABSA, Flan-T5结合不同数据增强变体）相比，本文提出的方法在四个数据集上都取得了最高的微平均F1分数。结果表明，单纯的提示增强或词级替换（如EDA）提升有限，而结合了语义保持增强和可靠性感知微调的策略能最有效地捕捉方面-情感关系。
4.5. 消融研究
通过逐步移除数据增强（DA）、语义过滤（τ）、可靠性感知微调（α）和LLM验证器等组件，验证了每个部分对最终性能的贡献。移除任一组件都会导致性能下降，证实了框架设计的完整性和各模块的必要性。
4.6. 参数分析
- •
原始数据比例的影响：即使仅使用50%的原始数据，结合本文方法也能超越使用100%原始数据的Flan-T5基线，证明了该方法在低资源场景下的有效性。
- •
可靠性权重α的影响：适中的α值（0.5-0.8）能带来最佳性能，过于激进的重加权会削弱有效学习信号。
- •
语义一致性阈值τ的影响：τ=0.7在四个数据集上提供了性能与多样性之间的最佳权衡。
- •
可靠性信号与预热的影响：使用词元级正确性（而非序列级）作为可靠性信号的一部分，并结合预热策略（预热比例0.2），能带来更稳定的性能提升。
4.7. 错误分析
- •
分析发现，识别正确的方面类别比判断其情感极性更困难，类别错误（Category Errors）远多于情感错误（Sentiment Errors）。
- •
领域难度与类别错误率正相关：笔记本电脑领域由于类别更细粒度、语义重叠更严重（如BATTERY#GENERAL, BATTERY#OPERATION），其类别错误率高于餐厅领域。
- •
通用类别和语义重叠类别是主要错误来源：模型在无法确定细粒度类别时倾向于过度预测“GENERAL”类别；语义相近的类别（如FOOD#QUALITY和FOOD#STYLE_OPTIONS）容易相互混淆。与Flan-T5相比，本文方法显著降低了类别错误。
5.1. 增强数据的多样性分析
实验表明，将增强数据量扩大到原始数据的2倍（2×）能达到最佳性能成本效益，继续增加到3倍则因数据冗余导致性能略有下降。GPT生成的增强数据在词汇多样性（ΔTTR）和语义保真度（BLEU-4）之间取得了更好平衡。
5.2. 可靠性重加权与校准
- •
校准：与Flan-T5相比，本文方法降低了预期校准错误（Expected Calibration Error, ECE），在更模糊的笔记本电脑领域提升尤为明显，说明可靠性重加权缓解了模型的欠自信问题。
- •
熵动态：本文方法的熵在训练过程中平稳下降，表明优化过程稳定，并未导致过度自信。
- •
困难样本：本文方法在处理包含多个方面-情感对（k≥3）的复杂句子时，性能提升最大，证明其尤其有利于困难样本的学习。
结论与讨论
本研究成功提出了一个解决ACSA任务中数据稀缺和预测可靠性双重问题的统一框架。核心贡献在于：第一，设计了一种基于LLM的语义保持数据增强流程，通过结构化提示和语义过滤，在扩充数据的同时确保了语义一致性与语言多样性；第二，提出了一种可靠性感知的微调目标，利用词元级和序列级信号对训练样本进行差异化加权，使模型能更信赖地做出方面-情感推断。
综合实验表明，该框架显著提升了模型在多个基准数据集上的性能，特别是在类别判别和困难样本处理上表现突出。同时，研究还通过错误分析和多样性评估，深入揭示了ACSA任务的挑战所在（如类别模糊性）以及有效数据增强的特性。
当然，该工作也存在可改进之处，例如语义一致性过滤依赖于固定阈值，未来可探索自适应阈值方法；可靠性信号的估计和加权参数也可能随领域变化。未来的研究可以着眼于开发更精细、自适应的可靠性估计机制，以进一步提升模型在不同场景下的鲁棒性和泛化能力。这项工作为如何安全、有效地利用LLM生成的数据来增强和训练更可靠的细粒度情感分析模型提供了有价值的思路和实践方案。
