摘要
在线商业评论中蕴含着丰富的客户情感信息，这些信息对商业决策至关重要。然而，从自由文本中准确预测星级评分仍是一个具有挑战性的五类分类问题。传统的集成方法——如软投票、加权投票和堆叠法——通过整合多个基础模型的输出来提升预测性能，但它们产生的决策结果缺乏透明度，企业决策者难以理解。本文提出使用大型语言模型（LLM），具体为unsloth/LLaMA-3.3-70B-Instruct，作为可解释人工智能（XAI）集成器：该LLM接收四种不同类型的基础模型（逻辑回归、支持向量机、朴素贝叶斯以及BERT-base-uncased）的预测结果和置信度得分，经过分析后给出最终的星级评分预测以及自然语言形式的解释。我们在源自Yelp学术数据集的10,000个样本构成的平衡且符合自然分布的测试集上对整个流程进行了评估，同时还对西班牙语版的Amazon评论进行了跨语言验证。结果表明，这种基于LLM的集成器（LLAMA_AGG）在两种测试集上的宏观F1值均处于最高水平（平衡集为0.6800，自然分布集为0.6720），其顺序校准效果也最佳（平衡集为QWK=0.9111，自然分布集为0.9337），性能优于所有传统集成器和基础模型。通过详细的可解释人工智能分析发现，该LLM在参考了集成模型的输出后会修正28.07%的初始预测结果，这样一来，经修正的案例的准确率提升了22.2个百分点。该集成器还能纠正LLM自身存在的严重极端偏差（在中等星级类别的召回率上提升了0.35），并且在证据存在矛盾时能生成更长的解释内容，这体现了其经过深思熟虑的推理过程。通过两名评估员进行的正式人类评估显示，该解释的真实性得分高达4.47/5，可读性得分也为4.82/5。模型规模对比实验表明，参数量为80亿的版本与700亿参数的版本在预测一致性上能达到90.8%，具备实际应用价值。这些研究结果证明，通过基于LLM的集成方法可以实现可解释人工智能，为商业评论情感分析提供了一种有效的解决方案。
