基于低秩自适应（LoRA）微调大语言模型实现情感抽取与决策支持的分析方法

《Decision Analytics Journal》：An analytical approach to sentiment extraction and decision-making using fine-tuned large language models

　　

在竞争激烈的餐饮服务业中，顾客评论对辅助他人做出明智决策至关重要。然而，评论数量庞大且语言复杂，使得有效提取可操作洞察面临挑战。为解决该问题，本研究提出了一种基于低秩自适应（LoRA）的微调工作流，用于在段落级别进行端到端多语言目标–方面–情感（TAS）三元组抽取。研究人员首先将SemEval-2016餐厅数据集从句子级重构为涵盖六种语言的段落级输入。其次，采用包含思维链（CoT）提示、约束输出格式和温度优化的领域特定指令模板，对开源大语言模型（LLM）进行微调。第三，通过将微调后的LLM与非LLM序列到序列基线和零样本LLM基线进行比较的实验表明，微调始终产生最强结果。表现最佳的微调Gemma 2 9B IT模型在六种语言上实现了70.29%的F1分数，显著优于最强的非LLM基线（mT5-base，F1=58.54%）和零样本推理（Gemma 2 9B IT零样本，F1=45.71%）。最后，基于最佳模型开发了一个决策支持系统（DSS），用于分析来自Yelp数据集的真实世界餐厅评论，证明了所提出的工作流对顾客和餐厅所有者的实际适用性。

《Decision Analytics Journal》发表的这项研究针对餐饮服务业顾客评论分析中存在的三个核心局限展开：现有基于方面的情感分析（ABSA）多局限于句子级处理、以英语单语为主、缺乏段落级抽取框架，难以应对真实场景中多语言、多观点交织的长文本评论。研究人员指出，传统情感分析仅能提供整体极性，无法定位具体评价维度；而现有ABSA方法虽能实现细粒度分析，但多依赖大规模标注数据、计算成本高，且在跨语言、跨句子的上下文依赖捕捉上存在不足。为解决这些问题，研究团队提出基于低秩自适应（LoRA）的微调工作流，旨在实现多语言段落级目标–方面–情感（TAS）三元组的高效抽取，并将成果集成至决策支持系统（DSS）以服务实际应用。

该研究采用的核心技术方法包括：1. 数据集重构：将SemEval-2016 Restaurant数据集从句子级标注合并为段落级TAS三元组表示，覆盖荷兰语、英语、法语、俄语、西班牙语、土耳其语六种语言，并基于统计分布剔除冲突标签与低频方面类别；2. 领域指令模板设计：融合指令提示、思维链（CoT）推理、约束JSON输出格式、闭集标签限制及单样本示例五种策略，引导模型生成结构化结果；3. 模型选择与微调：选用Meta的Llama 3.1 8B Instruct与Google的Gemma 2 9B IT作为基础模型，采用LoRA技术在Transformer层引入低秩分解矩阵，冻结预训练权重以减少可训练参数；4. 温度优化：通过网格搜索确定各模型最优解码温度，平衡输出准确性与多样性。

研究结果分为四个部分。第一部分为模型参数设置与训练，研究人员采用AdamW 8位优化器，结合余弦学习率调度与早停策略，在单张NVIDIA RTX A4000 GPU上完成训练，损失曲线显示Gemma 2 9B IT与Llama 3.1 8B Instruct均实现稳定收敛。第二部分为评估方法，采用段落级集合化的归一化精确匹配F₁分数，通过小写转换、去标点、空格归一化与空值标准化对目标实体进行预处理，确保评价客观性。第三部分为实验结果与模型比较，温度选择实验表明Gemma 2 9B IT最优温度为0.8（F₁=73.66%），Llama 3.1 8B Instruct最优温度为0.3（F₁=70.74%）；整体性能对比显示，微调Gemma 2 9B IT以70.29%的F₁分数位居第一，较mT5-base（58.54%）提升11.75个百分点，且错误率仅为0.14%；跨语言分析表明，Gemma 2 9B IT在六种语言中五项为最佳，跨语言F₁波动范围为15.48个百分点，体现良好鲁棒性；推理效率分析指出，尽管其单条评论推理时间为11.37秒，但近零的错误率使其成为决策支持系统的最优选择。第四部分为决策支持系统构建，研究人员基于微调Gemma 2 9B IT分析了2021年加利福尼亚州18400条Yelp餐厅评论，系统可支持按方面类别、情感极性、时间与地点的多维查询，并通过交互式仪表盘为顾客提供细粒度餐厅筛选，为经营者提供绩效监控与竞品对标功能。

讨论部分首先总结了四项核心发现：任务特定微调对结构化多语言抽取至关重要，微调带来的性能增益远超零样本推理；段落级重构构建了更贴近现实的评价场景，评论平均三元组数量达4.0至11.9个；结构化指令模板将格式错误率降至0.14%，验证了多策略融合的有效性；紧凑型多语言模型经微调后可超越未微调的大型专有模型。研究人员同时指出三项意外发现：GPT-5.4-mini零样本性能仅为24.43%，远低于微调后的mT5-base；其在俄语与土耳其语上的异常高表现可能与预训练语料特性相关；Gemma 2 9B IT的最优温度（0.8）高于常规结构化任务推荐值，推测与其logit软截断机制有关。实践层面，该研究证明开源LLM结合LoRA可在无专有API依赖下实现竞争性能，降低了资源受限组织的部署门槛。局限性包括数据集局限于餐厅领域、闭集方面类别限制灵活性、精确匹配协议对表面形式差异的过度惩罚，以及推理延迟对实时部署的制约。

研究结论表明，所提出的LoRA微调工作流成功突破了现有ABSA研究在句子级处理、单语设置与段落级框架缺失方面的限制，实现了六种语言下的高效TAS三元组抽取。该工作流通过数据集重构、指令模板设计与高效微调策略，为长文本、多语言场景下的细粒度情感分析提供了可复现的技术方案，其在实际决策支持系统中的落地验证，进一步证明了研究成果的产业应用价值。未来研究可拓展至零售、电商等多领域，探索开放域方面发现与推理优化技术，以提升系统的通用性与实时性。