基于微调大语言模型（LLM）的生成式方面情感三元组抽取方法（KAZ-LLM-ABSA）

《Informatics》：A Generative Aspect Sentiment Triplet Extraction Approach Using Fine-Tuned LLMs

　　

摘要 酒店业中关于顾客满意度的细粒度分析要求超越文档级情感分类，需要从多语言用户生成内容中结构化地抽取针对特定属性的评价。然而，现有方法尚未解决中亚酒店市场在方法论上的这一空白。本研究提出了KAZ-LLM-ABSA，一个应用于哈萨克斯坦三语（哈萨克语、英语和俄语）酒店评论的方面情感三元组抽取（Aspect Sentiment Triplet Extraction, ASTE）生成式框架。该框架通过QLoRA在包含1726个专家标注三元组的专用黄金标准数据集上对Qwen2.5-7B-Instruct进行微调，将ASTE形式化为端到端的序列到序列（sequence-to-sequence）任务，以消除流水线架构固有的错误传播。研究以六个基线模型为基准，涵盖判别式编码器模型（mBERT-base、XLM-RoBERTa-base、BERT-SPC、LCF-BERT、RoBERTa-large）和生成式序列到序列模型（GAS-mT5-base）。KAZ-LLM-ABSA在报告的指标上优于现有模型，在哈萨克斯坦三语酒店评论语料上展现出卓越性能。这些发现证实了微调大语言模型（LLM）向低资源多语言酒店数据的可迁移性，并为从业者提供了面向方面级服务质量诊断的结构化工具。

论文解读

一、研究背景与问题

旅游业是哈萨克斯坦共和国社会经济发展的优先领域之一。根据哈萨克斯坦共和国政府2023年3月28日第262号决议批准的《2023-2029年旅游业发展构想》，旅游业对国家经济具有重要贡献。2023年旅游业总增加值达32823亿坚戈。酒店业在旅游业结构中占据核心地位，外国游客登记住宿人数从2021年的32.97万人增至2024年的120万人，2025年底达140万人。2024年住宿服务总价值达2998亿坚戈。在世界经济论坛《2024年全球旅行与旅游发展指数》中，哈萨克斯坦在119个国家中排名第52位，较2019年的第80位显著上升。

数字化的推进催生了复杂的在线平台生态系统，聚合关于酒店服务的用户生成内容。Booking.com是评论的关键来源之一，截至2024年提供约340万家住宿的预订服务，覆盖220多个国家和地区、40多种语言，累计超过3.7亿条经过验证的真实住客评论。TripAdvisor同样重要，截至2023年12月31日拥有超过10亿条用户评分和评论。研究表明，79%的旅行者在预订酒店前会阅读6至12条评论，96%的消费者在规划旅行时依赖在线评论。Booking.com因封闭式作者验证系统成为酒店业最具影响力的电子口碑（eWOM）来源之一。

然而，从海量文本中提取管理洞见需要从粗粒度情感分类转向细粒度分析，将具体评价判断与酒店服务的具体属性关联起来。方面情感三元组抽取（ASTE）任务涉及从句子中联合抽取三个相互关联的元素：方面词、观点词和相应情感极性。早期方法依赖流水线架构和联合序列标注方案，导致匹配阶段错误累积。生成式范式将ASTE形式化为序列到序列任务，大语言模型（LLM）的应用开辟了新可能。但通用LLM在零样本和少样本设置下解决复合任务的效果参差不齐，而领域特定微调能显著提高三元组抽取准确性。尽管生成式ASTE方法在英语参考语料上发展迅速，但其在俄语和中亚酒店评论领域语料上的应用几乎未被探索。哈萨克斯坦现有研究仅聚焦整体情感倾向，不涉及细粒度"方面-观点-情感"三元组抽取，这构成了本研究的核心空白。

二、研究内容与主要结论

本研究旨在通过基于微调大语言模型的生成式方面情感三元组抽取方法，评估哈萨克斯坦酒店业的顾客满意度。研究构建了KAZ-LLM-ABSA框架，通过QLoRA对Qwen2.5-7B-Instruct进行参数高效微调，在专家标注的黄金标准语料上实现端到端的三元组生成。研究结果表明，KAZ-LLM-ABSA在所有评估指标上均优于六个基线模型，F₁分数达0.869，验证了生成式端到端推理对级联流水线架构的优越性、解码器架构规模和多语言预训练质量的独立贡献，以及微调方法向低资源领域语料的可迁移性。

三、关键技术方法

研究人员构建了来自Booking.com平台的哈萨克斯坦酒店评论语料，原始数据集包含100015条评论，覆盖阿拉木图（45736条，54家酒店）、阿斯塔纳（32640条，43家酒店）和奇姆肯特（21639条，52家酒店），时间跨度为2022年11月至2026年2月。经过预处理后，最终工作语料为39612条评论。研究人员采用fastText语言识别模型进行句子级语言分类，置信度阈值为0.85，并结合人工标注验证。研究构建了黄金标准数据集，包含1726个专家标注三元组，经MinHash局部敏感哈希（LSH）去重后为1672个三元组。主要技术方法包括：QLoRA（量化低秩适配）参数高效微调、序列到序列生成式任务形式化、线性化模板设计（[BOS]/[EOS]标记和分号分隔符）、双模式方面输出约定（显式方面输出原文连续跨度，隐式方面输出[IMPL]前缀本体标签）、上下文无关语法（CFG）后处理解析器、酒店分组分层划分策略、5折交叉验证与多阶段评估协议。

四、研究结果

4.1 基线模型比较

在编码器流水线架构中，mBERT-base表现最差（F₁=0.712），归因于其预训练语料规模较小。XLM-RoBERTa-base取得可测量的改进（F₁=0.755），得益于更大的预训练语料（2.5 TB Common Crawl）和排除NSP任务。BERT-SPC处于中间位置（F₁=0.730）。LCF-BERT展现出最不平衡的错误特征：基线模型中最高精确率（0.795）与极低召回率（0.588）相结合，F₁分数为组内最差（0.676），表明针对英语分析性语言优化的SRD机制在俄语自由语序文本中系统性遗漏远距离方面-情感关系。RoBERTa-large在流水线架构中表现最佳（F₁=0.770），但相对提升有限，表明判别式范式内规模扩展的收益递减。生成式GAS-mT5-base实现质的飞跃，F₁达0.807，精确率（0.825）和召回率（0.790）同时优于全部五个编码器模型，确认了生成式端到端推理的结构性优势。预言机条件（RoBERTa-large + 黄金跨度，F₁=0.830）将性能差距分解为跨度抽取组件（ΔF₁=+6.0）和分类组件（ΔF₁=+3.9）。

4.2 KAZ-LLM-ABSA性能

KAZ-LLM-ABSA在测试集上取得句子级精确集准确率0.885、精确率0.897、召回率0.843、F₁分数0.869，全面超越所有基线模型。与最强基线GAS-mT5-base相比，F₁提升6.2个百分点。统计显著性检验（配对自助重采样，10000次重采样）确认p < 0.001，95%置信区间为[0.858, 0.880]。城市级留一交叉验证（LOCO）平均F₁为0.847 ± 0.007，时间划分结果为0.843，表明模型对地理领域变化和时间漂移具有鲁棒性。

4.3 分语言与分方面类别表现

哈萨克语段F₁为0.840，俄语段为0.858，英语段最高为0.877。哈萨克语表现较低归因于其粘着语形态特征和口语化评价词汇。方面类别方面，"位置"（F₁=0.895）和"服务/员工"（F₁=0.897）得分最高，"价格"类别得分最低（F₁=0.823），因价格评价常通过间接比较或语用含义表达。隐式方面三元组类别匹配F₁为0.829，低于显式方面跨度匹配F₁的0.879。

4.4 代码切换错误分析

研究识别出52条哈萨克语-俄语语码转换句子（占210条测试句的24.8%），产生38个错误三元组预测，确认语码转换构成不成比例的错误来源。错误分为三类：哈萨克语俚语形式评价词遗漏（42%）、混合句法结构中的方面对齐错误（35%）、双语否定结构中的情感反转错误（23%）。

五、讨论与结论

讨论部分明确指出，编码器基线模型被整合到相同的两阶段流水线ASTE方案中，使用共享的mBERT-CRF跨度抽取器和各自的ABSC分类器，在相同测试分区和相同严格精确匹配标准下评估，确保方法学上的公平比较。研究还探讨了LCF-BERT的不平衡错误特征的理论分析，指出面向分析性语言优化的架构迁移到粘着语或屈折语数据需要经验验证。隐式方面三元组的较低召回率主要源于类别错误分配和观点跨度边界错误，未来研究拟采用约束trie解码和采样重排序技术。研究提供了计算成本估算：单次微调约4.2 GPU小时（约13-19美元），推理吞吐量约每分钟26句。

研究结论：本研究是科学文献中首次将生成式方面情感三元组抽取系统应用于哈萨克斯坦Booking.com平台多语种验证酒店评论语料。KAZ-LLM-ABSA架构通过QLoRA参数高效微调实现，在三个架构类别的六个基线模型上展现持续优势。研究验证了三个方法论命题：端到端生成式推理对级联流水线架构的优越性；解码器架构规模和多语言预训练质量的独立贡献；微调方法向低资源领域语料的可迁移性。实践层面，该框架为哈萨克斯坦酒店业提供了细粒度顾客满意度分析工具，可将具体评价判断与可操作化的服务属性关联。未来研究方向包括从句子级抽取转向主题级聚合和跨语言主题关联分析、扩展黄金标准语料至每语言至少200个三元组、领域特定词典规范化和持续预训练，以及量化部署和实时评论监控仪表盘的可行性评估。