消费者投诉中的信息融合:一种基于大语言模型(LLM)的主题模型,用于提升产品质量

《INTERNATIONAL JOURNAL OF PRODUCTION ECONOMICS》:Information fusion in consumer complaints: A LLM-Guided topic model for product quality improvement

【字体: 大 中 小 】 时间:2026年05月05日 来源:INTERNATIONAL JOURNAL OF PRODUCTION ECONOMICS 10

编辑推荐:

  林燕|范成豪|刘肯宁|欧阳林涵|高峰圆 南京航空航天大学经济与管理学院,南京,211106,中国 摘要 电子商务平台上用户生成内容(UGC)的兴起为产品质量的提升提供了丰富且及时的信息。UGC中的用户评论和评分是分析消费者对产品和服务质量感知的关键来源。然而,消费者投诉中评论和

  林燕|范成豪|刘肯宁|欧阳林涵|高峰圆
南京航空航天大学经济与管理学院,南京,211106,中国

摘要
电子商务平台上用户生成内容(UGC)的兴起为产品质量的提升提供了丰富且及时的信息。UGC中的用户评论和评分是分析消费者对产品和服务质量感知的关键来源。然而,消费者投诉中评论和评分的信息融合尚未得到深入研究。此外,以有意义和可操作的方式解释主题模型输出仍然是一个重要的研究挑战。本文提出了基于大语言模型(LLM)的评分感知神经主题模型(LLM-Guided RANTM),这是一种在神经主题建模架构下融合在线评论和评分的新框架。该模型结合了自注意力机制来识别多根层次主题结构,并利用LLM来增强主题的连贯性和可解释性。通过对中国新能源汽车(NEV)市场的案例研究,证明了所提模型的有效性。与几种现有的基线模型相比,该模型在多个定量指标上显示出显著改进。消融实验进一步证实,该模型从信息融合和LLM的指导下获益。结合重要性-性能分析(IPA),这些结果为包括制造商、产品经理和服务设计师在内的利益相关者提供了有价值的产品改进和决策依据。

引言
随着全球电子商务的快速发展,近年来出现了大量的在线用户生成内容(UGC)(Kwark等人,2014年;Qin等人,2024a年)。UGC以多种形式呈现,帮助客户清晰地表达他们对产品的看法。在来自客户的众多数据源中,在线评论数据和评分特别突出,因为它们是由客户需求驱动的,并且通常与特定产品直接相关。这些丰富的数据源可以提供高保真的洞察力,以指导产品缺陷检测(Zheng等人,2020年;Abrahams等人,2015年)、客户需求识别(Timoshenko和Hauser,2019年;Yan等人,2025年)以及产品质量改进(Burnap等人,2023年;Ouyang等人,2025年)。在一些电子商务平台上,例如amazon.com和taobao.com,鼓励客户提供一般评分(例如1-5星)以及评论文本。这两种类型的数据提供了关于客户感知质量的互补视角:用户评分量化了潜在的情感极性,而包含特定主题或这些评分背后质量特征的评论文本(Ling等人,2014年)。例如,较低的评分隐含着在特定主题中出现负面在线评论的概率较高。因此,有效融合这些异构数据对于相互强化隐式主题结构至关重要,这对于提取全面的质量相关洞察力和推动产品重新设计非常重要。为了解决评论和评分的融合问题,许多研究开发了基于概率主题模型的联合建模框架。例如,(Li等人,2015年)提出了方面识别和评分(AIR)模型,以捕捉文本评论和总体评分之间的依赖关系。在Liang和Wang(2022年)提出的联合情感-主题-评分评论(JST-RMR)模型中,同时结合了评论和评分中的情感和主题信息。
尽管在实践中使用这两种类型的数据进行主题建模似乎表现良好,但仍存在一些关键的研究空白,这些空白阻碍了当前方法在质量管理中的实际应用。第一个问题是,现有方法主要依赖于传统的概率主题模型。这些模型通常依赖于近似推理方法,如变分推理或Gibbs采样,这些方法涉及复杂的数学推导,并且在大型数据集上的可扩展性有限(Liang和Wang,2022年)。最近,神经主题模型(NTMs)通过利用神经变分推理(NVI)通过深度神经网络来近似后验分布而受到关注,提供了更大的灵活性和表现力(Isonuma等人,2020年)。然而,在NTM架构中系统集成异构信息,特别是评分和文本的融合,仍然很大程度上未被探索。其次,当前的主题模型通常假设一个平坦的主题结构或简单的单根树结构。这样的假设忽略了消费者投诉的固有复杂性。在现实世界中,在线评论往往表现为多根层次结构,其中独立的高级领域演变为不同的细粒度子主题(Zhang等人,2022年)。这种结构必须是数据驱动的,而不是基于启发式预先定义的。如图1中的新能源汽车(NEV)领域所示,不同的投诉分支表现出不同的语义深度。这表明,现实世界中的层次主题结构更好地被描述为多根层次结构,而不是单根树。具体来说,一些分支具有多层语义粒度,而其他分支则较为浅层或在中间层面终止。这一限制需要一个能够自主发现潜在主题结构的框架。第三,尽管主题模型被广泛使用,但输出通常由通用或语义模糊的词分布组成,使得解释主题成为一个重大挑战。传统上,解释这些词分布需要手动 effort,这不可避免地引入了人类主观性和不一致性。大语言模型(LLMs)通过提供对文档的细粒度理解,提供了改进主题连贯性的机会。近年来,利用LLMs来增强主题建模已成为一个突出的研究趋势(Yang等人,2024年;Chang等人,2024年;Li等人,2024年;Ties,2025年;Rijcken等人,2023年)。Lin等人(2025年)也发现,ChatGPT作为LLMs的一个代表,最终还是回到了使用传统的主题建模。因此,在这项工作中,我们依赖于神经主题模型来探索质量问题,同时也利用LLMs来辅助分析。

鉴于上述研究空白,本研究旨在解决以下三个研究问题:
- RQ1:如何有效地在神经主题建模框架内融合在线评论和用户评分,以提取与质量相关的主题?
- RQ2:如何开发一个数据驱动的模型来揭示反映消费者投诉复杂组织结构的多根层次主题?
- RQ3:如何将学习到的层次主题转化为可解释和可操作的见解,以用于产品质量改进策略?

为了克服上述限制,本研究开发了一个分析框架,该框架整合了在线评论和用户评分,以支持结构化的投诉分析和产品质量改进。在这项研究中,我们开发了基于LLM的评分感知神经主题模型(LLM-Guided RANTM)。该框架旨在通过一个评分感知编码机制,将非结构化的评论文本与结构化的评分信号融合在一个神经变分推理架构中。此外,为了捕捉消费者投诉的复杂性,该模型采用自注意力机制自动发现多根层次主题结构,而LLM对齐模块将这些主题细化为可解释的、语义上有意义的标签。至关重要的是,提取的层次主题被整合到重要性-性能分析(IPA)框架中,该框架可视化了产品特征的具体优势和劣势,以指导制造商制定产品质量改进策略。本研究的主要贡献有三方面:
- 首先,这项研究提出了一种新的方法,联合利用评论文本和评分信息。我们的模型基于深度神经网络,从大规模用户生成内容中更全面地表示客户反馈,从而更全面地表示客户反馈。
- 其次,该研究展示了大语言模型(LLMs)的整合,以提高主题建模的可解释性。通过为潜在主题生成简洁且语义上有意义的描述,这种方法减少了传统关键词列表的模糊性,并显著提高了分析结果对管理决策的可用性。
- 第三,该研究揭示了消费者投诉的多根层次结构,并将这些发现与重要性-性能分析(IPA)相结合。这种组合为管理者提供了一个结构化的诊断工具,以指导有针对性的产品质量改进策略。

本文的其余部分组织如下。第2节回顾了关于主题模型和质量改进策略的相关工作。第3节详细介绍了提出的LLM-Guided RANTM框架。第4节基于中国主要电子商务平台的新能源汽车投诉进行了案例研究。最后,第5节提供了管理启示、结论和未来研究方向的讨论。

**主题建模**
主题建模已被广泛应用于通过将文本内容投影到低维语义空间来分析文档集合。在传统的主题模型中,潜在狄利克雷分配(LDA)是最著名的主题模型之一(Blei等人,2003年),它依赖于变分推理和Gibbs采样以及复杂的参数估计。此外,对于评分和评论文本的联合建模,大多数当前研究都集中在扩展模型架构上。

在这项工作中,我们提出了LLM-Guided RANTM,以有效融合异构用户生成内容,同时捕捉复杂的主题结构。基于NTM框架,特别是利用变分自动编码器(VAE)架构(Zhang等人,2022年),我们的模型通过逻辑编码器、主题注意力、解码器和LLM调整流来处理数据。如图3所示的框架,该架构包含四个功能模块。

**步骤1:编码器模块**

**研究背景和数据**
在本节中,我们选择了新能源汽车(NEVs)来展示所提模型的有效性。本研究中使用的数据来自AutoHome,这是中国最大和最有影响力的汽车网站之一,提供与汽车相关的全面信息、评论和服务。对于这个案例研究,我们专注于比亚迪(BYD)的前10款最畅销的NEV模型,该公司在中国NEV市场中占有重要份额。

**理论意义**
从理论上讲,这项研究为分析UGC建立了一个新的范式,并在三个重要方面丰富了质量管理和社会信息融合的文献。首先,这项研究通过阐明用户评分和文本评论如何共同形成消费者感知的连贯表示,丰富了异构信息融合在质量改进分析中的理论。它不是将评分和评论视为独立或冗余的信息源。

**结论和局限性**
在这项研究中,我们提出了一种通过信息融合来改进产品质量的新框架。我们的方法做出了以下贡献:首先,我们的方法联合整合了在线评论和评分,以捕捉更完整的主题,而不仅仅是关注一个方面。其次,利用自注意力机制来识别多根层次架构。第三,利用LLM来增强主题的连贯性和可解释性。

**作者贡献声明**
林燕:撰写 - 原始草案,软件,方法论,数据整理,概念化。
范成豪:撰写 - 评审与编辑,验证,数据整理。
刘肯宁:撰写 - 评审与编辑,监督。
欧阳林涵:撰写 - 评审与编辑,软件,资金获取。
高峰圆:撰写 - 评审与编辑,软件,资金获取。

**致谢**
本研究得到了中国国家自然科学基金(项目编号72471112)、江苏省自然科学基金(项目编号72401130)、山东省社会科学规划项目(项目编号25CGLJ08)以及江苏省研究生研究与实践创新计划(项目编号KYCX25_0648)的支持。

林燕目前是中国南京航空航天大学管理科学与工程系的博士生。她在中国南京航空航天大学获得管理科学与工程专业的硕士学位,并在中国苏州大学获得工业工程学士学位。她的研究兴趣包括过程建模和社会网络数据挖掘。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号