从UGC到品牌产品改进：跨社交媒体平台挖掘消费者创新洞察

《Journal of Theoretical and Applied Electronic Commerce Research》：From UGC to Brand Product Improvement: Mining Consumer Innovation Insights Across Social Media Platforms Jiacheng Wang and Qiang Wu

　　

在电子商务时代，消费者的创新洞察对于品牌改进产品并满足消费者潜在需求至关重要。尽管用户生成内容（UGC）平台积累了海量消费者声音，但品牌常面临“数据丰富但洞察稀缺”的困境：有价值的消费者创新洞察不仅稀缺，而且表达隐晦。传统方法难以可靠地识别此类洞察。因此，本研究首次引入大语言模型（LLM）增强的孪生网络框架（Siamese framework），旨在提升多平台UGC中消费者创新洞察的识别与泛化能力。基于四个中文社交媒体平台和一个包含133,538条评论的数据集，研究人员进行了三项实验，并在五种模型配置下进行了系统比较。结果表明，研究人员的方法在大多数实验设置中显著优于传统基准和强基线，同时在跨平台测试中保持稳定的竞争力。最后，研究人员展示了如何将识别出的创新洞察转化为用于产品规划的结构化输出，从而促进消费者洞察融入品牌创新过程。

**研究背景与问题**
在电子商务时代，品牌竞争优势日益依赖以消费者为中心的开放式创新生态。消费者通过社交媒体用户生成内容（UGC）平台分享体验、提出改进建议，成为价值共创者。然而，UGC平台虽积累了海量消费者声音，但品牌面临“数据丰富但洞察稀缺”的困境：真正有价值的消费者创新洞察极其稀缺（本研究数据中仅占0.51%），且表达隐含，远非普通投诉或情感表达。传统方法（如情感分析、主题建模）难以可靠识别此类高价值但稀疏的洞察。为此，研究人员提出大语言模型（LLM）增强的孪生网络框架，旨在多平台UGC中稳定识别隐含的创新洞察，并验证跨平台泛化能力。论文发表在《Journal of Theoretical and Applied Electronic Commerce Research》。

**主要关键技术方法**
研究人员采用以下关键技术：1）使用大语言模型（LLM）DeepSeek V3对少量创新评论进行意图保持的生成改写，增加少数类表达多样性并缓解信息粘性导致的表达模糊；2）基于RoBERTa-wwm-ext的孪生网络（Siamese Network）进行语义一致性学习，通过共享参数编码原始评论与改写评论，强化模型对创新意图共性语义的关注；3）采用Focal Loss处理极端类别不平衡，并应用随机权重平均（SWA）增强泛化。样本来源：来自中国四个社交媒体平台（小红书、抖音、Bilibili、微博）的133,538条人工标注评论（关于小米HyperOS）。

**研究结果**
**4.1 评估指标与实验设计**
采用精确率、召回率、F1分数和精确率-召回率曲线下面积（PR-AUC）作为核心指标，避免在极端不平衡下准确率的误导。设计三种实验场景：场景I（混合数据训练与测试）、场景II（单平台分别训练与测试）、场景III（留一平台跨域验证）。

**4.2 聚合数据集分析**
在混合数据场景下，传统基准模型（逻辑回归、LSTM）表现有限（F1分别为0.5320、0.6860）。基于预训练语言模型RoBERTa的模型3显著提升（F1=0.8205）。模型4（加入孪生网络）进一步改善精确率（0.9000）。模型5（LLM增强孪生框架）达到最佳整体性能（F1=0.8654，PR-AUC=0.9291），召回率提升至0.8824，比模型3多识别约9.8%的高价值洞察。

**4.3 单平台分析**
各平台单独测试中，模型5在碎片化、生活化平台（小红书、抖音）表现领先（小红书F1=0.679，PR-AUC=0.749；抖音PR-AUC=0.812）。在微博、Bilibili上，模型5与模型3各有优势，但整体LLM增强孪生框架在平衡召回与精确率方面更具优势。所有模型在微博上表现最佳（因正样本较多），且数据越稀疏，传统方法劣势越明显。

**4.4 留一平台分析**
跨平台泛化测试中，传统模型（模型1、2）性能严重下降（如小红书F1仅0.404、0.529）。模型4（仅孪生网络）通常弱于模型3和模型5。模型5在目标平台有历史数据时表现最佳，但Bilibili上模型3略优（F1=0.827 vs 0.762），提示LLM生成样本可能引入源平台语义偏差。

**5.1 揭示潜在创新主题**
基于手动标注的680条创新评论，使用模型5编码器提取语义向量，经K-means聚类和t-SNE可视化，形成五个主题：跨设备生态与创造力、系统性能与流畅性、通知管理与控制、视觉界面与美学、场景智能与自动化。这些主题构成需求结构框架，可辅助资源规划。

**5.2 创新优先级排序：价值-紧迫性矩阵**
进一步将创新评论细分为二级主题，由三位行业专家从战略价值和发展紧迫性两个维度打分，构建价值-紧迫性矩阵。高价值-高紧迫性区域包括服务连续性、智能信息捕获、AI创意工具等；低优先级项包括锁屏功能、控制中心布局等。该矩阵将分散的洞察转化为可比较的规划输入。

**讨论总结**
学术启示方面：本研究将UGC洞察从“观察消费者如何评价”推进到“观察消费者期望什么创新”，填补了现有方法在识别稀缺隐含创新洞察上的空白。通过LLM生成改写与孪生网络语义一致性学习的结合，缓解了信息粘性导致的表达模糊，提升了跨平台识别稳定性。管理启示方面：为品牌提供可扩展的技术路径，通过语义聚类和价值-紧迫性矩阵将创新洞察转化为结构化规划输入，并支持跨平台信号整合，减少信息孤岛和渠道偏差。

**研究结论翻译**
为应对从海量UGC中识别极其稀缺但高价值的消费者创新洞察的挑战，本研究提出一个大语言模型增强的孪生网络框架。通过结合LLM的文本生成优势与基于BERT架构的分类能力，该方法有效克服了传统机器学习和深度学习模型在捕捉细微语义和极端类别不平衡上的局限。跨多个UGC数据集和实验场景的实证结果表明，该方法显著优于基准模型，能以高精确率召回更多创新想法。总之，本研究将生成式人工智能与文本分类相结合，使品牌能够从社交媒体用户生成内容中捕获有价值的创新洞察，并利用这些洞察改进产品和服务，从而更好地满足消费者需求。