《Frontiers in Big Data》：Toward robust social media sentiment for SMEs: a comparative study of dictionary-based and machine learning approaches with insights for hybrid methodologies
编辑推荐：
中小企业（SMEs）日益依赖社交媒体与客户互动、推广产品并增强工作场所协作。客户通过 Facebook 和 Instagram 等平台发表的评论与帖子蕴含了宝贵洞见；然而，这些内容具有非正式性与情境特异性，且通常伴随俚语、拼写错误以及双语混用，这对自动化情感分
中小企业（SMEs）日益依赖社交媒体与客户互动、推广产品并增强工作场所协作。客户通过 Facebook 和 Instagram 等平台发表的评论与帖子蕴含了宝贵洞见；然而，这些内容具有非正式性与情境特异性，且通常伴随俚语、拼写错误以及双语混用，这对自动化情感分析构成了挑战。本研究针对这一空白，围绕中小企业社交媒体内容的情感分类，对基于词典的方法与机器学习方法进行了比较评估。研究数据来自多个行业的不同中小企业，从中提取了大量客户评论，并通过分词（tokenization）、规范化（normalization）、停用词去除（stop-word removal）和词干提取（stemming）进行预处理。研究人员构建了一个定制化词典，以适应本地语言变体；同时采用朴素贝叶斯（Na?ve Bayes, NB）和支持向量机（Support Vector Machine, SVM）作为监督式分类器。研究结果表明，基于词典的方法虽然简单且具有可解释性，但在处理非正式及本地化语言时准确率受限；相比之下，机器学习方法整体性能更高，但需要更大规模的预处理与参数调优。此外，研究强调了混合框架的潜力，即将词典模型的可解释性与机器学习分类器的适应性相结合。本研究在实践与理论两个层面作出贡献：（i）揭示了在本地化中小企业情境中直接套用通用情感分析工具的局限性；（ii）提出了一个面向中小企业的混合式情感分析框架；（iii）为资源受限环境下中小企业数字化转型战略提供了经验证据。最终，准确的情感分析能够帮助中小企业优化经营策略、强化客户互动，并在数字经济中实现可持续增长。
该文发表于《Frontiers in Big Data》，围绕文莱中小企业（SMEs）社交媒体文本的情感分析展开，重点比较基于词典的方法与机器学习方法在真实商业语境中的适用性，并进一步提出适合资源受限、语言混杂环境的混合式分析框架。研究背景在于，中小企业已成为全球 GDP 增长与就业吸纳的重要支柱，而在数字经济加速发展的条件下，Facebook、Instagram、TikTok 与 X 等社交媒体平台正在成为中小企业品牌传播、客户互动、市场反馈获取和客户关系管理的重要渠道。对中小企业而言，社交媒体具有进入门槛低、成本较低、传播效率高等优势，尤其适合 IT 基础设施与资金能力有限的小型企业。然而，用户生成内容（user-generated content）的迅速增加也带来了新的分析难题：客户评论往往是非结构化文本，包含俚语、缩写、拼写变体、双语混用、跨语码转换以及行业特定术语，导致传统情感分析工具在本地化和低资源语言场景中表现不佳。
在此背景下，研究指出当前主要存在三类问题。其一，通用情感分析词典大多基于英语构建，对文莱常见的马来语—英语混合表达覆盖不足。其二，人工分类尽管在语境判断上更灵活，但耗时耗力，难以扩展到大量评论数据。其三，自动化模型虽然具有效率优势，但若缺乏本地化词汇资源与适当训练，同样容易在讽刺、俚语、表情符号和行业化表达上出现误判。因此，开展本研究的必要性在于：为文莱中小企业建立更符合本地语言现实的情感分析路径，评估不同方法的性能边界，并提出兼具可解释性与适应性的可实施方案，以支持中小企业数字化决策。
研究人员围绕文莱 5 家不同行业的中小企业开展实证研究，数据来源于这些企业官方 Facebook 与 Instagram 页面上的帖子和评论。论文关注的问题包括：基于词典的自动分类方法与人工分类相比准确性如何；人工分类本身存在哪些潜在偏差；社交媒体评论中的俚语、误拼、离题讨论和行业术语如何影响分类效果；以及是否可以通过融合人工与自动方法形成更稳健的分析框架。研究结论表明，基于词典的方法在结构较清晰、语法相对规范的文本中能取得较好效果，并具有实现简单、可解释性强的优势，但在双语混杂、口语化和本地化表达丰富的社交媒体环境中，准确率明显下降。机器学习方法总体表现更优，尤其适合处理大规模数据，但依赖高质量预处理、训练数据和参数优化。综合来看，最具应用前景的是混合式框架，即以定制词典提升语义覆盖，以监督学习模型增强适应能力，再辅以人工校验或规则修正，从而更适合文莱中小企业的实际场景。这一结论的重要意义在于，它不仅补充了中小企业、本地语言环境与情感分析交叉领域的研究空白，也为资源受限经济体中的中小企业数字化转型提供了可参考的技术路径。
本研究主要采用以下关键技术方法：研究对象为文莱 5 家活跃于 Facebook 与 Instagram 的中小企业，覆盖食品制造与分销、瓶装水生产、低废弃与可重复使用零售、木工及可持续生活电商等领域。研究使用 Facepager 与 Instagram Comment Exporter 采集公开评论数据；在 RapidMiner 中完成分词（tokenization）、小写化、停用词去除、规范化、词干提取（stemming）等预处理；构建结合 SentiWordNet 3.0、马来语词汇与本地俚语的定制词典；采用朴素贝叶斯（NB）与支持向量机（SVM）进行监督式情感分类；最后以准确率、精确率（precision）、召回率（recall）和 F1 值（F1-score）及混淆矩阵开展性能评估与误差分析。
在研究结果部分，论文保留了若干小标题并逐步展示主要发现。
1 Introduction
引言部分指出，中小企业在全球经济中占据核心地位，而社交媒体已成为其开展营销、互动和创新的重要基础设施。研究人员认为，社交媒体文本情感分析能够帮助企业理解顾客态度，进而优化品牌传播和服务策略。但在文莱情境下，客户评论高度依赖混合语言、本地俚语和非正式拼写，导致现有工具难以直接适配，因此需要对不同情感分析方法开展系统比较。
1.1 Background of study
这一部分从社会媒体增长、情感分析概念及其在内容分析中的价值三个层面建立理论背景。论文指出，社交媒体已从简单沟通工具发展为营销生态系统，能够支持口碑传播、品牌倡导与影响者互动。与此同时，情感分析作为自然语言处理（NLP，自然语言处理）中的关键任务，涉及主观性识别、极性分类、意见源识别和观点摘要等内容。研究人员强调，对中小企业而言，借助情感分析从大量非结构化评论中提取可操作信息，有助于提升客户服务、改善产品并强化竞争力。
1.2 Problem and challenges
该部分明确界定研究问题。论文指出，尽管文莱社交媒体普及率高，中小企业也广泛使用社交媒体开展业务，但企业普遍缺乏从海量非结构化评论中提炼洞见的技术能力。人工情感分析不具备规模性，而通用自动化工具又无法充分处理本地语境中的俚语、误拼、行业术语及双语混用，因此容易损害分类精度。这构成了研究开展的现实动因。
1.3 Research objectives
本节提出四项研究目标：评估基于词典的情感分析工具相对于人工分类的准确性；识别人工分类中的潜在不准确性；分析影响自动工具表现的语言和语境特征；以及提出结合人工与自动方法的可行框架。围绕这些目标，论文进一步提出若干研究问题，核心均聚焦于文莱中小企业社交媒体评论的情感分类可行性与优化路径。
1.4 Significance of the study
研究意义部分表明，该文不仅为情感分析在文莱中小企业中的应用提供实证支持，也有助于企业通过监测客户态度理解品牌形象、产品质量与市场竞争态势。研究人员认为，提升情感分析精度有望促进服务优化、客户满意度提升以及更广泛的数字经济增长。
2 Literature review
文献综述系统梳理了情感分析研究的主要路径，包括基于词典的方法、机器学习方法和混合方法。研究人员指出，词典法的优势在于无需标注数据、可解释性较强，但词典构建耗时，且在混合语言、方言和行业术语场景中局限明显。机器学习方法如 NB、SVM 已在多种文本分类任务中取得良好效果，尤其适合高维稀疏文本，但其表现高度依赖训练数据质量与特征工程。文献综述特别强调，在德语、马来语等本地化或低资源语境中，现有工具常受制于语言资源不足，说明文莱中小企业场景具有明确研究空白。
2.6 Research framework
研究框架部分说明了论文的总体设计逻辑：以词典法和机器学习法为两条主线，借助本地化情感词汇表与监督式分类器，对中小企业社交媒体评论进行比较分析。研究特别说明选择 SVM 和 NB 的原因在于两者具有实现相对简单、计算资源需求较低、适合中小企业应用、并在文本分类中已被广泛验证的优点。相较于深度学习模型，这一选择更符合文莱中小企业在算力和技术支持方面的实际条件。
3 Research methodology
方法学部分详细说明了数据采集、预处理、分类和评估流程。研究从 5 家文莱中小企业的 Facebook 与 Instagram 公开页面收集数据，初始提取的评论总量为 5,389 条。之后通过筛除无关帖子、广告与非马来语/英语文本，最终保留 300 条帖子及 3,721 条评论用于分析。预处理流程包括分词、规范化、停用词去除、词干提取，以及对标点、URL、表情符号和数字的清理或标准化。为应对文莱社交媒体中常见的混合语码、俚语和拼写变体，研究人员构建并迭代更新了本地化词典。分类阶段同时采用基于词典的情感判定和监督式机器学习模型，并通过精确率、召回率与 F1 值进行评估，同时利用混淆矩阵识别误分类来源。
4 Key finding
关键发现部分首先说明，参与研究的 5 家企业分别来自食品制造与分销、瓶装水、低废弃零售、木工和可持续生活电商等行业。由于隐私考虑，论文对企业名称进行了匿名化处理。这种跨行业设计增强了语料的多样性，也使研究更能反映文莱中小企业社交媒体语言表达的异质性。
4.1 Data sets
数据集部分显示，每家企业均提取了 100 条最新帖子及其评论，评论数量差异显著。其中 Company A 和 Company D 的评论量最高。经预处理后，每家企业保留 60 条帖子，总评论量为 3,721 条。研究人员据此指出，原始社交媒体数据中存在相当比例的无关内容和噪声，预处理是保证后续分类可靠性的关键步骤。
4.2 Exploratory stages
在探索阶段，研究将文本挖掘（text mining）与预处理作为核心环节。论文指出，社交媒体文本结构短小、表达跳跃、充满表情符号和口语特征，不能直接套用传统文本分析流程。通过 RapidMiner 的一系列操作，研究实现了对文本噪声的规整，并通过自建词典保留本地语义特征。研究人员特别强调，预处理并非单纯清洗，而是为后续情感判定保留文化和行业语境中的关键线索。
4.2.3 Classifications
在分类部分，论文以 SentiWordNet 3.0 为基础，加入马来语词典和本地社交媒体表达构建词典法体系，同时采用 NB 与 SVM 开展自动分类。研究显示，词典法依赖正负词频及极性标注，适用于透明、规则性较强的判定场景；而机器学习法则基于训练数据学习词语与情感标签之间的关系，更能适应复杂文本模式。
4.2.4 Evaluation
评估部分采用精确率、召回率和 F1 值衡量分类性能，并以人工标注结果作为现实参照。研究指出，只有将自动分类输出与人工判断进行对照，才能更准确识别误判模式，从而评价不同方法在真实商业语境中的适用性。
5 Data analysis and discussion
结果显示，5 家企业的基于词典方法 F1 值存在明显差异。Company A 的平均 F1 值最高，为 0.89；Company E 最低，为 0.60；Company B、Company C、Company D 分别约为 0.76、0.77 和 0.63。研究人员据此认为，词典法在语言较规范、行业受众较集中、表达清晰的文本中效果更好。Company A 之所以取得最高分，原因在于其文本更规整、语言更精确，且较多面向商业客户。相反，Company E 的评论中存在大量离题讨论，自动方法逐词判读却无法充分理解整体语境，导致正负极性划分不稳定。
在具体误差来源上，研究结果表明，行业俚语、反讽、双语切换、表情符号和误拼是影响准确率的主要因素。论文举例说明，一些评论虽在人工标注中被视为中性，但自动方法因词项极性而将其归为正面或负面。另一些与木工或特定行业相关的表达，在领域内具有积极含义，但通用词典无法识别其语义倾向。误拼同样造成明显影响，如马来语口语缩写或变体无法被标准词典匹配，从而降低识别率。混淆矩阵分析进一步表明，假阴性（false negative）在带有本地混合表达和非正式缩写的评论中尤为突出，模型容易把负面或讽刺性文本误归为中性或正面。
论文还指出，正面情感通常比负面情感更易识别。聚合结果中，正向文本的平均表现普遍高于负向文本，而负向评论更常以客观措辞、行业术语或隐含方式表达不满，因此更难通过简单极性词进行捕捉。研究人员据此强调，若仅依赖现成词典或未经本地化调整的自动模型，将难以充分解释文莱社交媒体中的真实客户态度。
5.2 Summary of data analysis
数据分析总结部分进一步凝练出核心发现：情感分析能够为文莱中小企业提供可操作的客户态度信息，正向情感可反映客户满意度与品牌管理成效，负向情感则提示服务、产品或体验中的薄弱环节。与此同时，不同企业之间的分类精度差异说明，文莱社交媒体中的语言生态具有高度复杂性，必须通过词典扩展、本地语言适配和模型调优才能获得可靠结果。论文在这一部分持续强调混合框架的必要性，即让词典承担可解释词汇匹配功能，让机器学习处理复杂模式，再结合人工校验应对讽刺、离题和行业特定表达。
6 Conclusions
结论部分指出，本研究对文莱 5 家中小企业的 Facebook 与 Instagram 帖子和评论实施了自动情感分析，完成了数据提取、预处理和分类比较。研究结论表明，自动情感分析在中小企业社交媒体监测中具有较高应用价值，但若要获得更可靠结果，必须依据企业自身语言环境及客户表达方式对词典和模型进行定制。情感分析能够自动识别顾客当前态度，尤其适合缺乏人力与时间持续监测社交媒体的中小企业。企业可据此发现客户关注点、识别问题并改进服务。论文同时指出，社交媒体文本特征如何影响词典法准确率仍需进一步研究，而本研究通过聚焦文莱中小企业，揭示了本地化词典、俚语识别和反讽识别的重要性，为后续算法优化提供了经验基础。
对研究结论部分的翻译如下：
本研究针对文莱 5 家中小企业（SMEs）的社交媒体帖子与评论开展了自动化情感分析。借助 Facepager 与 Chrome 扩展程序，研究完成了企业 Instagram 和 Facebook 页面内容的提取、预处理与分类。结果表明，该流程实现了较高的准确性。然而，若要获得更精确的结果，就必须依据企业内部以及客户实际使用的语言，对词典进行定制化调整。情感分析能够自动判定客户的当前态度，这对于通常缺乏足够人力和时间持续监测社交媒体渠道的中小企业尤为重要。基于消费者情感数据，企业可以发起针对性措施，以回应问题并改进服务。本研究结果对未来研究具有参考价值，因为其揭示了客户表达限制对中小企业社交媒体帖文的影响。关于社交媒体文本特殊性如何影响基于词典方法的准确性，当前认识仍然有限。由于聚焦文莱达鲁萨兰国的中小企业，本研究有助于填补既有知识空白，并揭示相关不足。后续研究可利用这些结果，更有针对性地调整方法以适应中小企业的个体化需求，其中包括词典个性化。由此，相关发现还可为改进俚语与反讽识别能力的算法开发提供输入，例如借助领域特异性知识实现优化。此外，人工提取、抓取与分析客户评论所需的大量时间，也进一步说明亟须能够及时完成相关任务的自主聚类解决方案。
