一种基于关键词提取、聚类与情感分析融合的评论文本特征挖掘方法

《Applied System Innovation》：A Method for Comment Text Feature Mining via Integrated Keyword Extraction, Clustering, and Sentiment Analysis

　　

近年来，短视频平台迅速发展成为文化传播的重要媒介。网民在短视频评论区的互动不仅反映其对文化内容的关注焦点，也蕴含丰富的情感态度。然而，鉴于评论数据海量且碎片化，如何准确提取关键词(keyword extraction)、识别文化主题(topic identification)及分析情感倾向(sentiment tendency)，在理解网民文化感知方面面临重大挑战。为此，研究人员提出一种融合关键词提取、聚类分析(clustering analysis)与情感分析(sentiment analysis)的文本分析框架，以探究短视频评论区文化传播的核心话题与情感特征。首先，针对短文本关键词提取中统计信息与语义理解难以平衡的问题，本文提出TF-IDF-KeyBERT Integrated Algorithm（TKIA）关键词提取算法，将词频–逆文档频率(Term Frequency–Inverse Document Frequency, TF-IDF)与基于双向编码器表示来自Transformers的关键词抽取(Key Bidirectional Encoder Representations from Transformers, KeyBERT)相融合。在CSL数据集上的实验表明F1@5指标有所提升，显示其在短文本关键词提取性能上的潜力。其次，针对短文本聚类中语义表示能力与聚类灵活性兼顾难的问题，本文设计自监督对比增强聚类(Self-Supervised Contrastive Enhanced Clustering, SCEC)算法，将自监督对比学习(self-supervised contrastive learning)与软聚类(soft clustering)策略结合。相较于基线方法，SCEC在AGNews上聚类准确率(Accuracy, ACC)提升17.5%，在THUCNews上提升6.8%，表明其能更有效揭示文化主题的潜在结构。最后，针对短文本情感分析中有效利用文本结构信息与全局语义特征的问题，本文构建BERT-GCN Cross-Attention(BGC)模型，通过跨注意力(cross-attention)机制融合BERT嵌入与基于图卷积网络(Graph Convolutional Network, GCN)的结构特征。在My_weibo_senti_100k数据集上，BGC模型的Macro-F1提升2.45%、准确率(Accuracy, ACC)提升2.41%，证明其具备高精度用户情感建模能力。本研究为文化内容理解、个性化推荐及用户情绪引导等应用提供了有效的数据支持与技术路径。

论文解读：基于关键词提取、聚类与情感分析融合的评论文本特征挖掘方法——以短视频中国文化传播评论为例

该研究发表于《Applied System Innovation》。随着短视频平台快速发展，用户生成内容(User Generated Content, UGC)成为文化传播重要载体，而短视频评论区汇聚了用户对文化内容的反馈，具有高度浓缩的信息价值与丰富情感特征。然而，短视频评论具有篇幅短、口语化、语义结构不完整等特点，给文本挖掘带来多重挑战：传统基于统计的关键词提取方法如TF-IDF难以捕捉语义关联；基于语义嵌入的方法如KeyBERT忽略词频统计维度导致关键信息覆盖不足；短文本聚类存在语义表示弱、类别边界模糊问题，传统硬聚类无法反映文化主题动态演化特征；情感分析中有效整合文本结构信息与全局语义特征仍是开放难题。为系统挖掘短视频评论中关于中国文化的核心话题及情感特征，研究人员提出了一种融合关键词提取、文本聚类与情感分析的多模块短文本分析框架，并在公开数据集及抖音(Douyin)中国文化主题评论数据上验证其有效性，为文化内容创作者优化传播策略、文化决策者制定科学政策提供数据驱动依据。

关键技术方法方面，研究人员采集2024年1月至5月抖音平台以"中国文化"为关键词爬取的文化类短视频评论共16237条原始数据，经清洗、结巴分词(Jieba)、去停用词后保留6847条有效评论用于实证分析。研究中提出三个核心算法：(1) TKIA(TF-IDF-KeyBERT Integrated Algorithm)：对TF-IDF统计得分与KeyBERT语义相似度得分进行文档级归一化后加权融合，融合权重α经训练集Macro-F1@5寻优确定；(2) SCEC(Self-Supervised Contrastive Enhanced Clustering)：采用RoBERTa编码短文本与TKIA提取的关键词向量，经最大池化(Max Pooling)特征融合后，先用K-means生成伪标签，再通过带温度系数τ的自监督对比损失(contrastive loss)优化特征表示，结合基于相似度的软分配(soft assignment)迭代更新簇中心直至收敛；(3) BGC(BERT-GCN Cross-Attention)模型：构建含语句节点与关键词节点的异构图——语句–关键词边权重为TKIA得分，关键词–关键词边权重为正点对互信息(Positive Pointwise Mutual Information, PPMI)；GCN层对BERT初始节点嵌入做多层图卷积提取高阶语义；BERT输出作Query、GCN输出作Key和Value送入多头跨注意力(Cross-Attention)融合，再与BERT及GCN原始特征拼接后经全连接层与Softmax输出二分类情感概率，训练采用二元交叉熵损失(binary cross-entropy loss)。对照实验分别在CSL(关键词提取)、AGNews与THUCNews(聚类)、My_weibo_senti_100k(情感分析)数据集上进行，评估指标分别为F_1@5、准确率(Accuracy, ACC)与归一化互信息(Normalized Mutual Information, NMI)、Macro-F1及ACC。

研究结果如下：

TKIA关键词提取算法比较实验(4.3.1. TKIA Comparison Experiment)

研究人员在CSL数据集上将TKIA与TF-IDF、TextRank、HarvestText(TextRank/TF-IDF)、KeyBERT进行对比。经网格搜索确定语义相似度权重β=0.2(即α=0.8)时训练集Macro-F1@5最优，说明TF-IDF统计特征在关键词提取中起主导作用，KeyBERT语义相似度作辅助特征。在验证集上TKIA的Macro-F1@5达0.1593，高于单独TF-IDF(0.1553)，证明统计与语义加权融合可缓解短文本关键词稀疏与语义丢失问题。

SCEC算法比较实验(4.3.2. SCEC Algorithm Comparison Experiment)

研究人员在AGNews和THUCNews数据集上将SCEC与K-Means、DBSCAN、DeepCluster、Self-ensembling Clustering、Contrastive Clustering、DeepClustering++对比。SCEC在AGNews上ACC=0.47、NMI=0.051，ACC较DeepClustering++提升17.5%；在THUCNews上ACC=0.79、NMI=0.048，ACC较DeepClustering++提升6.8%。结果表明自监督对比学习与软聚类策略联合优化可增强短文本语义区分度与聚类柔性，尤其对中文短文本具一定适应性。

BGC模型比较实验(4.3.3. BGC Model Comparison Experiments)

研究人员在My_weibo_senti_100k数据集上将BGC与BiLSTM+Attention、TextGCN、BertGCN、BERT-Att-BiLSTM对比，采用10次重复随机子抽样验证(训练70%/验证20%/测试10%)。BGC模型取得最高ACC=0.8859、Macro-F1=0.8804且标准差较低，表明性能稳定。消融实验去除Cross-Attention模块后ACC降至0.8731、Macro-F1降至0.8617，证实跨注意力机制对融合BERT序列语义与GCN图结构特征具正向贡献。

实证应用(4.4. Practical Application Experiment of TKIA, SCEC Algorithm, and BGC Model)

经TKIA提取评论关键词后，SCEC对6847条高质量评论聚类，按轮廓系数(Silhouette Coefficient)最大值确定最佳簇数k=8，识别出八大文化主题——海外中国文物、中国制造、汉服国际化、中医、非物质文化遗产、中国哲学、国潮(China Chic)、汉字。BGC模型对各簇评论做正负情感二分类，结果显示"海外中国文物"与"汉服国际化"负面情感占比高于正面(前者涉及文物归属与保护争议，后者涉及文化适应性与纯粹性争论)，其余六主题正面情感占优。

讨论与结论翻译总结：研究人员得出结论，该框架的创新体现在三点：(1)TKIA融统计与语义信息，缓解短文本关键词提取稀疏性问题；(2)SCEC通过对比学习与软聚类提升主题聚类灵活性与语义区分度；(3)BGC模型利用异构图结构与跨注意力增强任务特定语义表示与情感极性关联建模。该框架为系统分析短视频评论中文化认知与情感倾向提供技术支撑。局限在于SCEC为探索性自监督软聚类框架需更多融合机制验证，未来将引入严格统计检验、扩大多平台数据源、采用更细粒度时间切片追踪主题演化、探索多分类方法及构建更大规模人工标注短视频评论语料验证算法。在此基础上，后续研究将把该方法拓展为稳健、可泛化、动态的社交媒体文化话语理解工具。