《Information》：An Improved Weighted Average Ensemble Method for Textual Sentiment Analysis with Transformer and FNet
编辑推荐：
为解决现有情感分析方法——特别是等权平均集成表现欠佳——的局限性，研究人员提出了一种用于文本情感分析的改进加权平均集成方法(Improved Weighted Average Ensemble Method)。该集成方法通过取最后十个训练轮次(Epoch 41
为解决现有情感分析方法——特别是等权平均集成表现欠佳——的局限性，研究人员提出了一种用于文本情感分析的改进加权平均集成方法(Improved Weighted Average Ensemble Method)。该集成方法通过取最后十个训练轮次(Epoch 41–50)验证集准确率的平均值确定基分类器权重，且权重经归一化处理以确保融合后的概率值落于[0,1]区间内。研究人员将Transformer与FNet作为基分类器进行融合，充分利用Transformer捕获全局语义的能力与FNet在序列处理上的高效性。在一组包含8000条与"文本数据相关专业(Data Science and Big Data Technology, Text Mining等)"就业前景相关的网络评论数据集上的实验结果表明，所提方法取得了AUC(Area Under the ROC Curve)为92.4%、准确率(Accuracy)为91.2%、F1-score为91.0%，且在CPU上推理速度达32样本/秒，在资源受限场景下于性能与效率间取得了良好折衷。
论文解读：一种融合Transformer与FNet的文本情感分析改进加权平均集成方法
研究背景与立项依据
近年来互联网普及使知乎(Zhihu)等平台产生大量关于本科专业就业前景的评论数据，但学生及家长缺乏专业知识筛选复杂噪声数据。自然语言处理(Natural Language Processing, NLP)中的文本情感分析可提取主观信息辅助决策。现有情感分析虽已探索BERT(Bidirectional Encoder Representations from Transformers)与大语言模型(Large Language Model, LLM)集成、强化学习特征构建及跨语言多模态方法，但在领域特定小样本场景下存在三方面局限：预训练语言模型与LLM需大量GPU资源，不适合仅CPU部署的实时应用；简单等权集成未利用基模型在验证集上的实际表现；高效Transformer变体如FNet(傅里叶网络，用快速傅里叶变换Fast Fourier Transform, FFT替代自注意力)未在领域小样本情感分析中和标准Transformer通过可学习集成策略系统结合。为此，研究人员提出一种基于验证集准确率确定权重的改进加权平均集成方法，融合Transformer编码器与FNet用于文本数据相关专业就业评论的情感二分类。该论文发表于期刊《Information》。
主要关键技术方法
研究人员采集并标注8000条中文在线评论(正类4500条、负类3500条)，源自百度知道、知乎、微博、搜狐，经结巴(jieba)分词、去标点表情停用词(HIT停用词表)、去近重(Jaccard相似度>0.85)、统一序列长度至32词元(token)、词表大小15000、嵌入维度128预处理后按分层采样8:1:1划分为训练/验证/测试集。基模型含：①标准Transformer编码器(3层、多头注意力头数2、隐层256、前馈层512、正弦位置编码Positional Encoding、全局平均池化、Softmax)；②FNet编码器(3层、FFT层+逐点线性层Point-wise Linear Layer、残差连接、同维度设置)。两模型独立训练50轮(Epoch)，批次32，Adam优化器学习率0.001，二元交叉熵损失，Dropout率0.2。集成权重取各模型第41–50轮验证集准确率均值作为原始权重，再归一化使其和为1(Transformer权重≈0.510，FNet≈0.490)，测试时对两模型输出的正向情感概率做凸组合(Convex Combination)，≥0.5判为正。实验重复5次随机种子(seed 42,123,456,789,1024)，CPU(Intel Core i7-8700)环境TensorFlow 2.0+Keras实现。
研究结果
3. Establishment of the Sentiment Analysis System(情感分析系统建立)
系统由数据预处理模块、Transformer与FNet基分类器及改进加权平均融合模块组成。预处理含分词、去噪、去重、定长截断与数值编码。Transformer依靠自注意力(Self-Attention)机制捕获序列全局依赖；FNet用FFT将输入序列变换至频域以建模位置间依赖，计算复杂度降至O(n log n)。融合阶段采用后训练(Post-training)无反向传播加权，确保融合概率为合法概率分布。
4. Experiments and Result Analysis(实验与结果分析)
4.1 数据集约78%评论词长≤32，选定序列长度32平衡精度与速度(FNet较Transformer推理快2–3倍，精度低约1.0–2.4个百分点)。基模型第41–50轮验证准确率均值Transformer为0.859、FNet为0.825，归一化权重分别为0.510与0.490。
4.2 五轮重复实验显示所提方法均值准确率91.2%±0.42%、精确率(Precision)91.3%±0.38%、宏平均F1(macro-F1)91.0%±0.21%、AUC 92.4%。较等权集成(准确率低约3.7个百分点、F1低0.2个百分点)与单一模型均有提升，配对t检验显示优于等权基线具统计显著性(p<0.001准确率与精确率，p<0.05 F1)。选取Epoch 41–50窗口算权重较其他窗口(31–50、46–50、全50轮)获最高集成准确率，表明后期稳定窗口更优。混淆矩阵显示正类召回(Recall)91.6%、负类90.6%，类别均衡性好。与经典方法比：朴素贝叶斯(Naive Bayes)最低(SVM、RNN、LSTM、Text-CNN依次改善但仍不及本方法)；BERT-base-chinese精度87.0%、AUC 88.2%，低于本方法。与轻量预训练语言模型(RoBERTa-wwm-ext-chinese、ALBERT-base-chinese)及量化微调大模型(ChatGLM3-6B、BELLE-7B-2M)相比，本方法AUC与准确率最高，CPU推理速度32样本/秒(接近量化LLM但无需GPU)，轻量PLM虽更快(95–110样本/秒)但指标偏低。ROC曲线下面积本方法最大(0.924)。
5. Comparative Analysis with State-of-the-Art Methods(与现有先进方法对比分析)
综合对比证实本方法在领域特定短文本情感分析、实时分析及资源受限(可纯CPU部署)场景具优势，兼顾语义捕获能力与处理效率，适合高校专业选择舆情分析。
6. Conclusions(结论讨论总结)
研究人员指出该方法通过取训练后期(第41–50轮)验证集准确率均值作归一化权重融合Transformer与FNet，在8000条领域评论上取得AUC 92.4%、准确率91.2%、F1-score 91.0%，超越单模型及等权集成基线，且在CPU上可部署。局限性含：概率融合未保证校准(Calibration)；窗口选择依验证集表现，但对窗口敏感度低；CPU测速受系统负载影响；约22%评论被截断；较等权集成的提升主要源于使用完全收敛基模型，归一化本身贡献约0.2个百分点；仅在单一领域数据集验证。未来拟拓展跨域多模态数据、引入知识蒸馏(Knowledge Distillation)与剪枝(Pruning)压缩模型、探索基于推理时表现的动态自适应加权(Adaptive Weighting)。研究表明改进加权平均集成为资源受限场景下领域文本情感分析提供了有效替代方案。
