《Scientific Reports》：A hybrid uncertainty-aware deep learning framework for reliable Malayalam fake news detection
编辑推荐：
针对马来语等低资源语言开展假新闻检测面临语言复杂性、语言资源有限及标注数据集匮乏等挑战。深度学习模型在文本分类任务中已显示出良好效果，但在实际部署中缺乏可靠性与可解释性。近期已有研究借助可解释人工智能（XAI）解读模型预测，但在不确定预测条件下这些解释的可靠性
针对马来语等低资源语言开展假新闻检测面临语言复杂性、语言资源有限及标注数据集匮乏等挑战。深度学习模型在文本分类任务中已显示出良好效果，但在实际部署中缺乏可靠性与可解释性。近期已有研究借助可解释人工智能（XAI）解读模型预测，但在不确定预测条件下这些解释的可靠性尚未得到解决。本文提出一种面向马来语假新闻检测的不确定性感知框架，采用多种深度学习架构，包括双向长短期记忆网络（BiLSTM）、卷积神经网络-长短期记忆网络（CNN-LSTM）、双向门控循环单元（BiGRU）、CNN-GRU及CNN-BiLSTM。研究采用四种不确定性估计技术——蒙特卡洛（MC）Dropout、深度集成学习、测试时增强（TTA）与证据深度学习（EDL），并与基线模型进行比较。除假新闻分类外，该框架通过熵、Kullback-Leibler（KL）散度、互信息、方差与空泛度（vacuity）等指标量化预测不确定性，从而识别不可靠预测。研究提出一种融合MC Dropout、深度集成学习与证据学习的混合不确定性框架，以联合捕获认知不确定性与偶然不确定性，同时提供互补的基于证据的不确定性估计。该混合框架取得96.51%的准确率、96.52%的精确率、96.51%的召回率与96.51%的F1分数。为评估所提混合模型结果的稳健性并应对随机初始化带来的变异性，研究额外开展了五随机种子实验。混合模型取得95.85 ± 0.18的准确率、95.85 ± 0.18%的精确率、95.85 ± 0.18%的召回率与95.85 ± 0.18%的F1分数，表明其在多次运行中性能稳定。此外，校准分析显示预测可靠性显著提升，在所有评估模型中取得最低的期望校准误差（ECE）0.0066、负对数似然（NLL）0.1014与Brier分数0.0546。五种子实验中，所提混合模型取得ECE（0.0067 ± 0.0023）、MCE（0.0955 ± 0.0494）、NLL（0.1229 ± 0.0027）与Brier分数（0.0659 ± 0.0007），均低于其他所有模型。尽管深度集成与MC Dropout + 集成模型取得略高的平均分类准确率，但所提混合模型在五种子实验中取得最低的ECE、MCE、NLL与Brier分数，表明其校准与概率预测质量更优。采用不确定性准确系数（UAC）、不确定性精确率比（UPR）、不确定性敏感度估计（USE）与不确定性特异度百分比（USP）等不确定性专用指标开展的附加评估，证实该框架在保持高分类性能的同时能有效识别不确定预测。实验评估表明，与基线架构相比，不确定性感知模型提供更好的校准与更高的可靠性，同时保持有竞争力的分类性能。结果表明，混合不确定性建模有效降低了过度自信，并通过区分高置信样本与不确定样本增强了可信度，凸显了在低资源语言假新闻检测中开展不确定性量化的重要性。
一、研究背景与问题提出
假新闻通过在线平台与社交媒体传播，已成为近年来的严峻问题，可能影响公众舆论并削弱人们对合法信息来源的信任。随着社交媒体平台在区域语言中的普及，该问题在更大范围内扩展，因此构建自动化假新闻检测系统在低资源语言中尤为重要。深度学习模型（如CNN、LSTM、BiLSTM、GRU及混合架构）在自动化假新闻检测中已展现较强能力，可从文本数据中学习复杂的语义、句法与上下文模式，FastText的引入也被证明能捕获丰富的词语语义关系。然而，现有深度学习模型虽在分类准确率上表现较高，但每条新闻仅给出单一预测，假定其预测在所有样本上同等可靠，未能量化决策置信度。假新闻数据集包含模糊且依赖上下文的信息，可能导致预测不确定，而低资源语言环境下由于训练数据有限与语言变异性，这种不确定性更为突出。
研究人员指出深度学习预测中的不确定性有两个来源：一是认知不确定性（epistemic uncertainty），源于训练数据有限与模型知识不足，在标注数据较少的低资源语言环境中通常较高；二是偶然不确定性（aleatoric uncertainty），源于输入数据中已存在的模糊性、虚假信息模式与语言变异性。传统深度学习模型忽略这些不确定性，即便在边界情形下也生成高置信预测，导致预测不可靠。因此，一个可信的假新闻检测系统应在给出预测的同时指示模型对决策的确信程度，使不确定预测可由人工复核，降低错误自动化决策的风险。现有研究的主要缺口包括：马来语假新闻检测研究有限；缺乏不确定性感知的假新闻检测模型；当前CNN、LSTM、GRU及混合模型给出确定性输出而不指示预测置信度；对模型可靠性与校准的评估不足，在马来语假新闻检测中尚无此类工作。
二、研究内容与结论
本研究将不同不确定性量化（UQ）技术引入基于深度学习的马来语假新闻检测，估计模型预测的可靠性并识别模型缺乏足够置信度的样本。研究采用MC Dropout、深度集成、TTA与EDL等多种不确定性量化方法，通过熵、KL散度、方差与互信息计算不确定性度量，比较不同不确定性量化组合与度量技术的结果，绘制热图与不确定性图以可视化不确定性预测，最终将UQ方法融入不同深度学习模型以构建不确定性感知框架并进行广泛评估。研究使用FastText表示评估BiLSTM、CNN-LSTM、BiGRU、CNN-GRU与CNN-BiLSTM的不确定性感知变体，并通过熵、互信息、KL散度、热图、方差、空泛度与ECE等多种度量分析不确定性，同时采用可靠性图与校准分析评估预测可信度。研究还提出一种融合MC Dropout、集成与证据方法的混合不确定性感知方法，并与单一不确定性感知方法在可靠性与可信度上进行比较，同时识别并分析高不确定性样本以理解具有挑战性的虚假信息模式。
主要结论为：所提混合框架取得96.51%的准确率、96.52%的精确率、96.51%的召回率与96.51%的F1分数；五种子实验中混合模型准确率、精确率、召回率与F1分数均为95.85 ± 0.18%，性能稳定。校准分析中混合模型取得最低ECE（0.0066）、NLL（0.1014）与Brier分数（0.0546）；五种子实验取得ECE（0.0067 ± 0.0023）、MCE（0.0955 ± 0.0494）、NLL（0.1229 ± 0.0027）与Brier分数（0.0659 ± 0.0007），均低于其他模型。尽管深度集成与MC Dropout + 集成模型取得略高的平均分类准确率，但混合模型在五种子实验中校准与概率预测质量更优。不确定性专用指标评估证实该框架在保持高分类性能的同时能有效识别不确定预测。实验表明不确定性感知模型较基线架构具有更好的校准与可靠性，混合不确定性建模有效降低过度自信并通过区分高置信与不确定样本增强可信度，凸显了不确定性量化在低资源语言假新闻检测中的重要性。
三、关键技术方法
研究使用Dravidian Fake News Data数据集，共8311篇文章，其中原始文章4398篇、虚假文章3913篇。数据预处理包括去除空白、标点与问号；采用FastText词嵌入将文本转换为稠密向量表示；构建BiLSTM、CNN-LSTM、BiGRU、CNN-GRU与CNN-BiLSTM等深度学习模型，其中CNN-BiLSTM以128个卷积核、核大小5、ReLU激活、双向LSTM每方向64单元、全局最大池化与0.4 dropout构成。不确定性量化采用MC Dropout（20次前向传播）、深度集成（M=5个独立训练的CNN-BiLSTM）、TTA（K=20个随机token掩码增强样本，掩码概率0.1）与EDL（Softplus激活证据层，Dirichlet参数αk=ek+1，不确定性U=K/S）。混合框架在每个集成成员内执行20次随机前向传播并平均预测分布。评估采用准确率、精确率、召回率、F1分数、UAC、UPR、USE、USP及ECE、MCE、NLL、Brier分数等指标，不确定性阈值设为τ=0.60。
四、研究结果
基线模型结果：在FastText词嵌入下，不同基线深度学习模型的分类性能被评估；引入MC Dropout后，Bi-LSTM表现最高，准确率、精确率、召回率与F1分数均为96.33%，显示其捕获双向上下文依赖并保持稳健不确定性估计的能力；CNN-BiLSTM的F1分数为96.27%；CNN-GRU性能显著下降，F1分数仅70.55%，表明MC Dropout的引入对该架构学习产生不利影响。EDL模型中，CNN-BiLSTM表现最佳，F1分数为95.31%；BiGRU与CNN-GRU表现具有竞争力，而BiLSTM较MC Dropout下降至93.78%，表明该模型未能充分利用BiLSTM捕获的长期依赖。EDL相较MC Dropout在分类准确率上有小幅牺牲，但换取了更可靠的置信度估计与更好的校准特性。
混合不确定性感知模型与其他不确定性感知模型的性能比较：基线CNN-BiLSTM的F1分数为96.09%；MC Dropout提升至96.27%；TTA仅有小幅提升（F1分数96.15%）；证据学习略低于基线（F1分数95.31%）；深度集成在单一不确定性感知模型中表现最佳，F1分数为96.51%；CNN-BiLSTM + MC Dropout + 深度集成取得95.97%的F1分数；深度集成 + 证据与MC Dropout + 证据配置分别取得95.79%与95.55%的F1分数，温度缩放取得94.95%。混合模型F1分数为96.51%，与深度集成相近，表明该框架成功融合了集成多样性、贝叶斯推断与基于证据的不确定性建模的优势。五种子实验中混合模型F1分数为95.85 ± 0.18%，深度集成与MC Dropout + 集成分别取得96.02 ± 0.21%与96.02 ± 0.17%。
不确定性质量指标分析：深度集成与混合模型的UAC最佳，均为96.51%，优于基线，证实不确定性估计未损害预测性能。TTA取得100%的UPR，表明所有被识别为不确定的样本确为错误预测，且未将任何正确预测标记为不确定；基线为83.33%，混合模型为62.96%。USE方面，基线CNN-BiLSTM最高，为72.46%；TTA在保持100% UPR的同时取得第二高的USE（58.82%）；证据模型USE为30.00%，混合模型为26.15%，优于MC Dropout（10.61%）与深度集成（11.67%）。所有模型USP均高于99%，混合模型为99.37%，表明不确定性估计未不必要地降低正确预测的置信度。五种子实验中，混合模型取得最高的USE（17.56% ± 4.25%），同时保持UAC为95.63% ± 0.17%与USP为99.01% ± 0.12%。
校准指标分析：混合模型取得最低NLL（0.1014），优于所有对比方法，表明其对正确预测赋予更高概率并避免在错误预测上过度自信；同时取得最低Brier分数（0.0546），优于深度集成（0.0586）与MC Dropout（0.0651）。混合模型取得最低ECE（0.0066），较基线降低81%；深度集成结合EDL取得最低MCE（0.050418），混合模型MCE略高（0.1065），但优于基线（0.3203）、MC Dropout（0.2160）与TTA（0.4494）。温度缩放基线的ECE为0.0324、MCE为0.0777、NLL为0.1232、Brier分数为0.0687，混合模型在ECE、Brier分数与NLL上更低，而温度缩放的MCE更低。五种子实验中混合模型取得最低ECE（0.0067 ± 0.0023）、MCE（0.0955 ± 0.0494）、NLL（0.1229 ± 0.0027）与Brier分数（0.0659 ± 0.0007）。
不确定性阈值敏感性分析：以τ=0.60为主实验预设工作阈值，并在0.50至0.80范围内开展敏感性分析。结果表明阈值升高会逐步增加被判定为不确定的预测比例，例如混合模型的不确定比例从τ=0.50时的0%增至τ=0.60时的1.32%及τ=0.80时的4.87%，相应UPR从τ=0.50时的0变为τ=0.60时的0.6818及τ=0.80时的0.6296，体现了保守识别不确定预测与保留确定预测数量之间的权衡。选择0.60作为工作阈值是因为其提供适度的置信要求并避免τ=0.50时无样本被识别为不确定的退化行为。
统计检验：采用McNemar检验基于留出测试集上的配对预测评估混合模型与各不确定性感知方法在分类决策上的差异。结果显示混合模型与基线CNN-BiLSTM（p=0.8506）、MC Dropout（p=1.0000）、深度集成（p=0.5714）及证据学习（p=0.5114）在0.05显著性水平下均无统计学显著差异，表明所提混合框架的特点在于其校准与不确定性估计特性，而非分类准确率的统计显著提升。
不确定性分解：五种子认知-偶然不确定性分解显示，确定性CNN-BiLSTM基线在互信息形式下认知不确定性为零，其预测熵完全由期望熵分量（0.016212）表示；引入MC Dropout的随机推断产生非零认知分量0.002358，深度集成产生更大的认知分量0.013417，为随机模型变异贡献于估计的认知不确定性提供了实验证据。
五、讨论与结论
研究将预测不确定性分解为偶然与认知分量：在随机模型推断下，预测熵可分解为偶然分量（随机模型实现上平均后的期望熵）与认知分量（预测与模型参数之间的互信息）。对混合框架而言，随机预测机制用于估计认知分量，预测熵分解提供偶然分量，证据不确定性作为由模型证据分量导出的主观不确定性度量另行报告，因此证据不确定性被视为对基于熵的偶然分量的补充而非同义。研究结论为：不确定性感知模型相较基线架构提供更好的校准与更高的可靠性，同时保持有竞争力的分类性能；混合不确定性建模有效降低过度自信，并通过区分高置信与不确定样本增强可信度，凸显了在低资源语言假新闻检测中开展不确定性量化的重要性。
