《Knowledge-Based Systems》:An Evaluation of XAI Methods applied toInformation Disorder Detection Models
编辑推荐:
摘要:信息失序(information disorder,含误信息misinformation、虚假信息disinformation及恶意信息malinformation)在社会层面引发严重后果,因其特征复杂互联而难以识别。基于BERT(Bidirection
摘要:信息失序(information disorder,含误信息misinformation、虚假信息disinformation及恶意信息malinformation)在社会层面引发严重后果,因其特征复杂互联而难以识别。基于BERT(Bidirectional Encoder Representations from Transformers)的深度学习架构虽在信息失序检测(Information Disorder Detection, IDD)中表现良好,但可能存在微调数据或内部机制带来的偏差。可解释人工智能(Explainable Artificial Intelligence, XAI)有助于深入理解此类分类器。研究人员做出三项贡献:(i)针对较长新闻文章(现有研究关注较少)的信息失序分类与可解释性提供见解;(ii)将SHAP(SHapley Additive exPlanations)、LIME(Local Interpretable Model-Agnostic Explanations)及Vanilla Gradients应用于基于RoBERTa的IDD检测模型及含己见与未见数据的领域专用数据集;(iii)使用多重定量评估类别与指标对三种XAI方法进行评价,分析的类别包括正确性(Correctness)、完备性(Completeness)、一致性(Consistency)、连续性(Continuity)与对比性(Contrastivity)。该评估揭示了源于数据集的潜在偏差,并评估了SHAP、LIME和Vanilla Gradients用于解释黑盒模型的适用性与有效性。
论文解读:应用于信息失序检测模型的XAI方法评估研究
一、研究背景与动机
信息失序(information disorder,含misinformation、disinformation及malinformation)对社会具有严重危害,其复杂特征使检测困难。基于BERT(Bidirectional Encoder Representations from Transformers)的深度学习模型在信息失序检测(Information Disorder Detection, IDD)中效果较好,但属黑盒模型且易受数据偏差影响,缺乏透明度。可解释人工智能(Explainable Artificial Intelligence, XAI)可帮助理解模型决策并发现偏差。现有XAI评估缺乏统一框架,且针对长文本(完整新闻文章)IDD任务的XAI方法系统性定量评估研究不足。为此,研究人员以RoBERTa基IDD模型为对象,对SHAP(SHapley Additive exPlanations)、LIME(Local Interpretable Model-Agnostic Explanations)及Vanilla Gradients三种模型无关(model-agnostic)XAI方法在长文本IDD场景下的表现进行定量评估。本文发表于《Knowledge-Based Systems》。
二、关键技术方法
研究人员选用四个数据集:ISOT(真假政治/世界新闻,44,898篇)、EUvsDISINFO(仅假欧盟政治新闻,9,965篇)、ENR-EUvsDISINFO-Mix(平衡混合欧真实与假新闻,1,020篇)及EMNAD-EUvsDISINFO-Mix(大规模平衡混合,19,930篇)。使用两个微调RoBERTabase模型——jy46604790(ISOT微调)与winterForestStump(ISOT+EUvsDISINFO微调),受512 token输入限制。对每模型-数据集组合各取500样本,分别用SHAP(Tree Explainer)、LIME(num_samples=40,num_features=1000,单GPU运行)及Vanilla Gradients(基于预测对输入的梯度绝对值)生成解释。为公平比较,LIME未赋权特征补零。按五类定量评估范畴测评:正确性(Correctness,模型随机化检验Model Randomization Test与增量删除/添加Incremental Deletion/Addition测log-odds与AOPC)、完备性(Completeness,保存与删除检验Preservation and Deletion Checks测acc-reduced与label flip)、连续性(Continuity,微扰稳定性Saved Stability for Slight Variations与保真度Fidelity for Slight Variations测局部Lipschitz常数LLCs及准确率/召回率/精确率/F1)、一致性(Consistency,重复相似性Reiteration Similarity与Jaccard相似度)、对比性(Contrastivity,KL散度KL Divergence与目标敏感性Target Sensitivity测LLCs及模型随机化检验)。
三、研究结果
5.1. Correctness(正确性)
模型随机化检验显示SHAP和Vanilla Gradients与随机模型解释相关性极低(|ρ|<0.2),通过 sanity check;LIME在ISOT上有中等相关性(≈0.57),其余弱相关。增量删除实验:SHAP在多数数据集上,按重要性顺序删除token可使模型对数几率(log-odds)显著下降后再平缓,说明能识别关键token;LIME删除重要词也令性能降但权重分配偏重顶部少数特征;Vanilla Gradients初期降幅大但后续曲线偏平,存在梯度饱和(gradient saturation)迹象。增量添加结果与删除互为印证。综上SHAP正确性最优,LIME次之,Vanilla Gradients最低但仍具一定保真度。
5.2. Completeness(完备性)
保存检验(Preservation Check):逐步添加top-k特征,三种方法acc-reduced均上升,选定特征优于随机基线,说明解释涵盖了影响模型行为的关键特征。删除检验(Deletion Check):删除top-k特征,SHAP使acc-reduced迅速下降后趋平(符合预期),LIME下降更陡(因仅给少量词赋高权),Vanilla Gradients初期陡降后过早趋平。label flip趋势类似。三种XAI方法均具一定输出完备性,SHAP表现最均衡。
5.3. Continuity(连续性/稳定性)
微扰稳定性(5%扰动测LLCs):LIME的LLCs中位数最小(但因只给部分词赋权需谨慎解读),SHAP次优但有个别极大离群值(尤其短文本EUvsDISINFO),Vanilla Gradients LLCs整体偏高。Fidelity for Slight Variations显示模型在ENR数据集上遇5%~20%扰动仍保持高准确率(98%~99%)与F1(98%),EMNAD则降较多(F1由66%降至56%)。表明XAI解释对微扰反应适度,具基本连续性。
5.4. Consistency(一致性/确定性)
重复相似性:SHAP与Vanilla Gradients多次运行同输入给出完全相同解释(100%一致);LIME因内部随机采样致每次运行选出特征权重略有差异。Jaccard Similarity显示LIME各次重初始化间特征-权重集相似度达0.99以上,具高近似一致性但非严格确定。SHAP与Vanilla Gradients在一致性上占优。
5.5. Contrastivity(对比性/区分性)
KL Divergence(微调vs随机模型解释分布差异):SHAP KL值最高(例ISOT≈0.079 bits,EMNAD≈0.043 bits),Vanilla Gradients次之(例EUvsDISINFO≈0.047 bits),LIME极低(≈0.0001~0.0003 bits),说明SHAP最能区分微调与随机模型解释分布。目标敏感性(20%实质扰动测LLCs):Vanilla Gradients LLCs明显增大(解释变化大),SHAP LLCs适度增大,LIME几乎不变。Vanilla Gradients对比性最强,SHAP中等,LIME弱。
四、讨论与结论总结
讨论指出:SHAP在Correctness、Completeness、Consistency、Continuity上综合最优且具可接受Contrastivity,适合长文本IDD任务,但存在少数极大离群LLCs、处理未见数据时次要特征识别有限及计算耗时较长之不足。LIME因资源消耗大、多GPU不稳定、仅给部分词赋权、对未见数据解释力弱及Contrastivity差,不推荐用于长文本IDD。Vanilla Gradients通过Model Randomization Test、具强Target Sensitivity与完全Consistency,但存在梯度饱和问题致Completeness/Correctness打折扣,可作为快速初探XAI手段并辅以SHAP。研究还揭示IDD模型本身泛化局限会影响XAI解释质量,长文本特征互依性与RoBERTa的512 token限制亦为局限。未来需解决长文本XAI计算成本及架构限制,深入探究Vanilla Gradients梯度饱和与SHAP在IDD中注意力再分配现象。
结论翻译:本研究旨在提升基于AI的IDD模型与XAI方法的透明度与可信度,聚焦较长文章的信息失序分类。关键发现为:尽管SHAP是针对长文本分类任务有效且先进的模型无关XAI方法,但应用于IDD领域时存在局限——尤难识别非顶级关键token等支撑性特征,且在分类模型遇未见数据时表现吃力;此局限对LIME和Vanilla Gradients更为明显。Vanilla Gradients可作长文本IDD任务的起点(需注意梯度饱和等权衡)但不能替代SHAP等进阶方法;LIME因众多局限特别是高资源需求而不被推荐。