《Applied Sciences》:Quantum-Inspired Semantic Encoding and Temporal Transformer Fusion (QuST-TF) for Misinformation Detection
编辑推荐:
摘要:虚假信息(Misinformation)在社交媒体上的传播速度快于真实内容,给自动化虚假信息检测带来重大挑战。现有方法通常仅关注文本特征而未纳入时序信息,或将发布时间与传播结构作为独立因素分开处理,又或将量子启发(Quantum-Inspired)方法主
摘要:虚假信息(Misinformation)在社交媒体上的传播速度快于真实内容,给自动化虚假信息检测带来重大挑战。现有方法通常仅关注文本特征而未纳入时序信息,或将发布时间与传播结构作为独立因素分开处理,又或将量子启发(Quantum-Inspired)方法主要用于多模态数据而非以文本为中心的虚假信息检测。本研究提出QuST-TF(Quantum-inspired Semantic encoding and Temporal Transformer Fusion,量子启发语义编码与时序Transformer融合),一种用于推文及新闻文章虚假信息检测的统合模型。QuST-TF集成了量子启发(经典近似,Classical Approximation)振幅编码、时间感知Transformer融合,以及基于互动数据的传播图注意力(Propagation Graph Attention, GAT),无需依赖图像、音频或量子硬件。性能提升源于通过经典计算实现的量子启发(经典近似)非线性角度调制(余弦与正弦旋转),而非真正的量子计算。所有计算均使用经典全连接层(Dense Layer)、线性整流单元(Rectified Linear Unit, ReLU)激活函数及CPU或GPU上的余弦/正弦函数完成,无需量子硬件。量子启发(经典近似)层对双向编码器表征来自Transformer(Bidirectional Encoder Representations from Transformers, BERT)嵌入施加基于经典旋转的变换,以丰富语义表征。时序信息由双注意力Transformer编码器捕获,传播图注意力则监测声明的扩散过程。在FakeNewsNet和PHEME数据集上的评估分别达到91.4%和95.5%的准确率,可训练参数量较标准Transformer减少34%。消融实验表明量子编码是最具影响力的组件(相较去除量子编码提升+3.0%),超过图注意力(+2.6%)和时序注意力(+2.2%)的贡献。三组件联合集成产生1.3%的协同增益,证实模块间有效协作。注意力可视化增强了可解释性,支持QuST-TF在事实核查应用中的实用性。
论文解读:Quantum-Inspired Semantic Encoding and Temporal Transformer Fusion (QuST-TF) for Misinformation Detection
该论文发表于《Applied Sciences》。社交媒体上虚假信息(Misinformation)传播速度可达真实内容的6至10倍,传统检测方法或只依赖文本内容语言学特征,或只依赖用户信誉与分享行为等社交上下文特征,往往忽视文本内容与新闻传播时序动态之间的复杂关系。近期Transformer架构虽擅长捕获长程语义依赖,真正量子机器学习需量子硬件或模拟器,难以适用于大规模社媒数据;而现有量子启发(Quantum-Inspired, 指借用量子力学数学思想如振幅编码、密度矩阵、叠加态特征空间,但在经典计算机上运行的经典近似方法)特征提取尚未与时序Transformer建模及传播图注意力结合用于虚假信息检测。现有模型要么仅有多模态量子方法、要么为无时序与传播建模的文本仅量子模型、要么含时序与传播感知却无量子启发语义编码。此外经典文本嵌入经线性变换映射至固定维度空间,限制其对虚假信息中复杂高阶语义关系的捕捉能力。为此,研究人员开展此项研究以填补上述空白。
研究人员以FakeNewsNet数据集(约23,200篇新闻,PolitiFact子集432假/624真,GossipCop子集5,323假/16,817真,按发文时间2018年前训练、2019验证、2020后测试,平衡测试集2,000篇)和PHEME数据集(6,425条谣言线程,2,402误/4,023非误,来自9个真实事件,采用留一事件法评估)为基准,提出并验证QuST-TF模型。结论表明:集成量子启发振幅编码、双注意力时序Transformer及传播图注意力(GAT)的统合框架,在FakeNewsNet和PHEME上分别取得91.4%(F1=91.3%,AUC-ROC=95.4%)和95.5%(F1=95.2%,AUC-ROC=98.1%)准确率,优于所有基线;量子启发编码为最大贡献组件(消融掉降低3.0%),三组件协同产生1.3%额外增益;冻结BERT-base下仅需28.5M可训练参数(较最近似基线少34%),且注意力可视化提供可解释决策依据。该研究表明经典近似的量子启发角度调制可有效增强文本语义表征,结合时序与传播结构能显著提升英文社媒虚假信息检测性能。
主要关键技术方法:
研究人员采用预训练BERT-base-uncased提取768维词符(Token)嵌入并冻结其参数,仅端到端训练后续三模块:①量子启发(经典近似)振幅编码层——对BERT嵌入做L2归一化后经两个Dense层压缩至16维分离幅值与相位特征,重塑为8个拟量子比特(qubit-like)二维向量,施加可学习单比特旋转(cos/sin半角旋转矩阵,保留范数)及类受控非门(CNOT-like)概率混合与环回CNOT引入全局关联,依Born规则算经典概率分布并求Shannon熵驱动熵加权,拼接原始与加权特征后投影回768维;②双注意力时序Transformer编码器——在标准多头自注意力中加入可学习时序偏置矩阵(基于时间戳差缩放参数β与最大时跨Δtmax),并用含可学习系数γ的时间感知位置编码替代原始正弦位置编码,堆叠6层;③传播图注意力(Propagation GAT)模块——基于转发/回复/分享边(4小时时窗)建异构图,邻居聚合时融入时间戳延迟的可学习编码计算注意力权重,2层GAT输出图级表征。融合时拼接序列均值池化、图表征及Token方差(经多层感知机MLP变换),经全连接层做二分类,优化目标为带L1正则化的交叉熵损失。训练采用AdamW(lr=1×10?4,weight decay=0.01)、线性预热、混合精度、梯度裁剪(norm=1.0)、标签平滑(0.1)、早停(10 epoch无改善)及5折交叉验证取均值±标准差,LoRA(r=8, α=16)微调Transformer层。
研究结果:
3.1. Performance Analysis(性能分析): 在FakeNewsNet上QuST-TF准确率91.4%、F1=91.3%,超越Transformer+BiGRU(89.2% F1)、DTN(87.7% F1)、去多模态后的QEMF文本版(86.4% F1)及RoBERTa(84.0% F1);在PHEME上达95.5%准确率、F1=95.2%,超越TTT(86.1% F1)、Transformer+BiGRU(84.7% F1)等基线。PHEME上更大优势说明量子启发编码与图传播对短噪声对话线程尤为有效。各数据集五次运行标准差最小(±0.003),证明训练稳定可复现。
3.2. Ablation Study Insights(消融研究见解): 去除量子编码致FakeNewsNet准确率从91.4%降至88.4%(F1降3.0%,组件贡献指数CCI=0.70),影响最大;去除图注意力降2.6%(CCI=0.60),去除时序注意力降2.2%(CCI=0.51)。单独量子编码基线(84.0%)与单独经典高维扩展基线(83.9%)均低于完整模型,证实三组件缺一不可。全模型相较各单独移除情形最大性能之和产生1.3%协同增益,证实模块互补强化效应。
3.3. Parameter Efficiency(参数效率): BERT-base冻结下QuST-TF仅28.5M可训练参数(含LoRA微调),较Transformer+BiGRU(43.2M)、DTN(41.5M)、QEMF文本版(39.3M)、RoBERTa(75.0M)等同配置基线少34%,同时准确率提升2.2个百分点,证明参数高效且实用。
3.4. Error Analysis of Proposed Model(模型错误分析): FakeNewsNet上灵敏度(Sensitivity)=90.9%,特异度(Specificity)=91.9%,AUC-ROC=95.4%,马修斯相关系数MCC=0.828;PHEME上灵敏度=95.2%,特异度=95.8%,AUC-ROC=98.1%,MCC=0.908。两数据集特异度略高于灵敏度,表现保守偏向减少误报(将真实内容判为假)。混淆矩阵显示FakeNewsNet测集(2,000条平衡)假阴性91例、假阳性81例;PHEME(1,359线程)假阴性79例、假阳性66例,符合指标趋势。
讨论与结论翻译:
研究人员讨论部分指出:BERT完全冻结限制领域自适应,量子启发振幅编码系经典模拟故增益源于旋转数学而非真量子加速,当前仅评估英文基准且依赖可观测传播图(早期稀疏图时性能下限约88.8%),未来拟在NISQ硬件实现参数化量子电路、用XLM-R或多语言BERT做多语言评估、引入图插补处理稀疏传播、及量子启发多模态融合与在线学习。结论为:QuST-TF整合量子启发(经典近似)振幅编码捕获更丰富语义细节、时间感知Transformer注意力监控内容时序演化、图注意力建模社媒帖子传播链,填补此前分开处理的空白。FakeNewsNet达91.4%准确率与95.4% AUC-ROC,PHEME达95.5%准确率与95.2% F1值,一致优于基线。消融显示量子编码最重要(ΔF1=?3.0%),三组件联合增益1.3%。冻结BERT骨架上仅28.5M可训练参数证实无需全微调亦可强效检测,适合资源受限场景。性能提升完全来自经典近似实现的量子启发非线性角度调制(cos/sin旋转特征变换)比基于幅值的注意力更有效捕获方向性语义模式,全部在经典CPU/GPU完成,无需量子硬件或量子电路。