ARISE：用于谣言与疫情共同演化中动态关键节点干预的强化学习方法

《Knowledge-Based Systems》：ARISE: Reinforcement learning for dynamic critical-node intervention in rumor–epidemic co-evolution

　　•ARISE将谣言与疫情的防控问题视为在双层网络上的动态、受预算约束的序列式关键节点干预问题。•跨层注意力编码器能够整合谣言与疫情状态，从而捕捉双向反馈以及节点重要性的变化。•基于课程的强化学习有助于ARISE适应不同的拓扑结构及网络规模，从而在各种评估场景中实现泛化能力。

引言
信息通信技术（ICT）的快速发展使得在线社交活动与线下行为日益交织[1]。这种融合打破了虚拟空间与物理空间之间的界限，极大地改变了疫情的传播机制[2]。在COVID-19疫情期间，虽然病毒是通过身体接触传播的，但大量与疫情相关的谣言却在Facebook和TikTok等平台上迅速传播[3]、[4]，这不仅扭曲了公众的防护行为，还削弱了疫情防控的努力[5]、[6]、[7]。世界卫生组织将“信息流行病”定义为信息过载的现象，其中包括准确和错误的内容，导致人们难以找到可信的来源和可靠的指导建议[8]、[9]。COVID-19疫情表明，错误信息可以通过网络迅速传播，影响人们的防护行为，如接种疫苗和佩戴口罩，进而影响疫情的传播及公共卫生应对措施[10]、[11]。在这种背景下，疫情防控已不再局限于物理领域，而是扩展到了虚实结合的空间。针对COVID-19时期手机网络数据的研究进一步表明，在现实世界的疫情治理中，人类的流动性、行为合规性、隐私限制以及非药物干预措施是紧密相连的[12]。由于用于疫苗分发和反谣言宣传等措施的预算和资源有限，全面干预往往不可行[13]。因此，决策者需要确定最关键的个体，这些个体可能包括物理空间中易感人群或虚拟网络中有影响力的用户[14]、[15]。然而，谣言与疫情的协同演化涉及非线性反馈循环，且序列式干预会随着时间改变节点状态以及剩余网络的拓扑结构。例如，个体可能会从易感者变为感染者，或者从谣言传播者变为阻止者，而每一次隔离决策都会消除某些联系，并改变剩余节点的未来重要性。这就带来了一个关键挑战：如何捕捉这些动态变化，并确定随时间变化的最关键干预目标（如图1所示）。

传统的多层网络关键节点识别方法，如多层度中心性、多层k壳层算法以及多层PageRank算法，能够考虑谣言与疫情网络的多层结构，从而识别出在传播过程中起重要作用的节点[16]、[17]。然而，这些指标往往忽视了跨层传播动态之间的耦合效应，可能无法准确识别出在谣言与疫情协同演化中最具影响力的节点。一个主要的局限性在于，基于中心性的排序方法通常假设结构重要性与传播影响力之间存在近似单调的关系。而在耦合的谣言与疫情动态中，这种关系可能是非线性的：在谣言层中处于核心位置的节点，如果其在疫情层的联系人已经康复或被隔离，那么其对疫情的影响可能较低；而某个在疫情层中不太重要的节点，由于其当前的跨层状态，却可能带来更大的疫情负担减轻效果。Zeng等人[18]提出了耦合敏感型中心性以及类似的指标，它们结合了两层的结构特征以及层间耦合参数，用以识别信息流行病协同演化中的超级传播者。然而，这些方法仍然是静态的度量方式，无法捕捉到干预后的剩余网络结构变化或传播过程中节点状态的变化[19]。此外，它们也无法自然地模拟有限的干预预算或节点隔离的顺序依赖效应。为了超越静态排序的方法，近期的一些研究将图神经网络与深度强化学习相结合（GNN-DRL），用于支持单层动态网络中的关键节点干预，在舆论控制以及优先分配疫苗等领域取得了不错的成果[20]、[21]、[22]、[23]、[24]、[25]。不过，这些方法主要依赖于单层传播动态，因此难以模拟由谣言与疫情的多层耦合所引发的反馈效应。Mao等人[26]试图使用深度Q网络在静态多层网络上识别关键节点，但谣言与疫情的协同演化本就是多层网络上的动态过程，节点的重要性会随着时间而变化。现有的架构并不适合表示这种动态协同演化中所固有的大规模状态空间及层间依赖关系。

这些局限性揭示了三个研究缺口，也正是我们开展这项研究的动机。首先，静态的多层中心性方法无法捕捉到每次干预之后以及耦合传播过程中节点重要性的变化。其次，现有的GNN-RL干预方法主要关注单层或弱耦合的场景，未能明确编码谣言与疫情之间的双向反馈。第三，许多节点选择方法将干预视为一次性排序问题，而实际的防控工作则是受预算约束且具有序列性的。ARISE通过将谣言与疫情的防控问题视为动态的序列决策问题，利用双层注意力机制及跨层融合技术来编码耦合状态，并学习一种自适应策略，以便随着传播状态及剩余拓扑结构的变化而调整干预决策，从而解决了上述问题。

为了解决这些挑战，我们为多层谣言与疫情网络开发了一种动态的关键节点干预框架。首先，我们构建了一个耦合传播模型，以描述谣言层与疫情层之间的相互作用。随后，我们将疫情控制任务视为一个动态干预问题，根据不断变化的节点状态以及干预带来的剩余拓扑结构来选择干预目标。基于这一建模思路，我们设计了ARISE，这是一种基于强化学习的框架，用于在谣言与疫情协同演化过程中进行序列式干预。ARISE利用基于多头GAT的跨层注意力编码器来表示层间反馈以及当前的剩余拓扑结构，从而生成具备状态意识的节点表示。然后，一个基于PPO的智能体利用这些表示，在固定的预算约束下依次选择干预目标。此外，我们还引入了一种自适应课程机制，以提高训练稳定性，并助力模型在不同网络规模下的泛化能力。

需要指出的是，ARISE建立在图注意力、PPO以及课程学习等现有技术之上。ARISE的创新之处在于针对谣言与疫情协同演化控制任务对这些组件进行了特定整合：在问题层面，ARISE研究的是动态的、受预算约束的序列式干预，而非静态的节点排序或源头检测；在架构层面，它结合了双层内部注意力机制与跨层融合技术，以表示与状态相关的谣言与疫情反馈；在应用与决策层面，它将这种集成设计应用于协调的谣言与疫情控制中，同时学习出自适应的干预序列，其后续行动取决于之前的干预结果以及不断变化的传播状态。与现有的GNN-RL节点干预方法和多层分解方法相比，ARISE更注重谣言与疫情之间的耦合动态，即节点重要性会随着跨层反馈以及先前的干预决策而发生变化。本文的主要贡献如下：
(1) 我们将干预问题视为动态的、受预算约束的序列式节点隔离问题，而非在固定多层拓扑结构上的静态一次性选择，从而充分考虑了传播状态的变化以及先前干预决策的影响。
(2) 我们开发了ARISE算法，该算法利用谣言与疫情的跨层注意力编码器来捕捉层内结构及层间交互，从而使强化学习智能体能够根据不断变化的网络状态动态识别并确定关键节点，从而在固定的干预预算下抑制疫情传播。
(3) 我们设计了一种自适应课程机制，通过逐步增加训练难度来解决系统的非稳态性问题。该机制能够稳定训练过程，助力策略在不同规模的网络上实现泛化。
(4) 在真实世界及合成多层网络上的大量实验表明，与对比基线方法相比，ARISE在各项主要评估指标上的最终平均累计感染率更低。

章节摘录
协同演化的谣言与疫情模型
关于谣言与疫情协同演化的研究通常采用多层网络框架中的双重模型。在这种模型中，疾病通过身体接触层传播，而诸如防护意识或相关信息等内容则通过社会层扩散。Granell等人将防护意识传播与UAU-SIS框架中的疫情传播过程相结合，他们发现信息层能够改变易感个体的状态转换概率。

模型与问题的构建
本节首先对谣言与疫情协同演化模型进行数学描述，然后明确“谣言与疫情协同演化的动态关键节点控制”（DCNC-REC）任务，最后给出在固定干预预算条件下的优化目标。

具有跨层嵌入的自适应谣言与疫情干预
为了解决信息动态与疾病动态之间复杂的耦合关系，我们提出了ARISE框架。如图3所示，该框架结合了双过程图注意力编码器与基于PPO的序列策略优化器，旨在在固定的干预预算下解决DCNC-REC问题。

网络数据集
我们在两类双层网络上对关键节点干预框架进行了评估：
•合成网络：我们生成了Erd?s–Rényi（ER）、Watts–Strogatz（WS）以及Barabási–Albert（BA）图，用来表示随机、高度聚集且无标度结构。谣言层与疫情层是在相同的节点集上独立构建的，以此体现各层之间的结构差异。
•真实世界网络：我们在来自社交、生物等多个领域的五个节点对齐的多层数据集上对ARISE进行了测试。

结论
本研究将谣言与疫情协同演化的控制问题视为双层网络上的、受预算约束的序列式节点隔离问题。我们提出了“具有跨层嵌入的自适应谣言与疫情干预”（ARISE）方法，这是一种结合了谣言与疫情跨层注意力编码器（CLA-Encoder）与近端策略优化（PPO）的GNN-RL框架。CLA-Encoder利用多头图注意力网络进行层内聚合，并通过跨层注意力机制生成具备状态意识的节点表示。

CRediT作者贡献说明
Yepeng Shi：写作——审阅与编辑，写作——初稿撰写。Ling Yin：写作——审阅与编辑。Kemin Zhu：写作——审阅与编辑。Yuxiao Luo：写作——审阅与编辑。Kang Liu：写作——审阅与编辑。

利益冲突声明
作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

致谢
本研究得到了中国国家重点研发计划[2023YFC2308702]、国家自然科学基金[42271475]以及深圳市重点基础研究项目（编号JCYJ20241202125008011）的资助。

Yepeng Shi|Ling Yin|Kemin Zhu|Yuxiao Luo|Kang Liu