ACTED：基于行为与条件的时间序列证据学习方法，用于早期检测大规模语言模型（LLM）驱动的恶意账户

《Neurocomputing》：ACTED: Action-conditioned temporal evidence learning for early detection of LLM-driven malicious accounts

　　摘要：由大型语言模型（LLM）驱动的恶意账户对平台早期防御构成了挑战，不仅因为它们的单个帖子看起来流畅且与用户身份一致，还因为它们的有害行为在完整的账户历史记录出现之前就已经展开。现有的社交机器人检测器已经从手工制作的特征发展到基于图和多模态的学习方法；然而，许多检测器仍然假设证据可以静态地汇集，或者所有模态在决策时刻都足够可靠。这一假设在早期检测中不成立，因为出现了两个耦合的挑战：行为语义耦合，即帖子的行为含义取决于它是用于发布、转发、回复还是引用；以及异步证据积累，即个人资料、文本、行为、语义演变和图证据在不同时间点的信息量各不相同。为了解决这些挑战，我们提出了ACTED，这是一个基于行为条件的时间证据学习框架，用于早期检测由LLM驱动的恶意账户。在严格的前缀验证协议下，ACTED将每个账户的时间线表示为一系列以推文为标志的动作事件，并构建演变中的、由推文引发的前缀图。从概念上讲，ACTED包含两个核心组件。首先，行为条件语义演化（ACSE）模块利用基于操作类型、上下文指标、时间间隔和累积行为状态的特征调节网络来对帖子语义进行上下文化处理，从而捕捉到细致的语用轨迹。其次，前缀路由证据转换器（PRET）引入了一种前缀感知的路由机制，能够适应性地估计在不同观察时域下异构证据源（个人资料、文本、行为、语义演变和图）的信息量变化。在TwiBot20-SDAR和BotSim-24上的实验表明，ACTED在10%前缀覆盖率下实现了0.93–1.99的Macro-F1提升，在30%前缀覆盖率下实现了1.17–1.35的提升。诊断分析进一步证实，行为-文本对齐和累积前缀上下文对于强大的早期检测至关重要。

引言：在线社交平台已成为公众交流、新闻传播、危机响应和公民参与不可或缺的渠道。同时，它们也为恶意账户和社交机器人提供了传播错误信息、操纵公众注意力、扭曲社区讨论和破坏在线生态系统信任的肥沃土壤[1]、[2]、[3]。因此，大量研究从账户资料、帖子内容、时间活动和网络关系等方面探讨了社交机器人的检测[4]、[5]、[6]、[7]。大型语言模型（LLM）的快速发展正在重塑这一问题。LLM能够以低成本生成流畅的、具有上下文感知能力的、与用户身份一致的帖子，而关于语言模型风险和机器生成文本的研究表明，用户和自动系统难以区分合成内容与人类编写的文本[8]、[9]、[10]、[11]、[12]。在社交媒体环境中，由LLM驱动的机器人不再局限于重复的模板或显而易见的垃圾信息行为；它们可以将类似人类的语言与适应性社交行为和不断变化的互动模式结合起来[13]、[14]、[15]、[16]。检测由LLM驱动的恶意账户的难度不仅在于生成文本的自然性。更根本的挑战在于，账户级别的恶意行为是有目标导向的。即使LLM能够生成自然且与用户身份一致的帖子，恶意账户仍需通过可观察的社交行为（如发布、转发、回复和引用）来实现其目标，包括放大影响、吸引关注、说服或引导叙事方向。因此，区分信号不再仅限于账户在孤立帖子中的内容，还在于其生成的语义如何被组织、转化并通过社交行为随时间反复使用。这种观点将早期LLM驱动的机器人检测从孤立文本验证转变为了基于行为条件的账户级证据推理。

对于实际的平台防御而言，通常在收集到完整的行历史记录之后再进行检测已经太晚了。恶意账户可能已经参与到信息传播的链条中，与真实用户进行了互动，并在足够的长期证据出现之前影响了社区注意力。先前的关于预防性恶意用户检测和早期错误信息检测的研究表明，当时间顺序被正确建模时，部分时间证据可以支持早期干预[17]、[18]。然而，早期恶意账户检测引入了更严格形式的证据推理。个人资料信息通常以快照级别的账户上下文形式提供；帖子和行为按顺序出现；图证据只有在可见事件发生时才会被激活；语义演变只有在多次行为-文本转换之后才有意义。因此，早期检测不应被视为在样本较少的情况下对完整历史记录进行分类，而应该是基于前缀验证的时间证据推理，在异步证据积累的情况下进行。

现有的社交机器人检测器提供了重要的基础，但它们并没有完全应对这一情况。基于特征和神经网络的检测器利用元数据、语言信号和活动模式，然而流畅的LLM生成的内容削弱了孤立文本线索的可靠性。基于图的模型聚合了关系信息和类型化的邻域[19]、[20]；然而，仅凭图结构无法解释为什么相同的文本表达在启动叙事、放大另一条信息、回复目标或重新构建现有内容时可能在账户层面上产生不同的影响。多模态和LLM驱动的机器人检测器进一步结合了个人资料、文本、行为和结构[15]、[21]，但许多检测器仍然将证据视为静态流或者假设不同来源在决策时刻具有相似的可靠性。生成文本的检测器决定一段文本是否为机器编写，而早期恶意账户检测必须推理在不同时间点变得有意义的证据。流畅的文本可能从最早的帖子就可以看出，但目标导向的行为部署的证据则是随着行为和互动的积累而逐渐显现的。因此，关键挑战有两个：如何建模基于行为条件的语义轨迹，以及如何融合可靠性随前缀时间范围变化的异构证据。

为了解决这些挑战，我们提出了ACTED，这是一个基于行为条件的时间证据学习框架，用于早期检测由LLM驱动的恶意账户。在严格的前缀验证协议下，ACTED将每个账户表示为一系列以推文为标志的动作事件，并使用当前观察时域中可见的证据构建推文引发的前缀图。然后它引入了两个紧密耦合的机制。首先，行为条件语义演化（ACSE）通过根据操作类型、上下文指标、时间间隔和累积行为状态来调节帖子表示，从而捕捉了行为条件化的语义轨迹，超越了简单的行为-文本连接。其次，前缀路由证据转换器（PRET）通过在基于Transformer的跨证据交互之前估计个人资料、文本、行为、语义演变和图证据的前缀依赖性可靠性来处理异步证据积累。通过这种方式，ACTED将早期检测视为阶段性的基于行为条件的证据推理，而不是静态的多模态堆叠。

本文的主要贡献总结如下：
- 我们从目标导向的角度阐述了早期LLM驱动的恶意账户检测，并将其形式化为基于前缀验证的时间证据推理。这种形式化在每个决策时间点都强制执行了时间顺序的边界，并明确考虑了个人资料、文本、行为、语义演变和图证据的异步积累。
- 我们引入了基于行为条件的语义轨迹建模，以描述生成内容如何通过可观察的社交行为进行部署。通过将每个帖子与其操作类型、时间间隔、上下文标记和累积的行为状态进行上下文化处理，ACTED捕捉到了无法从孤立文本编码或简单的行为-文本连接中恢复的行为条件化语义动态。
- 我们设计了前缀感知的证据路由和交互机制，以处理依赖于前缀的证据可靠性。该模型首先估计当前前缀状态下每个证据来源的贡献，然后进行跨证据交互，减轻了早期观察窗口中早期或稀疏模态的噪声影响。
- 我们在两个LLM驱动的机器人基准测试上提供了系统的实证和诊断证据。除了前缀级别的性能和ED-AUC比较之外，行为-文本扰动和未来窗口隔离分析表明，时间行为-文本对齐和累积前缀上下文对于早期检测至关重要。

方法论：本节介绍了ACTED，这是一个基于行为条件的时间证据学习框架，用于早期检测由LLM驱动的恶意账户，如图1所示。该框架围绕两个相互关联的设计原则构建。首先，生成的帖子应该根据其可观察的社交行为进行解释，因为目标导向的账户在发布、转发、回复或引用时使用相似的文本方式有所不同。其次，早期检测必须处理异步证据积累：

实验：本节评估了ACTED是否改善了早期检测效果，以及其改进是否得到了所提出的基于行为条件和前缀感知机制的支持。实验围绕四个问题展开：(1) 基于前缀验证的时间证据推理是否能够在不同观察时域内改善早期检测？(2) 行为条件语义轨迹建模是否在孤立文本、行为或简单的行为-文本特征之外是必要的？(3) 累积前缀上下文是否提供了证据？

讨论：实验结果支持了本文的核心论点：早期LLM驱动的恶意账户检测应被视为基于前缀验证的时间证据推理，而不是简化的全历史记录分类。主要表格和ED-AUC曲线显示，ACTED在不同观察时域内保持了强劲的表现。在BotSim-24上的最大提升出现在@10和@30指标上，而在TwiBot20-SDAR上的提升仍然为正，并持续到@100指标。这一模式对于...

结论：本文提出了ACTED，这是一个基于行为条件的时间证据学习框架，用于早期检测由LLM驱动的恶意账户。这项工作的动机来自两个观察结果：LLM可以使单个帖子看起来自然，但恶意账户仍然通过目标导向的社交行为来部署生成的内容；早期检测必须在异步证据积累的背景下进行，不同证据来源在不同前缀时间点变得可靠。ACTED解决了这些问题...

致谢：本工作得到了河南省重大科技项目（221100210700）和河南省高端人才培养计划（244500510012）的支持。王振远是中国信息工程大学的博士生，专攻网络安全。他的研究兴趣包括人工智能和社会网络分析。