TRJD-AT——面向中文社交机器人检测的文本–关系联合建模与三级改写攻击鲁棒性评估

《Scientific Reports》：Text–relation joint modeling improves the robustness of Chinese social bot detection against paraphrasing attacks

　　

生成语言模型 (Generative Language Models) 已使改写 (paraphrasing) 成为针对社交机器人检测器的一种低成本且实用的规避策略，尤其是在文本内容为主要检测信号的中文平台上。研究人员提出 TRJD-AT，一个文本–关系联合框架 (text–relation joint framework)，其结合中文 MacBERT 编码器、作用于用户–帖子发布关系和用户–用户关注关系的两层异构图注意力网络 (heterogeneous graph attention network, HGAT)、轻量级门控融合模块 (gated fusion module)，以及在输入嵌入上进行快速梯度法 (Fast Gradient Method, FGM) 训练。研究人员进一步定义三级改写协议——词汇替换 (lexical substitution)、句子级改写 (sentence-level rewriting) 和良性词元插入 (benign-token insertion)——并设置显式攻击预算 (attack budgets) 与自动语义保持约束 (semantic-preservation constraints)，同时将帖子级攻击构建 (post-level attack construction) 与账户级评估 (account-level evaluation) 分离。在中国微博社交机器人数据集 (Chinese Weibo Social Bot dataset) 上，TRJD-AT 获得 0.891 的清洁 macro-F₁。在默认 Tier 2 条件（语义相似度阈值 0.80）下，其获得 macro-F₁ 为 0.835，对应 5.6 个百分点的下降；而 MacBERT + MLP 纯文本基线获得 0.733，对应 13.4 个百分点的下降。清洁性能与对抗退化 (adversarial degradation) 作为不同量分别报告。消融 (ablation) 结果表明，观察到的鲁棒性主要与关系建模 (relational modeling) 相关；在该设置中，FGM 改善清洁性能，但未在受攻击 macro-F₁ 上提供独立增益。基于密度的分析 (density-based analysis) 进一步发现，交互历史稀疏的账户所获得的关系收益降低。

研究背景与问题：生成式语言模型重塑在线内容生产，大语言模型可生成流畅且上下文连贯的文本，读者常难区分其与人类文本；这为操纵舆论者提供了新工具。Yang and Menczer 记录了 1140 个依赖 ChatGPT 生成帖子、构造合成人设并协调互动的 X 账户；Wack et al. 报告了社交媒体上国家资助生成式宣传的首批大规模现实证据。中文平台如新浪微博月活超过 5.8 亿，是公共话语的重要场所，但基于英文基准优化的检测流程迁移到微博式帖子时表现较差。现有中文社交机器人检测大致有三类：文本中心方法如 Chinese-BERT-wwm 和 MacBERT 清洁准确率高但易受内容改写影响；图方法如 BotRGCN、RGT、BotMoE 利用关系结构，但主要在 Twitter/X 评估；文本–图融合方法可能优于单模态检测器，但在受控中文改写攻击下行为特征不足。因此，研究人员提出 TRJD-AT，结合中文 MacBERT 编码器、两层 HGAT、轻量级门控融合模块和 FGM 训练，并定义三级改写协议，在 Chinese Weibo Social Bot dataset 与 TwiBot-22 上开展受控比较。主要结论是：TRJD-AT 清洁 macro-F₁ 为 0.891；默认 Tier 2（τ₂ = 0.80）下为 0.835，下降 5.6 个百分点，而 MacBERT + MLP 为 0.733，下降 13.4 个百分点；鲁棒性主要关联关系建模；FGM 改善清洁性能但未独立提高受攻击 macro-F₁；交互稀疏账户的关系收益降低。其意义在于将改写鲁棒性作为独立评估维度，并明确区分帖子级攻击构建与账户级评估。

关键技术方法概括：研究人员采用中文 MacBERT-base 文本编码器，对每用户最近 K = 30 篇帖子编码并以掩码均值池化得到用户级文本表示；用户节点以 11 维行为统计初始化，帖子节点以 [CLS] 表示初始化；构建含 user/post 节点及 publish/follow 边的异构图，并为边添加反向关系；使用两层 HGAT 以类型特定注意力编码关系；通过逐元素门控融合文本与关系表示，再经两层 MLP 分类；训练时在输入嵌入上施加 FGM 扰动，目标为 L_total = L_cls + λL_adv。评估采用三级改写协议：Tier 1 同义替换，Tier 2 生成式句子改写，Tier 3 良性词元插入；攻击在帖子级，预测和指标在账户级。主要样本队列为 Chinese Weibo Social Bot dataset（14,285 个标注账户）和 TwiBot-22（1,000,000 个标注用户）。

研究结果：

Clean-condition performance：清洁条件性能。在 Weibo 上，TRJD-AT 获得 macro-F₁ 0.891 ± 0.005，MacBERT + MLP 为 0.867 ± 0.006，BotMoE 为 0.883 ± 0.008；TRJD-AT w/o AT 为 0.879 ± 0.007。TwiBot-22 上，TRJD-AT 为 0.823 ± 0.008，BotMoE 为 0.819 ± 0.010，BotRGCN 为 0.804 ± 0.007，RGT 为 0.812 ± 0.009。关系感知和融合方法通常高于纯文本方法，融合优势在 Weibo 上更大；清洁性能仅作参考，不等同于鲁棒性。

Adversarial robustness under paraphrasing attacks：改写攻击下的对抗鲁棒性。默认设置下，Weibo 的 Tier 1 为 ρ₁ = 15%，Tier 2 为 τ₂ = 0.80，Tier 3 为 k₃ = 3。Tier 1 下 TRJD-AT 的 ΔF₁ 为 1.8 点，MacBERT + MLP 为 2.7 点；Tier 3 下所有下降不超过 0.9 点。最大下降出现在 Tier 2：MacBERT + MLP 从 0.867 降至 0.733（ΔF₁ = 13.4 点，ASR = 18.2%）；TRJD-AT 为 0.835（ΔF₁ = 5.6 点）。TRJD-AT w/o FGM 从 0.879 降至 0.843（ΔF₁ = 3.6 点），全模型从 0.891 降至 0.835（ΔF₁ = 5.6 点），表明 FGM 提高清洁性能但不提高受攻击 macro-F₁。TwiBot-22 呈同方向：Tier 2 下降为 TRJD-AT 4.2 点、MacBERT + MLP 9.6 点、BotMoE 6.8 点。

Ablation study：消融研究。移除 HGAT 后，ΔF₁ 从 5.6 点增至 13.2 点，接近纯文本基线；移除 FGM 后，清洁 macro-F₁ 从 0.891 降至 0.879，受攻击 macro-F₁ 从 0.835 变为 0.843；将门控替换为拼接后，清洁 macro-F₁ 从 0.891 降至 0.886，ΔF₁ 从 5.6 点增至 6.4 点；零用户特征变化较小。结论是关系建模是主要鲁棒性来源，FGM 主要作为清洁性能正则化，门控和行为特征提供较小增量收益。

Sensitivity analysis：敏感性分析。攻击强度方面，Tier 1 的 ΔF₁ 随 ρ₁ 从 0 到 15% 近似线性增至 1.8 点，并低于纯文本基线；Tier 2 中 τ₂ 从 0.90 降至 0.70 时，TRJD-AT 的 ΔF₁ 从 3.2 点增至 9.1 点，MacBERT + MLP 从 8.4 点增至 19.6 点，相对优势随攻击增强而扩大；Tier 3 保持不超过 1 点。最近帖子窗口 K 从 10 增至 30 时，性能从 0.857 增至 0.891，K = 40 为 0.894，支持 K = 30。对抗损失权重 λ = 0.5、1.0、2.0 时清洁 macro-F₁ 相差在 0.4 点内，λ = 5.0 降至 0.868。TwiBot-22 关注边上限从 50 增至 200 时性能从 0.811 增至 0.823，500 时为 0.825，表明默认设置稳定。

When does the relational advantage narrow?：关系优势何时收窄？按关注边度将 Weibo 测试用户分为稀疏（至多 5 条边，21.4%）、中等（5–50 条边，58.2%）和密集（超过 50 条边，20.4%）。稀疏用户中，TRJD-AT 清洁 0.851、Tier 2 下 0.793，MacBERT + MLP 为 0.847 和 0.718，清洁差距仅 0.4 点但鲁棒性差距为 7.5 点；中等用户清洁差距 3.5 点，鲁棒性差距 8.9 点；密集用户清洁差距 4.7 点，鲁棒性差距 10.1 点。文本模态门控权重均值在稀疏、中等、密集用户中分别为 0.68、0.55、0.43，说明模型对稀疏账户更依赖文本，随交互密度增加转向关系信息。

Summary of principal findings：主要发现总结。第一，TRJD-AT 清洁性能匹配或略超最强融合基线，在 Weibo 相对 TwiBot-22 边际更大。第二，在最激进的 Tier 2 生成式改写下，TRJD-AT 下降 5.6 点，最强纯文本基线下降 13.4 点；消融表明 HGAT 关系建模是主要鲁棒性来源，对抗训练主要影响清洁准确率。第三，稀疏交互历史账户的关系优势较小，文本模态门控权重从稀疏用户的 0.68 降至密集用户的 0.43，部署时应考虑密度。

讨论部分总结：文本与关系存在结构性不对称。攻击者可改写受控账户文本，但观察到的发布和关注结构保持不变，因此依赖文本的模型更暴露，而关系模型保留未在评估中被修改的信息；这是一种条件优势，不是对拓扑操纵的保证。纯文本中文检测器在早期威胁环境中可能足够，但 Tier 2 暴露了其对文本表层形式的依赖；结果受一个冻结生成器限制，应视为有界压力测试。鲁棒性论证假设攻击者不能同时控制目标账户关注图，且关系信号足够有信息；稀疏端会优雅退化而非灾难性失败。对抗训练方面，移除 FGM 降低清洁 macro-F₁ 1.2 点但不降低 Tier 2 受攻击 macro-F₁，因此 FGM 更适合描述为训练时正则化而非独立测试时改写防御；该观察与 Tsipras et al. 描述的鲁棒性–准确性权衡形成镜像，发生在低数据微调机制中，关系分支已携带多数鲁棒关键信号，文本空间对抗损失的边际贡献被图吸收。部署含义方面，新创建或弱连接账户关系证据少，而早期检测最有价值；门控对文本权重更大，清洁性能相对纯文本优势小。建议采用密度感知路由、冷启动分支、文本、注册元数据、发帖时间统计、设备或 API 指标与校准不确定性，低置信度进入人工审核，并随证据积累重评分。局限包括：三级攻击是受控黑箱压力测试，未覆盖混合攻击、字符混淆、语码转换、多模态改写、自适应攻击、时间操纵和协调关注控制；微博数据采集于 2022 年 3 月至 2023 年 12 月，TwiBot-22 不证明跨中文平台或未来微博迁移；评估中图拓扑和用户行为固定，且攻击最近 K 窗口每篇帖子，为高覆盖压力测试；Tier 2 使用一个冻结 mT5 中文改写检查点，缺乏新招募人工自然性评估，精确微调检查点公共标识和候选级过滤日志未保留；每个配置仅三个随机种子，不足以强推断；稀疏账户需密度感知校准、补充行为特征、周期重评分和人工审核。

研究结论翻译：本文研究受控改写攻击下的中文社交机器人检测。TRJD-AT 结合中文 MacBERT 文本编码器、异构关系编码器、轻量级门控融合模块和 FGM 训练。评估将帖子级扰动与账户级预测分离，并分别报告清洁性能、受攻击性能和退化。在微博上，TRJD-AT 在 τ₂ = 0.80 时获得清洁 macro-F₁ 0.891 和 Tier 2 受攻击 macro-F₁ 0.835，对应下降 5.6 点。MacBERT + MLP 在同一攻击下获得 0.733，对应下降 13.4 点。消融表明关系建模是较小退化的主要来源。FGM 主要与清洁 macro-F₁ 改善相关，而门控和行为特征提供较小增量贡献。结果支持一个有界结论：当攻击者改写文本但观察图保持固定时，结合文本和关系信息可相对纯文本检测降低性能退化。该结论不自动扩展到拓扑操纵、新平台、未来数据分布或未测试攻击生成器。未来工作应评估自适应和拓扑变化攻击、部分攻击覆盖、多个中文改写器、时间和跨平台泛化、更强对抗训练方法、更多随机种子、完整 Tier 2 过滤日志和密度感知冷启动部署。