《Applied System Innovation》：An Explainable Feature-Based Approach for Understanding Social Bots Behaviour
编辑推荐：
摘要：社交媒体影响力的日益增长放大了自动化账号传播虚假信息、操纵舆论及实施恶意活动所带来的风险。为应对这一挑战，研究人员提出一种可解释的特征(Explainable, Feature-Based)方法，利用从账号元数据(Account Metadata)和内容
摘要：社交媒体影响力的日益增长放大了自动化账号传播虚假信息、操纵舆论及实施恶意活动所带来的风险。为应对这一挑战，研究人员提出一种可解释的特征(Explainable, Feature-Based)方法，利用从账号元数据(Account Metadata)和内容特征导出的用户画像(User-Profile)信息在??（原Twitter）平台上检测社交机器人(Social Bots)。研究人员整合并拓展了现有研究，构建了迄今最全面的特征集合之一，融合了原始属性、文献中已提出的特征，以及新引入的可信度(Credibility)与参与度(Engagement)指标，同时加入此前未被利用的个人化资料信号(Profile-Personalisation Signal)。通过整合互信息(Mutual Information)、随机森林重要性(Random Forest Importance)与SHAP值的特征工程(Feature Engineering)与特征选择(Feature Selection)流程，研究人员评估了每类特征的贡献及其在三个基准数据集上的泛化能力。实验表明，融入所选特征的传统机器学习模型在保持可解释性的同时，可匹配或超过若干先进方法。此外，研究人员在更新的、更具挑战性的TwiBot-22数据集上提出并验证了三类特征——通用(Universal)、常见(Common)及数据集特定(Dataset-Specific)特征——为可泛化的机器人检测提供了透明且自适应的基础。
论文解读：《An Explainable Feature-Based Approach for Understanding Social Bots Behaviour》发表于《Applied System Innovation》(ASI)
一、研究背景与意义
社交媒体已成为信息传播、社会交往的重要载体，但同时也被社交机器人(Social Bots，即具有一定自动化程度、在社交网络中生成内容或与其他账号互动的账号)广泛用于散布虚假信息、干扰选举及发动网络攻击。现有检测方法主要分为基于图(Graph-Based)、基于众包(Crowdsourcing)和基于特征(Feature-Based)三大类，其中基于特征的方法利用账号元数据与推文内容构造特征训练机器学习模型最为常用。然而，已有研究多聚焦于单一数据集与单一特征重要性指标，特征集合不够系统全面，缺乏跨数据集的泛化性分析，且深度学习方法常以牺牲可解释性(Interpretability)为代价。随着平台API限制收紧及大语言模型(LLM, Large Language Model)使机器生成内容趋近人类文本，仅依赖内容特征愈发不足，亟需基于账号结构化信号的、可解释且具跨数据集泛化能力的特征体系。本研究据此系统整合文献特征并引入新特征，通过多视角重要性分析识别通用判别特征，为社交机器人检测提供透明、高效且可迁移的方案。
二、主要关键技术方法
研究人员选取Cresci-15、Cresci-17及TwiBot-20三个基准数据集进行特征工程，以TwiBot-22为独立验证集。特征体系含原始账号/内容属性、文献推导特征及两类新特征——基于十六进制资料颜色分箱(Color Binning)的个人化资料信号，以及改编自文献的通用可信度(Credibility = (followers + listed_count + retweets + favorites)相关组合 / 归一化项)与参与度(Engagement = (Σfavorites + Σretweets) / followers)。数值特征做Min-Max归一化至[0,1]，二元及独热编码不变。采用互信息(Mutual Information, MI)、随机森林特征重要性(Random Forest Importance, RFI)与TreeSHAP三种互补方法评估特征贡献，取三者归一化均值作为综合得分。依三数据集Top三分之一交集、至少两数据集交集及仅单数据集定义通用(Universal)、常见(Common)、特定(Dataset-Specific)特征集。分类器对比15种基模型，最终选随机森林(Random Forest, RF)以10折分层交叉验证评估，指标含Accuracy、Precision、Recall、F1-Score及AUC，并做超参数优化与消融实验(Ablation Study)。
三、研究结果
4.1 数据(Data)
Cresci-15（假粉丝检测，含意大利政治话题采集的真人账号）、Cresci-17（含传统垃圾机器人多个子类）及TwiBot-20（多领域种子用户经众包标注）类别分布相对均衡；TwiBot-22作为更大规模较新数据集被完全留出作泛化验证。
4.2 实验方法学(Methodology of Experimentation)
经Min-Max缩放消除长尾分布偏倚，用MI、RFI及TreeSHAP分别给出全局与局部特征贡献，RFI结合向前选择至精度无连续提升为止。对比实验确认RF为最优基分类器后做网格逐次减半(Successive-Halving)超参数调优。
4.3 结果(Results)
MI与RFI排名总体一致但存在合理分歧——MI衡量边际非线性依赖，RFI考虑特征交互。账户类特征（特别是reputation、followers_friends_ratio、是否被验证verified、收藏数favorites_count、列入公开列表数listed_count、账户年龄user_age、空闲小时idle_hours等）在排序中占主导，内容类特征中以难词数difficult_words、平均拉长词数average_elongated_words（如"sooo"类非正式拼写）及URL/提及密度较重要。新引人的Credibility位列总排第六、常见特征集首位。SHAP摘要图显示低reputation、低followers_friends_ratio、未验证及高average_elongated_words推高机器人预测概率，符合领域直觉。RF结合Top 6–10特征即可达精度平台期，添加更多特征收益递减。在Cresci-17上RF Accuracy约90%+，TwiBot-20降至约85%，TwiBot-22用全特征集Accuracy=81.05%、AUC=88.68%、F1=81.00%。
4.4 超参数优化(Hyperparameter Optimisation)
默认RF与调优后RF相比精度提升微小（各数据集≤1%），说明默认配置已较稳健，调优后略优于默认。
4.5 消融研究(Ablation Study)
仅用账户特征(Account-Based Features)分类精度高于仅用内容特征(Content-Based Features)，两者结合效果最佳。Cresci-15中二者差距小（单一机器人类型），Cresci-17与TwiBot-20差距明显（多机器人家族混存），说明内容签名跨类型泛化弱于结构账户属性。
4.6 鲁棒特征集用于机器人检测(Robust Feature Set for Bot Detection)
以三数据集Top 1/3综合得分为阈值，定义Universal（三数据集均入Top 1/3，共约10个特征，含verified、reputation、followers_friends_ratio、favorites_count、listed_count、user_age、credibility、idle_hours等）、Common（至少两数据集入Top 1/3）及Dataset-Specific（仅一数据集入Top 1/3）。在未见过的TwiBot-22上验证：全特征集最优；Universal特征集以远少于全特征数取得接近全特征性能（Accuracy≈80%，约为全特征98%效能），训练时间不足全特征1/3；Top 20融合特征（取自三类集合按综合分取前20）微优于Universal（Accuracy略高约1%）；Common集稍逊于Universal；Specific集显著差。证明通用特征捕获了大部分跨数据集判别信号。
四、讨论与结论总结
讨论指出本基于用户画像特征与经典机器学习(Random Forest)的方法在保持可解释性、低计算成本（CPU训练数十秒、推理~0.1 ms/账号、无需GPU及关注者网络数据）的同时匹敌或超越部分非图类先进方法，对API受限场景尤为适用。跨平台扩展仅需属性映射(Attribute Mapping)与特征适配(Feature Adaptation)。即便LLM可模仿人类文本，账户层元数据（年龄、reputation、粉丝好友比）与时序活动DNA（压缩后活动序列长度差异反映自动化节奏）仍具抗生成式AI伪造的判别力。
研究结论翻译如下：
本研究强调需结合账户与内容特征进行有效社交机器人检测。通过构建含文献特征及新引入特征（个人化资料颜色分箱与可信度/参与度指标）的大型特征空间，并应用基于互信息、随机森林重要性与TreeSHAP的多视角特征选择与融合流程，研究人员在三个基准数据集上多个指标超越现有非图类方法。新特征在三种互补重要性准则下均跻身最具预测力特征之列。研究发现账户类特征整体比内容类更利于准确分类，但二者结合效果最优。研究人员提出并验证了基于多视角重要性评分将特征划分为通用(Universal)、常见(Common)及数据集特定(Dataset-Specific)三类的方案，在完全留出的TwiBot-22数据集上确认仅约十个通用特征即可恢复接近全特征流水线的预测性能，为从业者提供紧凑透明的工具集。随生成式AI普及，融合多源用户画像特征对抵御机器人账号扩散具有重要价值。未来工作拟引入图方法、语义信息及简介(Bio)特征，并在LLM驱动机器人数据上评估通用特征集。
