《Array》：On the implementation and performance evaluation of botnet detection algorithms based on domain generation algorithms’ techniques
编辑推荐：
为缓解利用伪随机字符串规避静态黑名单的僵尸网络(Botnet)命令与控制(Command and Control, C&C)通信，本研究针对BotNet Detection Framework(BNDF)缺乏实时处理能力的问题，开发了一种新型早期检测模
为缓解利用伪随机字符串规避静态黑名单的僵尸网络(Botnet)命令与控制(Command and Control, C&C)通信，本研究针对BotNet Detection Framework(BNDF)缺乏实时处理能力的问题，开发了一种新型早期检测模块，集成并比较两种监督学习算法——MaldomDetector与掩码N元语法(Masked N-grams)，通过分析DNS请求的词汇与统计特征识别恶意域名。系统在合成环境与真实网络流量中验证，测量分类准确率与计算延迟。结果揭示了定量的权衡关系：掩码N元语法(Masked N-grams)的分类准确率达85.09%，高于MaldomDetector的79.22%；反之，MaldomDetector表现出更优效率，处理单个域名为1.38 ms，而掩码N元语法(Masked N-grams)计算开销更高。遇到的局限性是离线训练指标与动态实时流量间的性能差异。该方法适用于资源受限的边缘计算环境下的入侵检测系统(Intrusion Detection System, IDS)与安全监控。
基于DGA技术的Botnet检测算法实现与性能评估——论文解读
该研究发表于《Array》。现代僵尸网络(Botnet)利用域名生成算法(Domain Generation Algorithm, DGA)产生大量伪随机候选域名进行命令与控制(Command and Control, C&C)通信，以规避基于静态黑名单的检测手段，并在网络中产生典型的NXDOMAIN（域名不存在）响应突发。现有的BotNet Detection Framework(BNDF)虽能进行行为异常检测，但其DNS事件聚合窗口为一小时，无法匹配DGA在分钟级的C&C rendezvous过程，且缺乏实时域名级早期检测能力；此外多数已有DGA检测器未在真实企业网络流量漂移分布下重新评估。为此，研究人员在BNDF中集成了基于二级域名(Second-Level Domain, SLD)词汇与统计特征的早期检测模块，对比评估了MaldomDetector与掩码N元语法(Masked N-grams, 即Masked N-grams)两种监督学习算法及原有确定性随机性算法(Randomness Metric Algorithm, RMA)，在UMUDGA标准数据集与高校真实网络流量中量化准确率—延迟—内存的权衡关系，验证其可接入安全信息与事件管理(Security Information and Event Management, SIEM)/安全编排自动化与响应(Security Orchestration, Automation and Response, SOAR)流水线。
研究人员采用UMUDGA数据集（50个DGA家族，每类5000个恶意样本，均衡250000个良性样本，共500000个SLD，按家族分层90/10划分），对MaldomDetector提取12维词汇特征（熵、连续辅音/元音数、长短比、RMA随机性得分等）并用K最近邻(K-Nearest Neighbors, KNN, k=100)、支持向量机(Support Vector Machine, SVM)、随机森林(Random Forest, RF, n_estimators=100, max_depth=100)、多层感知器(Multilayer Perceptron, MLP, 激活函数ReLU, 隐藏层64, Adam求解器)训练对比；对Masked N-grams将字符掩码为4类（辅音c、元音v、数字n、符号s），提取15个词汇特征加29个频率特征（N∈{1,2,3}阶掩码N元语法频次），同样用四种分类器训练对比，超参数通过GridSearchCV确定最优。选定最佳模型（MaldomDetector用KNN，Masked N-grams用Random Forest）后，将早期检测模块以Socket被动监听端口9999接收过滤后的DNS请求（字段ip、name、rescode），经白名单过滤后对SLD提取特征并分类，标记mAGD（malicious Algorithmically Generated Domains）时记录请求IP与响应码，输出结构化告警。在线实验部署于厄瓜多尔昆卡大学(U. de Cuenca)网络DNS服务器，采集7天真实流量，结合rescode中NOERROR与NXDOMAIN比例辅助判定误报，并与BNDF原带RMA算法对比。
4.3. Evaluation of machine learning models（机器学习模型评估）
研究人员分别在MaldomDetector与Masked N-grams特征集上测试KNN、SVM、RF、MLP四种分类器。MaldomDetector中KNN综合表现最优（准确率81.08%，F1值80.07%），Recall达76.01%为最高，故选KNN部署；Masked N-grams中Random Forest准确率最高（86.12%，F1值85.80%），故选Random Forest部署。表明Masked N-grams特征对DGA家族泛化能力更强，集成模型优于传统单模型。
4.4. Offline evaluation scenario（离线评估场景）
在50000条未见过的平衡测试集上，Masked N-grams(RF)准确率为85.09%，Precision、Recall、F1均为85.09%；MaldomDetector(KNN)准确率为79.22%，F1为79.16%；RMA基线仅75.68%。Masked N-grams全面优于另两者，MaldomDetector次之，证明基于词汇统计的监督学习显著优于确定性随机性检测。
4.5. Online evaluation scenario（在线评估场景）
在7天真实HEI流量（共64249944条DNS请求）中，MaldomDetector与Masked N-grams每日检出mAGD占比稳定在约1.05%–1.22%，RMA则高达19.41%（因将大量良性伪随机域名及NXDOMAIN爆发误判）。被标为mAGD的域名中，监督模型检出域名的NXDOMAIN比例高、NOERROR比例低（符合DGA预解析行为），RMA检出域名NOERROR比例偏高（暗示误报）。Masked N-grams检出率略低于MaldomDetector且NXDOMAIN占比更高，行为一致性更好。韦恩图显示两监督模型各有RMA未检出的独特mAGD，故不能以RMA做前置过滤。证实监督模型在实际环境中误报率低且稳定。
4.6. Evaluation of the use of computational resources（计算资源消耗评估）
每域名平均处理时间MaldomDetector为1.38 ms（特征提取0.02 ms＋分类1.35 ms），模型文件91 MB；Masked N-grams为2.23 ms（特征提取0.37 ms＋分类1.86 ms），模型文件982 MB。MaldomDetector在延迟与内存占用上具明显优势，适合资源受限环境；Masked N-grams精度更高但计算与存储开销大。
讨论与结论（Conclusions and future work）
研究人员在BNDF中实现了基于SLD词汇与统计特征的实时早期检测模块，并行运行于原有指纹与异常检测流水线，输出结构化告警供SIEM/SOAR消费而不主动阻断。离线测试中Masked N-grams准确率85.09%优于MaldomDetector(79.22%)与RMA(75.68%)；在线真实流量中监督模型日检出率约1.05%–1.22%，RMA达19.41%，响应码分析佐证监督模型误报率更低且在流量波动下保持稳定。计算资源存在明确权衡：MaldomDetector单域名处理1.38 ms、模型91 MB，Masked N-grams需2.23 ms、982 MB。因此推荐在追求最低误报与最高检出时选用Masked N-grams，在延迟与内存受限边缘环境选用MaldomDetector。局限含离线指标与在线表现漂移、对良性流量分布敏感及Masked N-grams内存占用大，未来将评估使用完全限定域名(Fully Qualified Domain Name, FQDN)而非仅SLD的影响、扩展DGA家族归因识别、探讨将监督检测器置于BNDF异常检测阶段之后及构建多检测器投票融合方案。
