机器学习方法在信息安全审计任务中的效率：比较分析

《Applied Research》：Efficiency of Machine Learning Methods in Information Security Audit Tasks: A Comparative Analysis

　　

信息安全审计的自动化需要有效的软件分析方法，尤其是在可执行文件元数据缺失、损坏或被故意修改的情况下。本研究对基于软件字节频率特征识别处理器指令架构的机器学习方法进行了比较分析。利用不同架构的平均字节频率签名，评估了朴素贝叶斯（Na?ve Bayes）模型、基于度量的方法、线性分类器、决策树、随机森林、支持向量机（Support Vector Machine, SVM）、神经网络和集成模型。分类性能通过准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F₁分数（F₁-score）指标进行评估。结果表明，即使在训练数据有限的情况下，机器学习技术也能提供令人满意的分类性能，并显著优于随机分类。在评估的方法中，线性支持向量分类器（Linear SVC, Support Vector Classifier）在所有指标上均取得了最高性能。误差分析揭示了若干组密切相关的架构，它们在大端序/小端序（endianness）、位宽（bitness）和浮点实现（floating-point implementation）方面存在差异，这是错误分类的主要来源。研究结果证实了机器学习方法在自动化信息安全审计、软件完整性验证和数字取证调查中的应用潜力。

**研究背景与问题**

随着网络威胁日益频繁，企业需要定期开展信息安全审计，以评估安全措施的有效性并满足监管要求。传统审计方法主要依赖人工检查表和专家分析，难以处理大型IT基础设施中海量日志和复杂数据，数百万条网络活动、应用及用户事件中，细微的入侵迹象往往被忽略。同时，软件包含面向多种处理器架构的指令，并非所有架构都有专业人员熟悉。新威胁和运行环境变化进一步增加了实时审计的难度。因此，将机器学习方法引入信息安全审计流程成为重要方向。然而，现有研究多聚焦于入侵检测等单一领域，缺乏对审计任务中不同机器学习方法有效性的系统比较。在软件审计中，识别可执行程序的处理器架构是首要步骤，它决定后续分析工具、动态行为分析及潜在漏洞集合。但程序头中的架构信息字段（如ELF格式的e_machine、PE格式的Machine）可能缺失、损坏或被攻击者故意篡改。因此，需要一种能够在元数据不可用时自动识别处理器架构的方法。本研究的首要目标是开发方法和软件工具，在程序头缺失或相应字段损坏时识别处理器架构；次要目标是评估识别方法的有效性并确定其适用范围。

**研究内容与意义**

研究人员提出了一种基于字节频率签名的方法，并开发了Python软件工具，对Gentoo Linux发行版中30种处理器架构的程序进行训练和测试。通过比较12种分类器在四组参数设置下的性能，发现机器学习技术即使在有限训练数据下也能取得满意的分类效果，显著优于随机分类（期望值约1/12）。其中，线性支持向量分类器（LinearSVC）在所有评估指标上表现最优。误差分析表明，误分类主要发生在字节序、位宽和浮点实现方面密切相关的架构组中，这反映了架构间的客观相似性。该研究证实了机器学习方法在自动化信息安全审计、软件完整性验证和数字取证调查中的应用潜力，并为审计工具开发提供了实证依据。论文发表在《Applied Research》。

**关键方法**

研究人员采用的关键技术方法包括：（1）构建字节频率签名，将程序代码段中的256种字节值出现次数统计并归一化到最大值，形成模板签名和待识别签名；（2）使用来自Gentoo Linux发行版的数据集，包含Alpha、Amd64、Arm64、Armv4tl、Armv7a、Mips32r2、Ppc64、Sparc等30种架构，每种架构选取30个程序文件；（3）采用12种分类器，涵盖朴素贝叶斯（GaussianNB、MultinomialNB）、高斯过程分类器、K近邻、逻辑回归、随机梯度下降分类器、线性SVC、决策树、随机森林、非线性SVC、多层感知机及梯度提升分类器；（4）设定最小、平均、最大、超四组参数配置，评估配置复杂度对性能的影响；（5）使用准确率、精确率、召回率、F₁分数及混淆矩阵进行评估。

**研究结果**

分类性能总体评估：表1结果显示，即使训练数据有限（每种架构仅30个程序），约一半分类器的F₁值仍高于0.5，而随机分类的期望值约为1/12。这表明机器学习方法能够从平均字节频率签名中提取有效的判别信息。

参数组影响：Average参数组在几乎所有指标上表现最佳，其配置接近分类器默认参数。极端的参数设置（Minimal、Maximal、Super）可能导致过拟合或模型对噪声敏感，反而降低性能。

最佳分类器：LinearSVC（Cls_7）在Average参数组下于四个指标上均取得最高值，说明通过构建线性分离超平面能够有效区分全局字节频率模式，特别是特征性的峰值分布。

误分类分析与架构组：混淆矩阵显示，主要错误集中在几组密切相关的架构中，包括（1）Armv4tl、Armv5tel、Armv6j、Armv6j_hardfp、Armv7a、Armv7a_hardfp；（2）Mips32r2、Mips32r2el；（3）Mips64r2el_n32、Mips64r2_multilib、Mips64_multilib；（4）Rv64_lp64、Rv64_lp64d；（5）Sparc、Sparc64。这些架构在字节序（_el表示小端序）、浮点运算实现（_hardfp）或位宽（_32、_64）上存在差异，但指令集和编码格式相似，因此字节频率签名接近。

鲁棒性与局限：在程序头缺失或损坏情况下，绝大多数测试程序仍能被正确识别，错误仅发生在同一架构的变体之间。真实恶意软件样本、加壳二进制文件和混淆代码的验证仍是未来必要工作；Armv7a与Armv7a_hardfp的区分可通过增加数据规模部分缓解；混淆代码会掩盖原始签名，导致识别困难。

**讨论与结论**

讨论部分指出，误差矩阵识别出的架构组反映了被分析架构特征之间的客观相似性，而非分类模型的固有缺陷。在有限数据条件下，聚合的频率表示有助于抵消单个样本数量不足的问题，并减少离群值的影响。Average参数配置代表相对标准且平衡的机器学习设置，其良好表现支持了经典机器学习方法在信息安全审计中的实用价值。

翻译研究结论部分：本研究实际实施的结果表明，机器学习方法在软件文件元数据被扭曲或缺失的条件下，能够有效识别处理器指令集架构。尽管初始数据集规模有限，且需要在每种架构内对频率-字节签名进行平均，所得指标尤其是F₁分数显示分类质量处于可接受水平，明显超过多类设置中随机猜测（1/12）的性能。对聚合指标的分析显示，线性模型，特别是LinearSVC，在精确率、召回率、准确率和F₁四项指标上均能稳定取得高结果。这一结果证实了其有效处理频率-字节特征的能力，并保持对数据变化的稳健性。相比之下，对数据不平衡或噪声更敏感的模型表现出较低的稳定性，这可归因于训练数据集较小以及不同处理器架构指令的固有变异性。在“Average”参数组中，平均数值反映了使用相对标准和平衡的机器学习配置，同样带来了总体积极的分类性能，即使初始数据集不完整。在实践中，这种效果可能源于基于频率的聚合指令表示有助于抵消个体软件样本数量有限的影响，并降低离群值的干扰。本工作获得的发现表明，经典机器学习技术可以实际用作支持信息安全审计自动化的有用工具，尤其是在需要检测架构不一致的情况下——例如涉及修改后的头部、损坏的程序代码或故意隐藏恶意片段的情形。研究分析表明，所提方法在数字取证和软件系统完整性验证方面具有显著应用潜力。未来的研究方向可能包括扩大处理器架构范围、增加训练数据的数量和多样性，以及研究模型在遇到混合或模糊架构模式时的行为。为了增强稳健性和识别准确性，有必要考虑引入更先进的技术，包括深度神经网络方法。此外，识别方法本身也有进一步发展空间，例如引入补充的或更精细的特征，包括位排序特征、由字节序列而不是孤立值导出的频率-字节描述符、结构复杂度指标，以及其他能够捕获指令模式更深层差异的属性。