FieldWeaver：一种基于视觉语言的二进制协议格式推断方法

《Computer Networks》：FieldWeaver: A visual–language approach to binary protocol format inference

　　摘要：协议逆向工程是许多网络协议安全分析技术的基础。然而，二进制协议中字段特征的隐含性增加了格式分析的复杂性，从而给协议逆向工程带来了巨大挑战。现有方法通常将字段边界识别与语义推断视为独立任务，且其推断方法往往高度依赖专家知识，导致效果有限，难以适应不同类型的协议。为解决这些问题，我们提出了FieldWeaver这一基于可视化语言的二进制协议格式推断方法。FieldWeaver首先将协议消息转换为视觉图像，并利用多维纹理特征来识别潜在的字段边界，随后通过提示工程引导大型语言模型从消息中提取高置信度的语义区域，最后通过格式冲突解决模块整合这些结果以生成最终的协议格式。我们在九种常用协议上对FieldWeaver进行了测试，实验结果显示，在字段边界识别方面，其精确度为0.79，召回率为0.78，F1值为0.78，完美度为0.42，优于其他四种基准方法；在语义推断方面，其在精确语义指标上的得分為1.74，在整体语义指标上的得分為3.67，同样超过基准方法。我们还使用三种不同的大型语言模型测试了其稳定性，最大F1值差异仅为0.05，显示出很强的鲁棒性。在五种实际物联网设备上的实验进一步证明了该方法的实用性与有效性。最后，我们展示了将FieldWeaver的推断结果应用于下游任务——协议状态机推断的实例。

引言：随着互联网技术的快速发展，越来越多的异构设备与系统被连接到网络以满足各种通信需求。这一趋势使得私有网络协议的种类急剧增加。其中，由于具备高效的数据序列化与传输特性，二进制协议在物联网和工业控制网络中被广泛使用。但与遵循RFC标准的公共协议不同，私有二进制协议的格式通常不会公开，这种透明度问题给网络监控[1]和安全分析带来了重大挑战。因此，对未知二进制协议进行逆向工程便成为一项重要任务。它有助于研究人员建立未知协议的准确模型，进而解析其消息格式并推断出协议状态机，为恶意软件行为分析[2][3]、漏洞检测[4]、协议模糊测试[5][6][7]等应用提供重要支持。

协议逆向工程是指在不依赖协议规范文档的情况下，通过逆向分析来推断协议行为与结构的过程。该方法主要可分为两类：基于指令执行的方法和基于网络轨迹的方法。基于指令执行的方法主要是通过分析协议实现程序的指令来获取协议格式[8][9][10][11][12]，虽然在理想条件下这类方法能实现高精度分析，但在实际应用中往往存在诸多限制。研究人员通常难以直接获取协议实现程序或通信设备，比如带有保护机制的私有协议服务器程序或物联网固件。此外，二进制程序分析技术本身就较为复杂且效率低下，不同的指令集与硬件平台更是进一步限制了这些方法在协议逆向工程中的适用范围。相比之下，基于网络轨迹的方法无需依赖特定的协议实现实体，而是通过分析捕获的网络轨迹来进行逆向分析，从而提取协议规范[13][14][15][16][17]。虽然这类方法会受到轨迹样本完整度与质量的影响，但它们具有简单、高效、可扩展性强且独立性好的优点，因此在研究领域极具价值。

基于网络轨迹的协议逆向工程通常包括三个主要子任务：消息聚类、格式推断和状态机推断[18]，如图1所示。其中，格式推断是协议逆向工程的核心步骤，其主要任务是从未知协议的原始消息数据中识别字段顺序，并标注每个字段的边界与语义，从而帮助分析人员更好地理解协议规范，同时为后续的状态机推断提供关键输入。本文重点探讨格式推断这一子任务。不过，二进制协议具有高度灵活性，缺乏文本协议中那种明确的语义分隔符，这使得格式推断面临巨大挑战。相同的字节序列可能被解读为整数、时间戳或校验和等多种类型，甚至可能对应多个较小字段的组合[19]。因此，协议格式推断需要同时完成两项任务：字段边界识别与语义推断。这项工作的意义在于，即便无法覆盖消息中的所有字段，只要能够自动且准确地识别部分字段的边界并推断其语义，就能大幅减少人工分析的工作量。显然，自动化识别所覆盖的字段越多，其在逆向分析中的辅助作用就越显著。

协议格式推断通常采用序列比对[14][16][20][21]、启发式方法[22][23][24][25]以及语义分析[19][26][27]等策略。现有方法大多将字段边界识别与语义推断视为独立任务，分别依靠数据分布特征或语义检测器来独立完成。但这种分离式的处理方式在处理特定消息格式时往往会导致精度与覆盖范围的局限。例如，序列比对方法在相似度低的消息上表现不佳，而语义分析方法在识别罕见字段方面的能力也较为有限（更多内容见2.1节）。

为提升现有方法的泛化能力，构建更为通用的自动化协议逆向工程框架，我们提出了一种名为FieldWeaver的二进制协议格式推断方法。其核心理念在于，协议格式中字段的语义与边界之间存在密切关联，尽管两者的识别机制不同，但在逆向工程过程中应对其进行协同分析与整合。具体而言，我们首先将消息数据映射为图像表示形式，提取其灰度共生矩阵纹理特征，以此初步识别字段边界；随后将这些纹理特征输入到大型语言模型中，通过精心设计的提示工程，利用该模型的语义理解能力识别消息中的高置信度语义区域；最后通过专门的冲突解决策略，将初步识别的边界与高置信度语义区域相结合，从而生成完整的协议格式。我们的贡献可总结如下：
- 首先，我们提出了一种基于视觉纹理特征的字段边界识别方法，该方法将消息数据矩阵转换为图像表示，利用图像的多维纹理特征识别潜在的字段边界，并通过互信息校正机制进一步提升二进制协议字段边界识别的准确性。
- 其次，我们设计了一种名为FieldWeaver的新型二进制协议格式推断方法，该方法将基于纹理特征的边界识别与大型语言模型驱动的高置信度语义推断相结合，实现了高质量的协议格式逆向工程。
- 第三，我们实现了FieldWeaver，并在多个数据集上进行了全面评估。在字段边界识别方面，FieldWeaver在九种协议上的平均精确度为0.79，召回率为0.78，F1值为0.78，完美度为0.42，优于其他四种基准方法；在语义推断方面，其在精确语义指标上的得分為1.74，在整体语义指标上的得分為3.67。此外，FieldWeaver在三种不同的大型语言模型上均表现出较强的稳定性（最大F1值差异仅为0.05）。在五种实际物联网设备上的实验进一步证明了其实用性，我们还展示了将推断结果应用于下游状态机推断的实例。

相关工作：协议格式推断的主要目标是从网络轨迹中提取字段边界与语义。基于网络轨迹分析实现这一目标的常见方法主要分为以下几类：序列比对方法，这类方法包括PI[14]、Netzob[16]、NetPlier[20]和MDIplier[21]等工具，其核心理念源自生物信息学中的序列比对技术，这些方法会逐字节比较多个消息，同时在序列中插入间隙……

我们的方法：在本节中，我们将详细介绍如图4所示的FieldWeaver整体架构设计。该架构采用模块化流程，首先，原始网络轨迹会经过预处理模块，用于提取目标协议数据；随后，消息可视化模块会将轨迹数据转换为视觉图像表示；接着，利用图像的多维纹理特征识别潜在的字段边界，再通过互信息校正进一步完善识别结果……

评估：FieldWeaver通过准确识别字段边界并推断有意义的语义，为分析人员提供了恢复协议格式的重要信息，同时也为协议状态机推断等下游任务奠定了基础。为系统评估其在协议逆向工程中提供有效协议格式信息的能力，本节围绕以下五个研究问题展开实验与分析：

研究问题1：FieldWeaver在识别字段边界方面的效果如何……

讨论：首先，质量较低的数据库通常会给基于网络轨迹的协议逆向工程带来较大挑战。例如，小型数据库可能无法完全揭示某些字段的边界与语义，尤其是那些数值出现频率较低的字段。不过我们认为，FieldWeaver凭借其可视化语言方法，能够更有效地利用现有的网络轨迹。如4.1节“实验设置”和4.7节“未知协议评估”中所述，我们的实验数据集……

结论：在本文中，我们提出了一种名为FieldWeaver的二进制协议格式推断方法。该方法将消息转换为视觉图像，利用纹理特征初步识别字段边界，同时结合大型语言模型的语义理解能力，通过冲突解决策略协同完成字段边界识别与语义推断，从而获得高质量的协议格式。实验结果表明，FieldWeaver的性能优于CRediT作者贡献说明：杨启超负责原文撰写、可视化、验证、软件开发、方法设计、形式化分析及概念构思；赵芳芳负责审稿与编辑、监督、研究工作以及形式化分析；尹晓康负责软件开发、资源协调及研究工作；蔡瑞杰负责软件开发与资源协调；刘胜利负责审稿与编辑及监督工作。利益冲突声明：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。致谢：作者感谢编辑与审稿人提出的宝贵意见与建议，这些意见有助于改进我们的论文。本研究未获得任何资金支持。杨启超|赵芳芳|尹晓康|蔡瑞杰|刘胜利