提升大型语言模型在硬件验证中的应用：一个新颖的系统Verilog断言数据集

《ACM Transactions on Design Automation of Electronic Systems》：Enhancing Large Language Models for Hardware Verification: A Novel SystemVerilog Assertion Dataset

硬件验证占SoC开发70%时间，手动生成断言难以应对复杂系统。研究显示LLMs可自动化此过程，但专有模型（如GPT-4o）精度不足且成本高，而开源模型需微调。VERT数据集通过系统增强开源HDL代码生成合成断言对，使Deepseek和Llama等开源模型在多个平台测试中准确率提升24.14%，效率超越GPT-4o，支持本地微调确保隐私，降低成本。

　　

摘要

硬件验证在现代系统级芯片（SoC）设计中至关重要，约占开发时间的70%。SystemVerilog断言机制用于确保硬件功能的正确性。然而，现有的工业实践依赖于人工进行断言生成，随着硬件系统复杂性的增加，这种做法变得越来越难以维持。最近的研究表明，大型语言模型（LLMs）可以自动化这一过程。不过，像GPT-4o这样的专有模型往往生成的断言不够准确，且需要昂贵的许可费用；而较小的开源LLMs则需要经过微调才能处理HDL代码的复杂性。为了解决这些问题，我们推出了VERT，这是一个开源数据集，旨在利用LLMs来提升SystemVerilog断言的生成效果。VERT使学术界和工业界的研究人员能够对开源模型进行微调，在准确性和效率方面超越大型专有模型，同时通过本地微调确保数据隐私并避免高昂的许可费用。该数据集通过系统性地从开源HDL代码库中添加变量来生成合成代码片段及其对应的断言。实验结果表明，经过微调的模型（如Deepseek Coder 6.7B和Llama 3.1 8B）在性能上优于GPT-4o，在OpenTitan、CVA6、OpenPiton和Pulpissimo等平台上相比基础模型提升了高达96.88%的性能，相比GPT-4o提升了24.14%的性能。VERT的获取地址为：https://github.com/AnandMenon12/VERT。