ConfiBench：基于信度的场景掩码和测试平台集成自动测试平台生成工具，利用大语言模型（LLMs）进行硬件描述语言（HDL）设计

《ACM Transactions on Design Automation of Electronic Systems》：ConfiBench: Automatic Testbench Generation with Confidence-Based Scenario Mask and Testbench Ensemble using LLMs for HDL Design

1. ConfiBench框架通过功能自验证、自修正、场景掩码和测试台组合提升LLM生成测试台的可靠性，在顺序电路任务中测试通过率比前代方法高21.06个百分点，代码开源。

　　

摘要

功能仿真是数字硬件设计中的一个关键步骤。近年来，人们越来越关注利用大型语言模型（LLMs）来生成硬件测试平台。然而，LLMs本身存在的不稳定性往往会导致生成的测试平台出现功能错误。以往的方法在没有人工干预的情况下无法实现自动功能校正，因此成功率较低，尤其是在处理顺序任务时。为了解决这个问题，我们提出了ConfiBench，这是一个具有功能自验证、自校正、场景屏蔽以及多个测试平台集成功能的自动测试平台生成框架。该方法仅使用自然语言形式的RTL规格，就能够验证生成测试平台的正确性，对测试平台进行功能自校正，并通过有效的屏蔽技术构建测试平台集合。对比分析表明，我们的方法在所有评估任务中的通过率为72.22%，而之前的基于LLM的测试平台生成框架的通过率为52.18%，直接使用LLM生成方法的通过率为33.33%。特别是在顺序电路方面，我们的方法比之前的AutoBench高出21.06个百分点的通过率，几乎是直接方法的5倍。更重要的是，ConfiBench显著提高了在黄金RTL规范下的测试平台正确性，尤其是在顺序电路方面，这一点在之前的CorrectBench方法中是一个主要缺陷。代码和实验结果已开源，链接如下：https://github.com/AutoBench/ConfiBench。