通过变异多样性搜索对FPGA交互式调试工具进行测试

《ACM Transactions on Design Automation of Electronic Systems》：FPGA Interactive Debugging Tools Testing via Mutation Diversification Search

针对FPGA交互调试工具的测试难题，本研究提出ID-Hunter方法，通过多臂老虎机算法优化变异规则生成等效RTL设计，结合差分测试检测出15个问题，其中10个经Xilinx确认并修复。

　　

摘要

FPGA交互式调试工具通过强大的内置交互式调试功能，帮助工程师快速检测和修复RTL设计中的错误。这种交互式调试过程确保了RTL设计的准确性和开发效率。然而，对这些FPGA交互式调试工具进行严格测试至关重要，因为工程师可能会因工具本身的缺陷而误解RTL设计，从而采取错误的修复措施，进而引发安全风险。在这项研究中，我们提出了一种名为ID-Hunter的新型差分测试方法，这是首次利用多臂老虎机（MAB）引导的变异多样性搜索来生成RTL设计以测试FPGA交互式调试工具的方法。ID-Hunter由三个组件构成：变异规则组件、交互式变异优化组件和差分测试组件。变异规则组件设计了两种类型的变异规则（即程序转换和交互式调试器动作转换），以便在交互式调试过程中生成等效的RTL设计。随后，结合了变异优化组件的MAB算法进行变异多样性搜索，根据在实时交互式调试过程中记录的变异规则信息，指导有效RTL设计的构建。ID-Hunter通过差分测试组件分析这些RTL设计的输出来检测错误。具体而言，ID-Hunter通过考虑变异规则之间的多样性来高效探索输入空间，并通过分析每种变异规则下的测试结果，判断哪些区域更容易引发错误。在三个月的时间里，ID-Hunter共发现了15个错误问题，其中10个问题得到了Xilinx技术支持的确认，其中3个问题已被修复。