基于LLM的众包测试报告聚类

《ACM Transactions on Software Engineering and Methodology》：LLM-based Crowdsourced Test Report Clustering

提出基于大语言模型的众包测试报告聚类方法LLMCluster，通过迭代策略让LLM忽略表面表达差异，分析核心问题实现聚类，并生成可解释的摘要，实验证明其性能优于现有方法且摘要语义对齐度高。

　　

摘要

众包测试的开放性为测试结果带来了多样性。然而，这也导致了大量的测试报告，其中许多报告都突出了相同的问题。虽然这些报告提供了宝贵的反馈，但由于报告的冗余性，开发者在审查报告和识别错误时效率较低。为此，提出了众包测试报告聚类的方法，使开发者能够只关注每个簇中的代表性报告。然而，现有方法主要依赖于从报告中提取的特征来进行聚类，由于缺乏对报告的深入语义理解，这限制了它们生成准确且可解释的簇的能力。

为了解决上述问题，我们提出了LLMCluster，这是一种基于大型语言模型（LLMs）的众包测试报告聚类新方法。LLMCluster采用了一种迭代聚类策略。在每次迭代中，LLMCluster通过指导LLM忽略表达上的表面差异，分析每份报告中的核心问题，并将解决相同问题的报告分组到新的或现有的簇中。迭代聚类过程完成后，LLMCluster应用校正算法以确保聚类结果的完整性和有效性。最后，LLMCluster利用LLM为每个簇生成简洁的摘要，使结果更加直观和易于理解。实验结果表明，LLMCluster在六个常用的聚类评估指标上均优于现有的方法。此外，LLMCluster生成的簇摘要在语义上与手动编写的摘要高度一致。