探索实证软件工程研究中的“分岔路径花园”：一种多元宇宙分析方法

《ACM Transactions on Software Engineering and Methodology》：Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis

多宇宙分析揭示软件工程实证研究中方法学选择对结果的影响显著，仅0.2%的变体复现原结论，建议加强方法学透明度和鲁棒性检验。

　　

摘要人工智能摘要

要查看此由人工智能生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

在实证软件工程（SE）研究中，研究人员在数据处理方式、使用的操作方法以及选择哪种统计模型方面拥有相当大的自由度。Gelman和Loken将这种自由度称为“分支路径的花园”。尽管这种自由度通常被视为一种优势，但它也对研究的稳健性和可重复性构成了威胁：即使分析决策是合理的，其变化也可能导致不同的结论。

为了更好地理解这一风险，我们对一篇已发表的实证SE论文进行了所谓的“多元宇宙分析”。我们选择的这篇论文是关于“挖掘软件仓库”的研究，因为这类研究通常会使用复杂的统计模型来分析事后观察数据。在研究中，我们确定了九个关键的分析决策——每个决策至少有一个同样合理的替代方案——并系统地用原始数据集重新运行了所有3,072个分析流程。有趣的是，只有6个“多元宇宙”（不到0.2%）再现了论文中发布的结果；绝大多数多元宇宙得出了质量不同甚至相反的结论。

这个关于实证软件工程数据中常用数据分析方法的案例研究表明，方法论选择对研究结果的影响可能比人们普遍认为的更为深远。因此，我们建议SE研究人员在标准报告的基础上，对各种可行的分析方案进行稳健性检验，或者至少明确说明每个分析决策的合理性。我们提出了一种结构化的分类模型，以帮助对方法论选择进行分类并改进其合理性说明。其次，我们展示了多元宇宙分析作为SE研究人员方法论工具箱中的一个实用工具，可以帮助产生更可靠、更具可重复性的研究成果。

人工智能摘要

人工智能生成的摘要（实验性）

该摘要是使用自动化工具生成的，并非由文章作者撰写或审核。提供该摘要的目的是为了辅助发现、帮助读者评估研究的相关性，并帮助相关领域的读者理解这项工作。它旨在补充作者提供的摘要，后者仍然是论文的正式摘要。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的摘要版本。

要查看此由人工智能生成的通俗语言摘要，您必须具有高级访问权限。