基于多准则决策方法（MCDM）的框架：用于量化机器学习研究中可重复性的准备程度 Paulina Le??inskait?, Remigijus Paulavi?ius, Ernestas Filatovas

《Mathematics》：A MCDM-Based Framework for Quantifying Reproducibility Readiness in Machine Learning Research Paulina Le??inskait?, Remigijus Paulavi?ius and Ernestas Filatovas

　　

摘要

机器学习（ML）在各个科学领域中的应用日益广泛，这引发了人们对已发表研究结果可重复性的担忧。可重复性是科学研究的基本原则，但由于缺少必要的数据和充分的报告，许多机器学习研究结果难以被重现。本研究通过提出一个基于多标准决策（MCDM）的论文级别评估框架，解决了机器学习研究中缺乏实用定量方法来评估可重复性的问题。通过理论和数据驱动的分析，我们确定了七个关键的可重复性标准：数据和代码的可用性、README文件的包含情况、训练模型的提供、超参数和训练过程的描述以及论文的可读性。然后，使用加权求和模型（WSM）和基于理想解决方案相似性的排序偏好技术（TOPSIS）将这些标准汇总为一个统一的定量分数，以评估“R1”级别的可重复性准备程度。在基线评估中，所有标准都被赋予了相同的权重；而分析层次过程（AHP）被证明是一种实用的方法，可以根据不同利益相关者的优先级来调整权重。该框架被应用于139篇随机选取的机器学习研究论文，并与现有的可重复性评估标签进行了对比，结果显示准确率为，精确率为，召回率为。这些结果表明，MCDM为量化可重复性准备程度提供了一个可行、可解释且灵活的基础，允许通过定制标准权重来适应不同的决策情境。