基于机器学习的验证方法在教学游戏中的实验随机化应用

《Frontiers in Artificial Intelligence》：ML-based validation of experimental randomization in learning games

机器学习模型验证实验随机化分配的潜力及影响因素。通过设计学习游戏，将参与者随机分为两组，对比监督学习（逻辑回归、决策树、SVM）和无监督学习（k-means、KNN、ANN）的分类性能。结果显示监督模型在合成数据加持下准确率达87%，优于无监督模型；特征分析揭示总得分和时间是关键预测因子。研究证实ML可作为随机化验证工具，但受样本量和实验复杂度制约，未来需结合传统统计方法并扩大样本规模。

　　随机化是实验研究中广泛使用的一种方法，旨在确保研究对象在不同组之间的分布具有代表性，从而减少个体差异对实验结果的干扰。然而，尽管随机化被认为是提高实验效度的关键步骤，其有效性并不总是能够得到保证。因此，本研究引入了机器学习（ML）模型作为辅助工具，用于验证实验中参与者随机分配的合理性。通过设计一个包含二元场景的“学习方向游戏”，本研究对监督学习和非监督学习模型在二分类任务中的表现进行了评估，以探讨它们在识别随机化偏差方面的潜力。

在实验设计中，随机化可以基于参与者的人口统计学特征，如性别、游戏经验水平等，也可以通过将参与者分配到不同的游戏类型（如二维与三维）来实现。这种随机化方法在教育研究中尤为重要，因为它有助于确保不同实验条件下的公平比较。此外，研究还强调了样本量对随机化有效性的影响。当样本量较小时，随机化的效果可能不够显著，从而影响实验的可靠性。为了弥补这一不足，研究引入了合成数据，通过增加样本量来提升模型的分类能力。然而，合成数据的使用也带来了新的挑战，尤其是在非监督学习模型中，可能会导致过拟合现象，使得模型在训练数据上表现良好，但在测试数据上的泛化能力下降。

在机器学习模型的应用中，监督学习模型通常依赖于标签数据，例如已知的组别分配，从而能够更有效地进行分类任务。本研究中使用的监督学习模型包括逻辑回归、决策树和支持向量机（SVM）。这些模型在加入合成数据后，分类准确率显著提高，达到了87%。相比之下，非监督学习模型（如K均值、K近邻和人工神经网络，ANN）在二分类任务中的表现则相对有限。特别是ANN模型，在加入合成数据后出现了明显的过拟合现象，其精确度甚至达到了44%，这表明该模型在处理小样本数据时存在一定的局限性。

本研究进一步通过特征重要性分析，揭示了哪些变量可能影响实验中的分配偏差。结果显示，某些关键变量，如参与者在2D游戏中的总得分和总耗时，对分类任务具有显著影响。性别和游戏频率虽然在某些模型中被识别为次要预测因素，但它们在一定程度上仍然与分配偏差相关。这表明，尽管实验设计在人口统计学变量上实现了有效的随机化，但在实际应用中，仍需警惕某些变量可能被错误地归类，从而影响实验的可靠性。

此外，研究还探讨了监督学习与非监督学习模型在识别随机化偏差方面的差异。监督学习模型在分类任务中表现出更高的准确率，而非监督学习模型则在某些情况下能够发现潜在的模式，但这些模式的识别可能并不足以支持随机化的有效性。因此，研究提出了两个假设：第一，监督学习模型在检测随机化偏差方面优于非监督学习模型；第二，特征重要性分析能够揭示分配偏差的关键预测因素。通过这些假设，研究希望进一步探讨机器学习在实验研究中的潜力，并评估其在不同实验设计中的适用性。

在实验过程中，研究采用了两个不同的实验场景：一个基于二维界面，另一个基于三维界面。参与者需要在游戏开始前适应环境，以便更好地完成任务。二维界面通常被认为更容易理解，因为它减少了认知负担，而三维界面则可能需要更多的空间适应能力。研究发现，参与者在二维界面中表现更优，这可能与任务的复杂性有关。二维任务允许学习者更专注于核心概念，而三维任务则需要更多的空间认知能力，这在传统教育材料中并不常见。

研究还强调了机器学习在教育研究中的应用潜力。通过分析学习行为数据，机器学习可以帮助识别隐藏的偏差，从而提高实验的效度。例如，学习分析和教育数据挖掘已经被广泛应用于个性化学习和自适应教学等领域。此外，情感计算等技术也被用于检测学习者在游戏过程中的情绪状态，以进一步优化学习体验。然而，这些技术的应用仍然面临挑战，尤其是在处理小样本数据时，可能会导致模型的泛化能力下降。

在数据收集和分析方面，研究采用了多种机器学习模型，以评估它们在二分类任务中的表现。监督学习模型的分类准确率在加入合成数据后显著提高，而非监督学习模型则表现出一定的局限性。研究还指出，监督学习模型的性能受样本量和实验设计复杂度的影响较大，而在小样本情况下，其可靠性可能不够。因此，未来的实验研究应谨慎应用这种方法，并结合传统平衡测试（如t检验和F检验）来进一步验证随机化的有效性。

总体而言，本研究展示了机器学习在验证实验中参与者随机分配的潜力，特别是在处理复杂数据和识别隐藏偏差方面。然而，研究也指出，机器学习模型的有效性受到样本量、数据质量和实验设计复杂度的制约。因此，未来的实验研究应结合更多元化的数据集，并探索不同类型的机器学习模型（如半监督和自监督模型）在分类任务中的表现，以进一步提高实验的效度和可靠性。此外，研究还建议，未来的实验设计应考虑更多的实验条件，以拓展机器学习在实验研究中的应用范围。