追求高质量：对游戏化人工智能训练数据标注系统相关设计知识的综述

《Behaviour & Information Technology》：Quest for quality: a review of design knowledge on gamified AI training data annotation systems

本文通过系统性文献回顾分析56篇关于游戏化标注系统的论文，提取13个解决方案流并评估其成熟度，发现当前设计知识主要集中于具体实例，抽象原则不足，建议未来研究应注重开发可跨领域应用的设计框架和原则。

　　数据标注是创建人工智能（AI）训练数据过程中一项繁琐但至关重要的任务。游戏化作为一种手段，能够通过激励和吸引标注者来提升标注质量。然而，现有的游戏化标注系统大多只是具体实例的体现，尚未明确如何将这些设计知识从个体和情境因素中抽象出来，并应用于游戏化标注系统这一系统类别。本研究对现有的游戏化标注系统进行了综合分析，并评估了其设计知识的成熟度。我们对56篇相关文章进行了半系统性的文献综述，这些文章涵盖了游戏化标注系统的不同设计案例。除了对设计案例和研究活动进行广泛概述外，我们还归纳出13个解决方案，这些方案以目标与游戏化解决方案之间的“目的-手段”关系来描述现有的设计知识。虽然某些解决方案表现出较高的成熟度，但总体来看，我们的初步假设得到验证，即游戏化标注系统的设计知识仍处于不成熟的阶段。为了提升其成熟度，我们建议研究者应超越创建新实例为主要研究活动，转而关注开发可操作的设计指南。本研究为创建更成熟的游戏化标注系统设计知识奠定了基础，并提供了关于游戏化研究成熟度和学术发展的有价值的视角。

在这一研究中，我们通过文献综述的方法，对56篇相关文章进行了深入分析。这些文章涵盖不同的研究方法、标注任务类型以及标注者群体。大多数研究采用定量方法，其中最常用的是实验方法。标注任务的领域分布广泛，主要涉及众包、语言学和医学等。标注者方面，大多数研究聚焦于众包群体，而有15项研究并未特别强调某一类标注者。此外，还有两篇研究专门关注专家标注者，两篇研究则对比了专家与普通标注者。我们还发现两篇研究关注的是平台上嵌入的标注任务，例如YouTube平台。类似地，还有两篇研究关注公司内部员工的游戏化标注流程。

在标注任务方面，研究文献显示了多种任务类型。例如，对于图像或视频数据的标注，我们发现了诸如抽象艺术图像或皮肤病变图像等任务，这些任务在研究中频繁出现。对于文本数据，也有研究涉及扫描文档等任务。其他数据格式如音频或传感器数据则较少出现在文献中。在所有数据格式中，最常见的附加元数据是标签，这些标签可以是二元标签（如翻译问题标志）、从预定义标签集合中选择的标签，或者是由标注者自由添加的标签。这些标签能够传达图像中的情绪或氛围。

在分析现有的设计案例时，我们发现大多数研究都涉及具体实例（n=45），而有11个设计案例属于更抽象的类型。例如，两项研究开发了模型，并利用这些模型中的设计知识来构建实例。此外，还有两项抽象设计案例与游戏化部分的标注系统关联不大，而是关注如何让标注数据对公众开放或如何创建一个平台以支持人机协作。其余的设计案例则与具体的解决方案相关，因此在解决方案流中进一步描述这些案例时会更详细。

在设计研究活动方面，我们发现大多数研究集中在构建新的游戏化标注系统实例，这些系统有时包含丰富的游戏化元素，有时只是系统的一个次要组成部分。此外，一些研究提供了对游戏化设计决策的详细理由，而另一些研究则只提供较为宏观的理由，如提高标注任务的参与度。一些研究仅描述了创建的系统，而另一些研究则包括了评估活动，但这些评估活动通常样本量较小且采用定性方法来获取初步见解。此外，我们还发现两项研究在部署阶段使用现有的游戏化标注系统架构来启动他们的标注任务，并利用这些实例来收集评估数据。

本研究揭示了游戏化标注系统设计知识的现状和成熟度。通过分析现有文献，我们归纳出13个解决方案流，并评估了每个解决方案流的成熟度。虽然一些解决方案流被认为成熟度较高，但总体来看，游戏化标注系统的设计知识仍处于不成熟的阶段。为了推动其成熟度，我们建议研究者应超越创建新实例为主要研究活动，转而关注开发可操作的设计指南。本研究为创建更成熟的游戏化标注系统设计知识提供了基础，并提供了关于游戏化研究成熟度和学术发展的有价值的视角。

通过分析这些解决方案流，我们发现了一些关键问题。例如，某些解决方案流可能被认为是成熟的，如通过有意义的框架来提供享乐价值。然而，我们还发现三个主要的阻碍因素，这些因素也与游戏化研究整体相关。首先，某些解决方案是否重要和有效尚不明确，这反映了游戏化研究中的持续讨论。例如，适应不同标注者需求的解决方案体现了游戏化研究从“一刀切”模式向个性化方法的转变。其次，缺乏设计指导以避免游戏化带来的负面影响。游戏化可能带来一些负面效应，如社会比较导致的负面情绪或作弊行为，这些通常与伦理问题相关。第三，某些解决方案流缺乏可操作的设计指导，尽管许多研究提供了对特定解决方案的深入理解，但很少有研究能提供实际的指导来将这些知识应用到现实系统中。

基于这些发现，我们提出了两个明确的建议，以创建更成熟的游戏化标注系统设计知识。首先，我们建议游戏化标注系统的研究应超越创建新实例为主要研究活动，转而关注抽象设计知识的构建，如模型或设计原则。这将使研究者能够将现有实例中的设计知识更清晰地界定范围。其次，我们建议研究应关注创建可操作的设计指南，特别是如何将这些指南应用到实际系统中。这些指南将帮助未来的系统设计者更好地理解和应用游戏化知识。

此外，我们的研究还为游戏化研究的成熟度和学术发展提供了有价值的视角。游戏化研究的“第二波”通常以方法论严谨性和完整理论的构建为特征。然而，大多数研究仍集中在“如何”游戏化工作，这导致了以描述性知识为主的研究进展。相比之下，我们的研究揭示了游戏化标注系统设计知识的成熟度不足。因此，我们邀请未来的学者利用我们的发现来构建更高层次的框架，这些框架可以推广到其他类型的游戏化信息系统，例如利用已有的理论框架如自我决定理论。

最后，我们认识到本研究的一些局限性，这些局限性也为未来的研究提供了方向。首先，我们仅分析了文献中的现有游戏化标注系统案例，而重要的讨论可能发生在其他来源，如博客文章或公司网站。因此，未来的研究可能需要考虑这些额外的知识来源。其次，我们缺乏对具体研究背景的深入分析。为了全面了解现有的设计知识，我们选择了分析游戏化标注系统整体，而不是特定的标注背景。因此，我们的结果可能无法反映特定标注背景下的知识状态。尽管我们认为抽象设计知识对于系统设计是重要的，但未来的研究可能需要关注特定背景，以探索特定的游戏化设计元素。

通过本研究，我们希望为游戏化标注系统的设计知识提供更清晰的结构和更全面的理解。这将有助于未来的研究者和实践者更有效地利用现有知识，并推动游戏化标注系统的发展。我们相信，通过进一步的理论构建和实践应用，游戏化将能够更有效地支持人工智能训练数据的创建，并为相关领域带来更多的创新和价值。