利用雅虎众包平台进行在线研究的质量与代表性

《Frontiers in Psychology》：Quality and representativeness of research online with Yahoo! Crowdsourcing

多模态刺激提升在线数据质量及日本Yahoo! Crowdsourcing平台样本代表性研究。

　　本研究聚焦于日本国内广泛使用的在线招聘平台Yahoo! Crowdsourcing（YCS），旨在评估其在人机交互（HCI）领域研究中的数据质量和代表性。随着在线研究在人机交互、用户研究和大规模调查中的普及，研究者越来越依赖这些平台来获取多样化的数据样本。然而，尽管在线方法在数据收集效率和覆盖范围方面具有显著优势，它们也面临着数据质量、样本代表性以及研究结果的可复制性等关键挑战。特别是在以英语和西方国家为主导的在线研究中，样本往往呈现出“WEIRD”（西方、受过教育、工业化、富裕、民主）特征，这限制了研究结果的普遍适用性。因此，本研究尝试填补这一空白，评估YCS平台在非英语、非西方国家背景下的表现，尤其是日本这一在HCI研究中具有重要影响力的国家。

YCS平台由Yahoo! JAPAN创建，后归属于LY Corporation（LYC），该平台目前拥有约8500万用户。它不仅在日本本地具有广泛的用户基础，还因其独特的招聘机制，如需要实名认证和绑定手机号码，成为研究人员获取高质量数据的潜在选择。然而，尽管其用户数量庞大，YCS在数据质量、样本代表性等方面的表现仍缺乏系统性的评估。本研究通过分析来自两个日本HCI实验室的65个数据集，涵盖了从2020年1月到2025年2月共5年多的在线研究数据，总样本量达到60,681人。这些数据集包含了多种研究类型，如多媒体体验调查、文本问卷、实验任务等，为全面评估YCS的数据质量提供了丰富的素材。

在研究方法上，我们首先对数据集进行了描述性分析，关注了参与者的完成率、保留率以及研究设计中的关键因素，如多媒体刺激的使用、注意力检查和技术验证等。此外，我们还分析了样本在性别和年龄分布上的代表性，以评估YCS是否能够为研究者提供具有广泛适用性的数据。通过对这些数据的深入探讨，我们希望揭示YCS平台在数据收集和研究设计方面的潜力与局限，为研究人员在选择在线平台时提供指导。

研究结果显示，YCS在数据完成率和保留率方面表现良好。总体完成率为77.6%，保留率为70.1%。值得注意的是，使用多媒体刺激的研究表现出更高的完成率（97.7%）和保留率（91.9%），这表明多媒体内容可能有助于吸引更积极参与的用户。然而，这一发现仍需进一步实验验证，以确认其是否普遍适用于所有类型的研究。此外，我们的分析还揭示了YCS在样本代表性方面的一些问题。性别多样性较低，尤其是“其他性别”的参与者比例较少，而“一般”设置则倾向于吸引中年男性。这可能与日本社会的特定背景有关，例如，男性在职场中的主导地位以及智能手机使用习惯的差异。

在年龄分布方面，研究样本呈现出明显的中年偏倚。两个实验室的数据集均显示，35~59岁的人群在样本中占比最高，这与日本社会中“社畜”（salaryman）群体的普遍性有关。社畜群体通常具有较高的互联网使用频率和在线参与意愿，这可能使得YCS的样本在年龄分布上偏向于这一群体。然而，这种偏倚是否影响了研究结果的普遍适用性，仍需进一步探讨。

此外，研究还发现，YCS的招聘设置对数据质量有重要影响。尽管YCS提供了“一般”和“男性”、“女性”等定向招聘选项，但缺乏对“其他性别”的明确分类，这可能导致部分群体被排除在外。因此，我们建议YCS更新其样本筛选机制，以提高数据的多样性和代表性。同时，我们提出了一些具体的研究建议，例如在研究设计中加入注意力检查和技术验证，以确保数据的高质量；使用多轮招聘策略，以平衡不同性别群体的参与比例；以及在数据收集过程中，考虑设备类型（如智能手机或电脑）对参与者行为的影响。

尽管YCS在数据完成率和保留率方面表现良好，但其在样本代表性和数据质量上的局限性不容忽视。为了提高研究的可复制性和适用性，研究人员需要采取一系列措施，如在问卷设计中加入适当的过滤机制，利用多媒体刺激增强数据质量，以及在分析过程中关注样本的多样性。此外，我们还建议研究人员在使用YCS时，结合其他平台的数据进行比较分析，以更全面地理解不同平台在数据收集和样本代表性方面的差异。

本研究的局限性在于样本量相对较小，且仅来源于两个研究团队。这可能限制了研究结果的普适性，同时也使得我们无法对所有可能影响数据质量的因素进行全面评估。例如，样本规模、研究主题以及研究的持续时间等因素可能对完成率和保留率产生影响。因此，未来的研究应扩大样本范围，涵盖更多实验室和研究类型，以更全面地评估YCS平台的表现。此外，我们还建议未来研究探索多媒体刺激在提升数据质量方面的作用，并开发适用于各种研究的通用媒体注意力检查工具。

在结论部分，我们强调了在线研究平台在提升研究可复制性和普遍适用性方面的潜力，同时也指出了其面临的挑战。YCS作为一个在日本具有广泛用户基础的平台，为研究人员提供了丰富的数据资源，但其样本的代表性问题仍然存在。因此，我们呼吁研究人员在选择平台时，不仅要关注数据的完成率和保留率，还应考虑样本的多样性、数据质量的控制措施以及平台的局限性。同时，我们也希望本研究能够为未来的开放科学实践提供参考，例如通过共享数据集，促进更广泛的学术讨论和进一步的研究探索。

总体而言，本研究揭示了YCS平台在人机交互研究中的表现，既包括其在数据收集方面的优势，也涵盖了其在样本代表性和数据质量上的不足。通过深入分析这些数据，我们为研究人员提供了实际的建议，以提高研究的严谨性和适用性。此外，我们还呼吁未来研究在更广泛的背景下评估YCS的表现，并探索其他在线平台在不同国家和文化环境中的适用性。最终，我们希望本研究能够为在线人机交互研究的未来发展方向提供启示，推动更加多样化和高质量的数据收集实践。