《Methods in Psychology》：Best practices and ethical considerations for crowd-sourced data in the behavioral sciences.
编辑推荐：
研究人员在行为科学领域广泛使用众包平台收集数据，然而许多研究者对这些平台上参与者体验缺乏了解。本研究旨在总结研究人员作为参与者完成数百项研究任务的经验，提出常见伦理与实践缺陷清单，并给出相应建议，以改进研究设计、促进高质量数据收集、维护伦理标准并改善参与者生活
研究人员在行为科学领域广泛使用众包平台收集数据，然而许多研究者对这些平台上参与者体验缺乏了解。本研究旨在总结研究人员作为参与者完成数百项研究任务的经验，提出常见伦理与实践缺陷清单，并给出相应建议，以改进研究设计、促进高质量数据收集、维护伦理标准并改善参与者生活质量。研究同时指出，非 naive 调查参与者的存在对许多常用标准化方法的有效性构成威胁。本文包含来自微工作人员社区的广泛反馈与指导。
本研究聚焦行为科学领域众包数据收集的伦理与实践问题，研究人员以自身作为微工作人员参与Prolific等平台的丰富经验为基础，系统阐述了当前众包研究中存在的关键缺陷与改进方向。
研究背景方面，众包平台已深刻改变行为科学数据收集方式，使研究者能够快速、低成本获取非学生样本，一定程度上缓解了"WEIRD问题"——即研究过度依赖西方（Western）、受过良好教育（Educated）、工业化（Industrialized）、富裕（Rich）和民主（Democratic）背景参与者的偏差。然而，研究人员与参与者之间存在显著体验鸿沟，许多研究者从未以参与者身份体验过众包平台，导致教科书式的研究方法在特定收集媒介中出现适用性不足。尤为重要的是，平台上大量参与者出于经济动机而非纯粹的科学奉献参与研究，部分微工作人员甚至依赖此类收入维持基本生活，这使得伦理考量尤为突出。此外，大语言模型（Large Language Models, LLMs）的普及使真实"机器人"威胁显著增加，加之过往研究中存在的数据质量争议，亟需建立更完善的研究实践规范。
研究人员开展的研究以参与式观察为核心方法，结合微工作人员社区反馈，系统梳理了从研究设计到研究结束的完整流程中的最佳实践。研究得出以下主要结论：预筛选应在获取知情同意前完成，违反此原则既违反平台政策也构成伦理违规；支付标准原则上应达到所在地区法定最高成人最低工资水平，时薪估算应基于中位数完成时间；注意力检查设计需遵循平台具体政策，无效检查可能导致数据误删和不当拒付；非 naive 参与者对标准化任务的高度熟悉性会严重威胁涉及欺骗或直觉判断的研究效度；研究应提供进度指示、授权休息时段及"逃生舱"机制以保障参与者权利。
该研究的重要意义在于，这是少数从参与者视角出发系统审视众包研究实践的学术工作，填补了方法论文献中的体验空白，为《Methods in Psychology》期刊关注的创新方法改进提供了实证基础。研究强调，理解用户感受不仅关乎数据质量，更是维护学术伦理的基本前提。
关键技术方法方面，研究人员采用参与式观察法，以 Prolific 平台为主要研究场景，累计完成数百项研究任务；研究设计涵盖纵向追踪设计中的双重预筛选策略，即以小额支付前置筛选确保后续 waves 的参与承诺；数据收集结合在线社区讨论监测，特别是 Reddit 平台上 Prolific 相关子论坛的用户反馈；质量控制方面依据平台官方政策文件进行合规性分析，同时参考英国心理学会人类研究伦理守则进行伦理评估。
研究结果部分依次呈现如下：
执行调查前的准备：研究人员应亲自体验自身调查，识别疲劳段落并考虑增加提示或调整内容；利用平台工具进行预筛选，避免在知情同意后排除参与者；考虑设置初步筛选调查以识别参与者意愿与能力；以简洁方式呈现知情同意信息而非冗长文本；支付参与者应至少达到所在地区法定全职工龄最低工资。
调查实施期间的文化考量：确保单位和度量标准符合文化背景，如货币（美元 vs 英镑）、度量衡（英制 vs 公制）等。
进度管理：确保指令清晰相关；全程包含进度条或书面进度提示。
注意力和操纵检查：注意力检查应合理设计，既不过难也不过易；考量有经验的参与者可能识破研究操纵及其对效度的影响；评估参与者先前接触过特定提示、工具、操纵、问题或量表的可能性。
强制 compliance 最小化：尽量减少强制回答，对敏感问题使用提醒替代强制；审慎使用计时器，因其拖延快速参与者且使数据清理不透明；如必须使用延迟计时器，应设定最低可接受时间而非预期平均时间；标注不可中断的任务并在适当时提供授权休息；为长篇、疲劳或具有挑战性的任务设置退出机制。
研究结束阶段：始终提供开放回答框收集参与者反馈；询问参与者对其数据质量的评价并明确说明不影响未来参与或报酬；及时支付报酬；仅依据明确声明条件拒绝回答；考虑拒绝行为对工作人员账户的影响，倾向于宽容解释；完成任务的低质量、不专注回答通常不构成拒付理由；提供研究说明。
研究讨论与结论部分，研究人员指出多数众包平台研究虽可接受但仍有改进空间，这些改进不仅是伦理层面（如报酬、退出权利）或生活质量层面（如进度条）的优化，更能切实提升数据质量。高度标准化的任务因过度熟悉而失去辨别力；大量注意力检查可被习惯性识别；混乱的指令导致误解；许多善意开始的研究参与者若面临退出即无报酬的困境，宁可低质量完成以获取支付。
研究人员强调，微工作人员实质上更接近"用户"而非传统"参与者"——他们以完成任务获取适当报酬为动机，通常快速高效且对研究任务高度了解。这种观点转换对理解平台特性至关重要。
研究结论明确指出：不论学科标准如何差异，有一条原则 universally 适用——研究人员需要成为参与者，认真对待其所依赖工具的特性、限制和背景，这些工具是现代心理学和行为科学大量研究的基础。研究人员建议，所有使用众包平台的研究者都应亲身参与平台任务，以弥合研究者与参与者之间的体验鸿沟，从而提升研究质量、维护伦理标准，并推动该数据收集方式的持续健康发展。
