《Entrepreneurship Theory and Practice》:The Future of Entrepreneurship Research Includes Online Panel Data—If Used Correctly
编辑推荐:
随着在线面板数据(online panel data, OPD)在行为科学中日益广泛使用,创业领域的编辑、审稿人和研究人员正在追问其在本领域是否具有合法位置。研究人员认为答案是肯定的——前提是满足三个条件。第一,在线面板的参与者与创业者的定义必须与研究问题相匹
随着在线面板数据(online panel data, OPD)在行为科学中日益广泛使用,创业领域的编辑、审稿人和研究人员正在追问其在本领域是否具有合法位置。研究人员认为答案是肯定的——前提是满足三个条件。第一,在线面板的参与者与创业者的定义必须与研究问题相匹配。第二,研究必须纳入样本验证的最佳实践。第三,必须将可推广性(generalizability)作为研究(或一组研究)的一部分予以明确处理。如果研究人员做到这些,OPD能够有意义地推进创业研究的理论与实践。即便如此,真实问题仍然存在。哪些类型的研究适合OPD?这些受访者是谁,他们是否如其所述?他们是否是人类,并且是否是文献中通常定义的创业者?研究人员的建议和清单旨在使创业研究人员能够回答这些问题,并在使用OPD收集数据和发表结果时做出知情选择。
论文解读:该文是一篇关于创业研究中在线面板数据(online panel data, OPD)使用的编辑述评。研究背景是,通过Qualtrics、Prolific、CloudResearch、Dynata等OPD提供商招募参与者已在心理学、教育和管理等社会科学中日益普遍,能够快速、低成本地收集大量数据;但创业领域对OPD的接受较慢,相关稿件可能遭遇负面评价甚至直接拒稿。作者指出,审稿人和编辑的质疑主要集中在:OPD平台是否适合抽样创业者群体;创业者为何愿意参加在线研究;即便创业者参加OPD调查,这些受访者是否代表田野样本中的创业者,抑或只是不可推广的特殊子集。为回答这些问题并提供使用指导,作者开展框架性研究,论证在采用最佳实践时OPD的收益大于成本,并围绕三个议题提出建议和清单:创业者定义与OPD样本对齐、样本验证、可推广性。其重要意义在于,为创业研究者、审稿人和编辑提供评估OPD质量的操作框架,避免对OPD稿件一刀切拒稿,并推动数据质量与可推广性的提升。
方法概括(不超过250字):该文为编辑述评,未开展新的实证样本采集,而是基于文献综合与框架建构提出OPD使用规范。关键技术方法包括:以预注册和定义—样本对齐设计研究;使用人工智能(artificial intelligence, AI)辅助调查工具和至少两个开放式答案筛查器识别非人类响应;以视频提交、在线访谈、企业网站/LinkedIn、利益相关者验证及两阶段招募识别应答欺诈(response fraud);以Consolidated Standards of Reporting Trials(CONSORT)式流程图报告纳入排除;以基率与敏感性分析评估验证决策;以多重方法、自复制、事后样本比较及约束普适性(constraints on generality, COG)段落处理可推广性。样本队列来源涉及Qualtrics、Prolific、CloudResearch、Dynata等OPD提供商,以及全球创业观察(Global Entrepreneurship Monitor, GEM)、panel study of entrepreneurial dynamics(PSED)等已验证或概率样本数据。
研究结果如下。Issue #1: Entrepreneur Definition and OPD Sample Alignment(创业者定义与OPD样本对齐):通过概念论证与框架建议,作者得出,判断OPD是否适合作答首先需在研究引言中明确、具体地定义“创业者”,定义应围绕新经济活动的出现而非研究情境,并可包含企业年龄、阶段、焦点、收入、员工数、创业次数、地理位置、全职或兼职自雇状态等特征;OPD较容易证明适用于检验理论驱动的心理现象和/或开发新测量,且受访者至少具有一定创业暴露;但使用OPD研究风险投资支持的创始人、有重大退出的连续创业者、高增长天使投资支持的创业者或认证投资者等特定群体较难证明合理性,深嵌特定情境的问题、纵向过程性问题及干预实施保真度问题也较难通过OPD回答。作者还得出,选择OPD提供商时须了解其如何验证职业状态,仅引用既往研究使用该平台已不足以证明样本有效性;平台间存在差异,参与者构成和招募、部署、奖励工具会变化;最佳实践是透明展示定义—样本对齐并进行预注册。
Issue #2: Sample Verification(样本验证):通过文献综合、示例分析和方法建议,作者得出,OPD数据完整性面临人类与非人类实体(如软件程序、机器人、大语言模型(large language models, LLMs))欺诈参与的风险。为识别非人类响应,应使用具有AI检测功能的调查工具,并在多个时点设置至少两个“答案”筛查器,如以不同措辞重复开放式问题;还可询问受访者作为创业者为何参加在线调查,以辅助判断并识别无意义回答。为识别应答欺诈,作者建议采用至少一种非自我报告验证方式,如短视频提交、在线访谈、企业网站和/或LinkedIn资料、利益相关者(如投资者、员工、客户)验证,或采用两阶段设计降低伪装激励。针对默认应答(yea saying),作者建议设置行为倾向性问题并自行设计独特筛查题。作者还得出,应使用CONSORT式流程图清晰报告招募、纳入和排除决定及敏感性分析;应讨论目标人群在平台上的基率,并按预计保留的有效样本而非招募量进行功效分析;应以等价检验或贝叶斯检验等评估验证与排除决策是否改变结论。
Issue #3: Generalizability(可推广性):通过方法学建议和示例,作者得出,应通过方法三角验证与自复制提升可推广性;仅依赖OPD的单来源、单方法研究不适合顶刊投稿,可将OPD实验与非重叠OPD样本、非OPD样本、田野实验、行为或客观数据、共同创始人或利益相关者数据配对。作者建议开展自复制和/或扩展,例如以不同OPD提供商或不同抽样策略重复研究,或以定性方法进行概念验证;也可借鉴大规模协作网络。作者还得出,应进行事后样本比较,将OPD受访者的人口学与创业特征同已发表研究和已验证面板(如GEM)或政府创业数据比较,以回应“OPD只吸引生活方式型或工资替代型创业者”的批评;并应在讨论部分加入COG段落,说明研究发现可推广到谁、在何种条件下以及为何。
Moving Forward(向前推进):通过综合上述议题,作者得出,当研究问题适合OPD、招募样本与明确具体的创业者定义一致、样本可验证且可推广性得到处理时,OPD可以成为顶刊论文的组成部分;行动步骤是起点而非穷尽清单,后续研究可评估已发表OPD文章使用了哪些清单项目或新方法,并据此评估和改进建议,体现稳健可复制科学的迭代过程。
讨论与结论部分总结:讨论强调,作者应承担证明责任,提供证据表明OPD能够回答研究问题、样本可验证且可推广性得到处理;审稿人和编辑不应仅因研究使用OPD而立即拒稿,而应针对每项独特研究和核心研究问题评估OPD质量;清单与问题旨在引导相关实践。研究结论翻译如下:在线面板若使用得当,能够为创业研究相关的理论与实践提供有意义的推进。研究人员希望明确,对于作者而言,证明责任在于作者,需提供证据表明OPD能够回答其研究问题、能够验证样本并处理可推广性。研究人员还强调,对于审稿人和编辑而言,重要的是要知道,一项研究使用OPD并不是立即拒稿的理由。研究人员呼吁作者改进OPD数据使用,并呼吁审稿人和编辑针对每项独特研究和核心研究问题评估OPD质量。研究人员希望本述评提出的清单和问题能够指导此类工作。为强调总体信息,研究人员以The Rolling Stones(1969)的洞见作结,其敏锐预见了使用OPD研究方法的中心张力:“你不可能总是得到你想要的,但如果你有时尝试,你可能会发现——你得到了你需要的。”OPD不总是提供研究人员想要的样本,但借助本文概述的实践,它可以提供本领域需要的那类样本。