编辑推荐:
本文聚焦感官与消费者科学(Sensory & Consumer Science)领域在线研究的数据质量问题。阐述其重要性,分析现有建议利弊,强调数据质量的多维性,提出 “工程化与核查” 理念,助力提升研究有效性和可靠性,值得专业人士一读。
引言
在过去十年,感官与消费者科学领域越来越多研究通过在线平台招募参与者开展调查和实验。这一趋势受多种因素推动,如在线平台成本低、数据收集速度快、能接触大规模消费者样本等。但数据质量值得关注,因其会影响研究对科学、产业和政策制定的价值。
虽然感官科学中的描述性感官分析注重数据质量,会仔细筛选、培训小组成员并监测其表现,但在消费者研究方面缺乏类似文献。这可能与该领域专业人员多有食品科学(Food Science)背景,社会科学训练不足,对调查设计了解有限、对影响数据质量的因素认识不全面有关。因此,本文旨在强化开展在线消费者调查和实验时对数据质量控制的重视。
当前关于数据质量的建议:优点与不足
Jaeger 和 Cardello 识别出 16 个影响在线消费者调查和实验数据质量的因素,并据此提出 10 条建议 ,涵盖数据收集前和收集后的策略。数据收集前策略包括设计清晰简洁的问题、设置注意力检查、提供明确指示等,有助于减少数据收集后因参与者不符合标准而被剔除的情况。他们还敦促作者在文章中包含数据质量声明,明确最终样本的获取和数据清理方式。
Castura 等人研究发现,在消费者产品测试中,排除低质量筛选回答的消费者会影响产品测试结果,筛选合格的受访者能更好区分产品概念。数据质量筛选可节省成本或获取更高质量数据。
当前建议具体实用,便于专业人员直接应用。但仅知道改善和监测数据质量的方法还不够,还需明确数据质量的定义和特征。数据质量简单定义为 “适用性”,但这缺乏操作细节,且未体现其多维性和连续性。
数据质量最好理解为多维连续体
“适用性” 作为数据质量定义过于直观,未明确其多维性和连续性。数据质量具有多个维度,如准确性、可获取性、代表性等。好数据具备与坏数据相反的维度和属性,且数据质量存在连续体,例如数据可能部分一致、部分不一致。不同学科评估数据质量的标准和关键方面不同,这给沟通带来困难。对感官与消费者科学专业人员而言,Peer 等人和 Arndt 等人关于数据质量及其维度的研究尤为相关。
数据质量何时足够好?
感官与消费者科学专业人员常难以判断数据质量何时足够好。由于数据质量是特定学科和背景下的多维连续体,难以有统一标准。专业人员需根据研究确定所需质量程度,并透明化说明实施的质量标准及原因,将数据质量纳入研究规划阶段,承担起数据质量的责任。
现有文献在判断数据质量是否足够好方面帮助有限,这可能与不愿承认质量和成本的联系有关。提高数据质量可能涉及成本,资源限制会影响研究决策。“成本效率” 可作为确定不同数据质量维度和指标优先级的方法,即利用现有资源最大化质量。同时,不同质量措施间可能存在相互依赖关系,例如提高响应率可能导致更多测量误差。专业人员需根据研究背景确定数据质量最重要的方面。
明确且透明地将数据质量整合到在线消费者研究中
建议感官与消费者科学专业人员将数据质量视为 “工程化和核查” 的过程,认识到这是他们的责任。将数据质量理解为连续体,有助于评估在线平台、改进数据收集、分析数据和透明报告研究成果,但要避免不道德和不可重复的行为。“工程化和核查” 理念将数据质量提升为研究过程的明确部分,为评估实证决策提供框架,是追求更高数据质量的 “下一步”。
讨论与结论
感官与消费者科学专业人员应明确数据在关键质量维度上的表现,并记录提高数据质量的步骤,但这存在一些局限性。例如,用调查持续时间衡量数据质量并不总是准确,在线面板可能产生 “专业受访者”,影响代表性。
未来研究可比较不同的数据收集前和收集后方法,研究陷阱问题的设置,比较不同类型受访者的结果等。由于其他学科也在关注数据质量问题,感官与消费者科学专业人员可从中学习。人工智能(AI)的发展会影响数据质量,使用 AI 工具需谨慎,以减少偏差和误用。
总之,提升消费者科学的数据质量需要更多努力、培训和投入。将数据质量整合到在线研究过程中,并在发表文章中记录,有助于提高研究结果的有效性和可靠性,最终使科学家、行业专业人员和政策制定者受益。