《Journal of Survey Statistics and Methodology》：Paradata Versus Self-Reports for the Collection of Technical Data About Smartphones: Trade-Offs Between Completeness and Accuracy of Data on Smartphone Operating System Versions
编辑推荐：
智能手机在日常生活中扮演着核心角色，并为调查数据收集提供了巨大潜力。然而，其效用可能受到智能手机操作系统及其版本的制约，这决定了应用程序的兼容性。本文旨在研究准确确定智能手机操作系统版本的方法，这是评估数据收集工具的设备兼容性时的一个重要因素。研究人员比较了三
智能手机在日常生活中扮演着核心角色，并为调查数据收集提供了巨大潜力。然而，其效用可能受到智能手机操作系统及其版本的制约，这决定了应用程序的兼容性。本文旨在研究准确确定智能手机操作系统版本的方法，这是评估数据收集工具的设备兼容性时的一个重要因素。研究人员比较了三种方法：(1) 从网络受访者被动收集的辅助数据（用户代理字符串；UAS）；(2) 自我报告的智能手机品牌和型号，并与在线数据库中的操作系统版本信息匹配；(3) 受访者按照分步说明直接自我报告操作系统版本。利用英国家庭纵向研究COVID-19网络调查（一个针对英国家庭的概率样本）的数据，研究人员评估了每种方法的完整性和准确性。研究结果表明，辅助数据在某些方面不如基于自我报告的方法。首先，UAS数据仅为约50%的受访者提供了有效的智能手机操作系统版本数据；其余50%未使用智能手机完成网络调查（而方法(2)和(3)的有效案例比例分别为90%和71%）。其次，使用智能手机完成调查的受访者子集并不能代表全部受访者，而通过自我报告方法获得操作系统版本数据的受访者则具有广泛的代表性。第三，UAS数据低估了较旧的操作系统版本。拥有较旧智能手机的受访者似乎不太可能使用它们完成调查。研究结果还显示了操作系统之间的差异，表明iPhone用户比Android用户更容易提供相关且有效的信息：他们更有可能报告可关联到技术数据的有效品牌和型号、报告操作系统版本以及使用智能手机完成调查。
智能手机在日常生活和调查研究工具中均具有重要价值。调查研究人员日益利用从智能手机被动或主动收集的数据来补充或替代传统调查测量。然而，智能手机采用多种操作系统（OS），并存在众多品牌和型号。设计基于应用程序的研究工具时，需要确定针对哪些操作系统及版本进行开发。本研究针对网络调查中并非所有受访者均使用智能手机完成问卷的实际问题，比较了被动收集的辅助数据（paradata）与两种基于自我报告的方法在测量智能手机操作系统版本方面的表现。研究数据来源于英国家庭纵向研究（Understanding Society）COVID-19网络调查，这是一个针对英国家庭的概率样本。研究样本限定为在第6波（2020年11月）和第7波（2021年1月）均在线完成问卷的受访者，排除关键协变量缺失案例后，最终分析样本为9,386人。在第6波中，受访者被要求以三元搜索方式报告智能手机品牌和型号，研究人员随后将自我报告的型号与GSMArena.com在线数据库中的技术规格（包括操作系统版本范围）进行匹配。在第7波中，报告拥有Android或iPhone的受访者被引导至询问操作系统版本的问题，并附有如何在手机设置中查找该信息的说明。两个波次的网络调查软件均自动收集了用户代理字符串（UAS）辅助数据。针对四个研究问题，研究人员采用了多种分析方法：对于完整性问题（RQ1），提供描述性统计表格，列出各方法获得有效操作系统版本数据的受访者数量和比例及缺失原因；对于代表性问题（RQ2），使用逻辑回归模型估计获得有效数据的倾向性，并计算变异系数（Coefficient of Variation, CV）以衡量不同特征受访者间倾向性的差异程度；对于总体分布问题（RQ3），分别针对Android和iOS呈现不同操作系统版本的比例分布；对于个体一致性（RQ4），计算Cohen's Kappa系数以及UAS数据与自我报告方法之间的一致率，并考虑了基于型号匹配方法中最低版本、最高版本和范围三种比较方式。研究结果显示，在数据完整性方面，自我报告品牌和型号方法最为成功，为90%的受访者获得了有效数据，主要缺失原因是受访者提供了无法匹配的无效答案；直接自我报告操作系统版本方法获得71%的有效数据，几乎所有缺失均源于项目无回答（其中79%为“不知道”）；而UAS数据仅为约50%的受访者提供了有效的智能手机操作系统版本信息，因为其余受访者使用个人电脑、笔记本电脑或平板电脑完成调查。在代表性方面，自我报告方法对应的CV值分别为0.048和0.083，表明获得有效数据的受访者子集与全体受访者特征相似；而UAS方法的CV值约为0.437至0.439，表明使用智能手机完成调查的受访者具有高度选择性。在总体分布方面，直接自我报告操作系统版本产生了更高的旧版本报告率（Android中18%为版本1-5），而UAS数据严重低估了旧版本的比例。在个体一致性方面，以UAS为参照，Android用户自我报告品牌和型号匹配的最高版本在50%的情况下一致，若考虑支持范围则一致率为71%；直接自我报告的OS版本与UAS的一致率为73%。iPhone方面，基于最高版本的一致率为81%，范围一致率为93%，直接自我报告与UAS的一致率高达91%。Cohen's Kappa结果显示，iPhone用户各方法间的一致性普遍高于Android用户，表明iPhone用户在提供有效且准确信息方面更为容易。讨论部分指出，从总调查误差（Total Survey Error）视角出发，各方法在误差来源的规模与性质上存在权衡：UAS方法准确性高但覆盖范围和代表性受限；直接自我报告OS版本更为完整但易受测量误差影响；自我报告品牌和型号虽数据缺口最小，但在数据后处理阶段增加了信息损失和误分类的风险。由于苹果公司高度控制iOS系统并自动推广更新，而Android更新分散于各制造商，基于型号匹配的版本范围方法中，使用最高版本对于iPhone是合理近似，对Android则可能过于乐观。研究结论表明，对于识别受访者智能手机操作系统版本的目的，辅助数据在某些方面劣于基于自我报告的方法：UAS数据仅覆盖约一半使用智能手机完成调查的受访者；其获得的子集代表性较差；且系统性地低估了旧操作系统版本。此外，所有方法均显示iPhone用户比Android用户更容易提供相关有效信息。该研究对于应用研究和调查设计具有重要实践意义：设计者需要在数据完整性、准确性和代表性之间做出权衡，并考虑OS平台差异导致的系统性偏差。论文发表于《Journal of Survey Statistics and Methodology》。
