《Journal of Official Statistics》:Experiments of Quasi-Randomization Estimation for Official Statistics Based on Aggregated Mobile Network Operator Data
编辑推荐:
尽管移动网络运营商(MNO)数据具有巨大潜力,但当今尚不存在基于聚合且匿名化的移动电话信令数据(原则上各国均可获得)生产的官方统计。在缺乏MNO数据的情况下,研究人员利用统计登记册和抽样调查数据在挪威和意大利开展了概念验证实验。研究中探索并分析了可行的方法
尽管移动网络运营商(MNO)数据具有巨大潜力,但当今尚不存在基于聚合且匿名化的移动电话信令数据(原则上各国均可获得)生产的官方统计。在缺乏MNO数据的情况下,研究人员利用统计登记册和抽样调查数据在挪威和意大利开展了概念验证实验。研究中探索并分析了可行的方法和潜在的复杂问题,从而使研究人员现已准备好就获取MNO数据以构建生产解决方案进行谈判。估计方法以及研究人员对非调查大数据的实验方法均可对其他具有类似统计兴趣的研究者有所裨益,无论数据来源是移动电话、交易记录还是其他渠道。
## 论文解读文章
### 一、研究背景与问题
移动网络运营商数据蕴含着生产人口、旅游、流动性和环境等官方统计的巨大潜力。然而,尽管原则上各国均可获得聚合且匿名化的移动电话信令数据,但当今尚不存在基于此类数据生产的官方统计。统计机构无法获取纳米级MNO数据(即设备、时间、小区ID记录),原因在于保密性、商业利益和技术等方面的限制。实际可获得的是宏观MNO数据,即针对特定时间段内多个设备的汇总度量(如给定日期从城市A移动到城市B的设备数量),且须超过指定的保密阈值。
在缺乏真实的MNO数据的情况下,如何评估准随机化(QR)估计方法在宏观MNO数据上的可行性?用户选择误差的严重程度如何?哪些因素影响用户选择效应?缺少特征变量、设备重复和用户模糊性会带来哪些潜在并发症及补救措施?这些是本研究试图回答的核心问题。
### 二、研究内容与结论概述
研究人员开发了基于QR方法的估计方法体系,并在挪威和意大利进行了概念验证实验。在挪威,研究人员从统计登记册中抽取大型样本;在意大利,则使用日常生活方面调查(ADLS)数据。通过用样本s和用户子样本s
P分别替代总体U和MNO用户集合P,研究人员得以在无需实际获取MNO数据的情况下,探索QR估计的可行性与潜在问题。研究得出的主要结论包括:MNO数据普遍存在用户选择误差,需要进行调整;按年龄等MNO已知特征进行QR事后分层可有效减少选择误差;缺少特征、用户模糊性和设备重复是三个主要的潜在并发症,其中用户模糊性挑战最大,而设备重复的影响相对较小;研究提出的SUD估计器在所探索的各种用户模糊场景下表现出显著稳健性。
### 三、主要技术方法
本研究采用以下关键技术方法:(1)QR事后分层估计器,用于校正用户选择误差;(2)样本分析方法,在简单随机整群抽样框架下构造选择误差、QR误差和QR效应的无偏估计量及其方差估计量;(3)SUD估计器,该估计器通过归因事后分层同时调整选择误差、用户模糊性和设备重复三类问题;(4)概念验证实验设计,利用统计登记册和调查数据模拟MNO数据环境。样本队列来源包括:挪威家庭登记册中抽取的662,988名16至99岁居民,以及意大利ADLS 2023年样本中包含18,565户家庭和41,772名个体。
### 四、研究结果
#### 4.1 用户样本平衡性
挪威数据中,70岁以上老年人在手机用户样本s
P中明显代表性不足,60岁及以下人群则过度代表。按 centrality、性别等特征分组后差异较小,但单人家庭指标(Hsh-1)差异最大(约4%),就业(Emp)和学生(Stud)状态差异约3%,性别差异最小(约0.4%)。意大利ADLS中,约2.9%的家庭没有手机,主要是含老年成员的家庭;每日使用者占86.2%,其中退休人员在用户样本中代表性最不足(?4.56%),就业者过度代表(+4.90%)。两国数据均表明,在MNO可获得的特征中,年龄是用户样本与全体人群之间差异最大的变量。
#### 4.2 用户选择误差与QR估计
挪威实验结果表明,对于通勤者和学生这两个相对选择误差最大的变量,按年龄和中心性(Centrality)进行QR事后分层调整可消除约50%的初始选择误差;由于s
P在中心性上已与s基本平衡,调整几乎完全归因于年龄。对于收入和性别,选择误差本身较小(收入为1.3%,性别为?0.4%),调整效果相应较小。意大利的QR估计结果与挪威高度一致:按年龄的事后分层(设定d)即可大幅减少选择误差,加入性别和地理特征后的增量改进有限。两国均证实年龄是最重要的事后分层变量。
#### 4.3 复杂性(I):缺少特征变量
挪威实验中,当使用仅MNO可获得的特征(如年龄、注册地址)进行QR事后分层时,调整效果有限。但若能够利用MNO未知的额外特征(如就业状态Emp、出生地Nat、教育水平Edu),可以进一步减少或消除选择误差。例如,按Emp事后分层可使收入估计几乎无偏,按年龄×中心性×出生地分层可使学生比例接近无偏。这表明安全多方计算若能将统计机构的非MNO辅助信息整合进来,将带来显著增益。此外,以挪威通勤者比例为例,若QR估计的偏差为0.55%,要达到相同均方误差,基于调查的Horvitz-Thompson估计量所需的样本量需接近10
5,与挪威劳动力调查的样本量相当,由此可量化QR方法带来的成本节约。
#### 4.4 复杂性(II):用户模糊性
挪威模拟中将16至18岁用户按户内最年长者(即名义服务签约人)处理,结果发现用户模糊性可导致QR估计出现不稳定结果:对某些变量(如收入、学生)误差大幅增加,对其他变量(如通勤)误差反而减小,具体取决于错误分类误差与选择误差的混杂方式。意大利模拟中假设所有手机由教育水平最高的成人签约,结果年龄事后分层仍能减少选择误差但对通勤外的变量调整效果减弱。SUD估计器实验表明,尽管模型(5)即签约人-用户连接的非信息性假设在一般情况下不成立,但在所探索的各种场景中,条件(7)近似成立,使得SUD估计器(6)能够保持接近真实的QR估计值,即不受用户模糊性影响的结果。
#### 4.5 复杂性(III):设备重复
意大利ADLS数据显示,单人家庭中人均手机数为1.10,多人家庭中该比率为1.08至1.18(取决于是否排除非使用者或仅纳入每日使用者)。ADLS估计的全国手机总数约52,460,239,远低于意大利通信监管局(AGCOM)报告的活跃“人类”SIM卡数量(约78,450,000),约占后者66.9%。挪威模拟中按年龄和教育水平分配双设备概率(期望平均每人1.12部手机),结果发现设备重复对SUD估计的影响极小——与无设备重复的情形相比,整体SUD估计的变化不超过1‰至2‰。这是因为设备到用户均值的换算因子ξ
g在所探索的情景下接近1。
### 五、结论
研究人员开发了面向匿名化宏观MNO数据的QR估计方法体系。实验证据表明:第一,MNO数据普遍存在选择误差,必须进行调整;按MNO已知特征(特别是年龄)进行QR事后分层能够有效减少选择误差,这同时揭示了现行实践中以法律登记人口数与按设备位置确定的MNO-Home人数之比作为膨胀权重的做法存在概念性缺陷。第二,当MNO已知特征不足以充分减少选择误差时,安全多方计算可以利用非MNO来源的辅助信息带来显著增益。第三,设备重复的损害远小于用户模糊性,但用户模糊性在设备用户信息不为MNO所掌握的国家中仍是重大挑战;SUD估计器在所有探索场景中表现出显著稳健性,但不能假定其对所有可设想的签约人-用户连接均成立。第四,限制为几乎始终活跃的设备可能有助于减少设备重复和用户模糊性造成的误差。在用户模糊性不构成系统性问题的国家,QR估计是生产基于宏观MNO数据的官方统计中最具成本效益和广泛适用性的方法。研究人员的实验方法为非调查大数据提供了一条“先思后行”的可行路径,QR估计和该实验方法同样适用于其他敏感数据源(如数字支付交易)。