边学习边获益：如何运行批量多臂老虎机实验

《The Stata Journal》：Earning while learning: How to run batched bandit experiments

　　

研究人员通常顺序收集实验数据，使得早期结果观测和自适应治疗分配能够减少对较差治疗的暴露。本文回顾了平衡探索与利用的多臂老虎机（multiarmed bandit, MAB）自适应实验设计。由于通过老虎机算法自适应收集的实验数据违反了标准渐近理论，推断具有挑战性。研究人员实现了一种估计量，在批量老虎机设计中产生有效的异方差稳健置信区间（heteroskedasticity-robust confidence intervals），并在蒙特卡洛模拟中比较覆盖率。研究人员为Stata引入了bbandits，这是一个社区贡献的程序包，用于通过模拟设计实验、运行交互式老虎机实验以及实现和分析自适应收集的数据。bbandits包含三种常见的分配算法——ε-first、ε-greedy和Thompson sampling——并支持估计、推断和可视化。

随机对照试验是因果推断的金标准，但固定、均衡的分配在治疗直接影响参与者生产率、健康或福利时可能代价高昂。一次性实验会使过多参与者暴露于较差治疗，产生财务、伦理或机会成本。当数据顺序到达时，研究者可利用早期结果调整治疗分配，在仍学习治疗效果的同时改善参与者福利。然而，通过老虎机算法自适应收集的数据违反了标准渐近理论，使传统推断失效。因此，本文旨在为应用研究者提供可访问的批量自适应实验设计介绍，并提出有效推断方法。

研究人员回顾了平衡探索与利用的多臂老虎机（multiarmed bandit, MAB）自适应实验设计，重点研究ε-first、ε-greedy和Thompson sampling三种算法。由于自适应采样导致分配概率不相等，经典推断失效。研究人员采用批量普通最小二乘（batched ordinary least squares, BOLS）估计量，该估计量在各批次内基于精度权重聚合样本均值差，并构造异方差稳健置信区间。通过蒙特卡洛模拟，在变化批次大小、批次数和效应大小的情况下，比较BOLS与常规OLS估计量的有限样本表现。模拟场景反映了应用工作中的常见情形。研究发现，自适应实验中的推断需要足够大的批次大小——在双臂设计中每批至少20个观测。批次数的影响小得多。当真实效应较小时，通常的置信区间或自助法可能表现不佳，相应检验可能过度拒绝原假设。这是因为渐近方差依赖于不集中的治疗分配概率。BOLS纠正了这一问题。实践中，两种估计量即使在小样本中也产生相似的点估计。研究人员建议同时计算OLS和BOLS，并在小边际情况下使用BOLS。此外，自适应实验常规