一种基于k近邻的无处理标签农业处理效应估计方法

《Information Processing in Agriculture》：A k-nearest-neighbors based method for estimation of treatment effects in agriculture without treatment labels

　　

研究人员设计了一种无需处理标签即可估计处理效应（treatment effect）的方法。研究人员在真实数据集和合成数据集上验证了该方法的有效性。该方法特别针对农业数据量身定制。

在农业及相关领域中，研究者常能观测到结果变量（如作物产量），却缺乏产生这些结果的处理条件信息。例如，农场产量数据通常公开可得，而施肥或其他增产技术的应用情况却未披露。此时，尽管数据集中可能存在对照组，但无法识别哪些单元属于对照组，导致处理效应估计面临挑战。现有方法如合成对照法或k近邻匹配法均需已知处理状态，难以应用于此类场景。为此，研究人员提出一种无需处理标签的处理效应估计方法，利用两期结果数据快照，通过k近邻（k-nearest-neighbors, k-nn）估计误差的变化来推断处理效应大小或其下界。该研究发表于《Information Processing in Agriculture》。

研究人员首先建立了结果变量的生成模型：单元产量由邻域平均效应、处理效应和随机噪声构成。通过比较处理前后两期快照中k-nn估计的均方误差，可分离出由处理异质性导致的额外方差。在无处理或全处理基线快照中，邻域内方差仅反映自然噪声；而在混合处理快照中，若部分单元接受处理，邻域内方差将增大。根据推导，处理效应平方可表示为两期方差差、处理比例p以及邻域大小的函数。当p未知时，利用p(1?p)≤1/4的性质可得到处理效应的下界。若p已知，则可获得无偏估计。方法无需识别具体处理单元，避免了先估计处理标签再估计效应的级联误差。

为验证方法有效性，研究人员在多种条件下进行了测试。模拟数据采用位置相关的产量函数，加入可控噪声和季节效应，随机选择50%单元接受处理。结果发现，检测成功率随效应大小和样本量增加而提高，随噪声增大而降低；季节平均值漂移不影响估计。检测能力近似由比率??²/(??²/√??)决定，当该比率大于20时，方法更可能检测到非零效应。若效应量与标准差相近，约400个单元即可满足检测需求。

在真实数据测试中，研究人员使用美国县级玉米产量数据构造1988年干旱“处理”。将部分县的1987年产量替换为1988年产量，模拟未知处理标签的情景。真实平均损失为25蒲式耳/英亩，当50%单元被替换且p=0.5精确已知时，k-nn估计值为35，误差约30%。误差主要源于干旱效应在不同县并不恒定，甚至部分县产量上升，违反了处理效应恒定的假设。随后按州进行分析，由于州内效应更均匀，20个州中有14个州的真实值落入置信区间。进一步按州内收入十分位划分亚组，在受影响最严重的五个州（明尼苏达、伊利诺伊、威斯康星、印第安纳、爱荷华）中，估计值略偏高但真实值均位于置信区间内，且正确反映了高收入县干旱效应更大的趋势。

在Las Rosas农场数据集中，氮肥以条带方式施用。研究人员仅保留未施氮（对照）和最大施氮（处理）条带，并删除标签，以1999年对照数据作为基线，2001年数据包含50%处理和50%对照。由于条带排列违反空间独立假设，通过扩大邻域使90%农场的处理邻居比例处于40%至60%之间，最终选择11个邻居。估计结果与利用真实标签计算的产量差异接近，且置信区间更窄；空间分组刀切法验证了估计的稳健性。

讨论部分指出，该方法的主要优势是无需处理标签即可估计效应大小，且不需推断具体处理单元，因而避免了标签误分类带来的级联误差。其主要局限性包括：统计检验力较低，仅当处理效应相对于噪声足够大时才能可靠工作；假设条件严格，尤其是SUTVA（稳定单元处理值假设）在农业中常难满足，因杀虫剂或授粉干预可能影响邻近单元。与部分标记数据或推断处理分配的方法不同，本方法直接从邻域预测误差变化中识别信息，但无法估计处理效应的符号。与合成对照或最近邻匹配相比，本方法适用于大样本且部分单元接受处理但身份未知的场景。

研究结论指出，该方法在缺乏处理标签时能够估计处理效应大小。模拟实验表明，只要方差恒定，即使均值存在强季节变化，方法仍能可靠检测非零效应，这对常见季节波动的农业数据尤为重要。实证应用中，当处理效应同质且假设近似满足时，结果一致；干旱研究的州级和收入层分析即为例证。尽管存在局限，该方法在标签缺失且识别假设近似成立的场景中具有实用价值，为研究人员提供了一种无需知道具体处理单元即可恢复处理效应大小信息的途径。