递归随机分箱法：检测与可视化双变量依赖关系的创新统计方法

这篇综述创新性地提出递归随机分箱（Recursive Random Binning）方法，通过构建数据无关的二元分割网格，结合皮尔逊卡方检验（Pearson's χ2）和标准化残差可视化（departure display），实现了对连续型/分类变量间任意依赖模式的检测、强度评估与模式展示。研究突破了传统网格方法的限制，提出具有实数自由度的χ2近似分布，并在R包AssocBin中实现，为高维数据探索提供了统一的分析框架。

　　

递归随机分箱法的统计革命

ABSTRACT

研究团队开创性地提出递归随机分箱技术，通过二元递归分割构建动态网格，有效检测任意两个变量（包括连续型和分类变量组合）间的依赖关系。该方法创新性地将秩转换（rank transformation）与概率积分变换（PIT）相结合，解决了传统χ²检验在秩数据中分布近似失效的问题。通过标准化皮尔逊残差着色构建的"偏离展示图"，可直观呈现依赖模式的空间分布特征。

1 Introduction

现代数据分析面临变量类型复杂（连续型、名义型、有序分类等）与维度爆炸的双重挑战。传统散点图矩阵在变量数超过50时已难以驾驭，而现有关联度量（如Pearson相关系数、Spearman's ρ）往往针对特定依赖模式设计。递归随机分箱通过χ²统计量的p值对所有变量对进行统一排序，其数据无关的随机分箱特性确保了零分布可近似为χ²，与基于固定网格的方法（如FES、BET）形成鲜明对比。

2 Testing Independence

针对双变量独立性检验，研究团队系统比较了三种数据场景：

• •

  双分类变量：经典列联表χ²检验

• •

  双连续变量：通过秩转换生成伪观测值（pseudo-observations）

• •

  混合类型：在分类变量水平内对连续变量秩进行分箱

关键突破在于证明了秩配对在单位方格上的超几何分布性质，并推导出计数向量的协方差矩阵结构。通过图1-2的模拟数据对比，清晰展示了秩转换在保留依赖结构的同时消除边际分布影响的优势。

3 Recursive Random Binning

3.1 数据独立停止准则

分箱算法通过三个参数控制：

• •

  分箱数K

• •

  最大分割深度d

• •

  最小期望计数E_min

创新性地提出基于整数格点的离散均匀分割规则（图6），确保每个子箱面积≥5/N。通过图5的动态演示，展示递归过程如何产生2^d个非规则分箱，其随机性有效避免与特定依赖模式"共振"。

3.2 范例数据配置

图7-8系统测试了六种典型非独立模式（线性、波浪形、环形等）和噪声数据。结果显示：

• •

  深度d=4时即可有效分离非空模式

• •

  χ²(K-1)近似优于传统χ²((r-1)(c-1))

• •

  空箱不分割策略自动适应数据稀疏区域

3.3 偏离展示

图10的创新可视化技术：

• •

  红色/蓝色分别表示正/负标准化残差

• •

  饱和度与|残差|大小成正比

• •

  阈值设为2以突出显著偏离

  "方形化"分箱策略增强视觉辨识度，较之固定网格更易捕捉局部依赖。

4 秩分箱的零分布

4.1-4.3 系统比较了四种近似方法：

1. 1.

   置换检验（gold standard）

2. 2.

   逆概率变换（PIT1）

3. 3.

   多元正态近似

4. 4.

   简单χ²近似

关键发现：针对不同变量组合，提出普适性自由度公式：

• •

  双连续变量：K-1

• •

  双分类变量：(r-1)(c-1)

• •

  混合类型：K-J（J为分类水平数）

4.4 通过图9的大规模模拟验证，显示修正自由度χ²近似在各类场景下均保持良好校准。

5 准功效比较

图12-14的基准测试表明，递归分箱在六种噪声模式（线性、抛物线等）和rBEX模式上：

• •

  显著优于BET方法（尤其在局部模式）

• •

  与FES相当但零分布更准确

• •

  样本量2000时对高分辨率模式（d=4）检测力达90%

6 葡萄酒数据实例

应用6497款葡萄牙葡萄酒的13个变量（11连续+2分类）：

• •

  通过图17的p值排序识别27个显著相关对

• •

  图18展示八组典型依赖模式：

  1. 1.

     游离/总二氧化硫的尾部依赖

  2. 2.

     密度-残糖的双单调关系

  3. 3.

     氯化物-酒类型的跨类别差异

• •

  人工添加的独立变量正确识别为null

7 Discussion

该方法的核心优势在于：

1. 1.

   统一处理任意变量类型组合

2. 2.

   随机分箱避免先验模式偏好

3. 3.

   可视化与统计检验的天然整合

   未来可扩展至多变量独立性检验，或结合BERET等集成方法增强特定模式检测力。附带的R包AssocBin为大规模数据筛查提供实用工具。