Comb Test：基于离散总变异的直方图均匀性检验

《IEEE Signal Processing Letters》：Comb Test: Histogram Uniformity Testing Based on Discrete Total Variation

　　

摘要：

直方图均匀性测试是一种常见的统计任务，通常使用皮尔逊卡方检验来进行。本文提出了一种基于离散总变异的新检验方法，该方法计算简单，并且在处理类组合（交替）偏差时，其统计功效比皮尔逊卡方检验高出67%，因此可以补充标准检验方法。该检验的精确零假设分布是通过动态规划计算得出的，而使用伽马分布和蒙特卡洛估计可以将检验方法扩展到任意大的样本尺寸。通过对模拟的ADC交替差分非线性以及科学数据中的舍入偏差检测进行的实验，验证了这些结论。本文提出的基于离散总变异的检验方法易于计算，且与卡方检验不同，它利用了频矩的排序特性。其精确的零假设分布同样可以通过动态规划得到；通过伽马分布近似，并通过蒙特卡洛估计将其应用到大样本情况。在N=5?104，该方法能够有效处理大样本数据。在?1距离度量下，该检验方法的表现优于卡方检验：仅在周期为2的组合情况下优于卡方检验，并且对于平滑变化、单次跳变和耗尽型分布等异常情况，卡方检验更为适用。通过对转换器非线性、舍入偏差以及真实图像的实验验证了这些分析结果。代码和数据可在https://github.com/DiscreteTotalVariation/CombTest获取。