识别偏斜观测中异常值的自适应方法：在评估NAACCR癌症登记数据使用中的应用

《Stats》：An Adaptive Method to Identify Outliers in Skewed Observations: Application to Assess NAACCR Cancer Registry Data Usage Xiaowen Yang, Amjila Bam, Nubaira Rizvi, Xiao-Cheng Wu, Donald Mercante and Qingzhao Yu

　　

异常值检测是多个科学领域（包括工程、生物医学和金融）中数据预处理和质量监测的基本组成部分。尽管受控环境中的许多变量近似于正态分布，但真实世界数据，特别是生物、环境和流行病学测量数据，通常呈现明显的右偏特征。为解决传统方法的不足，本研究引入了用于异常值检测的动态阈值（Dynamic Threshold for Outlier Detection，DTOD），该方法将异常值检测重新定义为一个具体的操作流程。DTOD框架基于偏度与尾部形态之间的函数关系动态调整检测阈值。通过在轻度、中度和高度偏斜水平上进行的大规模模拟实验验证，该方法的多功能性得到确认。DTOD在光谱两端尤为有效：在轻度偏斜数据中增强检测细微异常的灵敏度，同时在高度偏斜环境中作为控制假阳性的保守高置信度筛查工具。在北美中央癌症登记协会（NAACCR）数据的实际应用中，该方法成功识别出结直肠癌中未知肿瘤大小率异常高的离群值，并在高度偏斜的肺癌数据中保持较低的误分类率。最终，DTOD为改善偏斜场景中的数据质量提供了一种有前景且可解释的解决方案。

### 论文解读：一种面向偏斜观测数据的自适应异常值检测方法及其在NAACCR癌症登记数据质量评估中的应用

**研究背景与问题**

异常值检测是数据预处理和质量监控的核心环节，广泛应用于工程、生物医学和金融等领域。异常值会扭曲描述性统计量、降低参数估计精度并削弱预测性能。然而，传统异常值检测方法（如Z分数、Grubbs检验）基于正态或对称分布假设，在处理现实世界中常见的右偏数据（如生物、环境和流行病学测量值）时表现不佳。固定阈值方法在高度偏斜情境下易产生高假阳性率，而在轻度偏斜情境下灵敏度不足；即使改进的稳健方法（如基于中位数和中位数绝对偏差（MAD）的修正Z分数）仍采用对称截断，可能遗漏细微异常。此外，距离和密度方法（如k近邻（kNN）距离和马氏距离）对参数选择敏感，机器学习方法（如孤立森林（iForest）、单类支持向量机（SVM）和主成分分析（PCA））虽然强大但缺乏可解释性且计算负担大。这些局限性凸显了对一种既对极端值稳健、又能适应现实数据非对称分布的异常值检测框架的迫切需求。

**研究内容与结论**

为克服上述缺点，本研究提出了动态异常值检测阈值（DTOD）方法，将异常值检测转化为一个具体操作工作流。DTOD通过概率修剪（probabilistic trimming）提取稳健的“无异常值”参考分布，再基于偏度与尾部形态之间的函数关系动态调整检测阈值。研究人员利用涵盖Gamma、对数正态和Weibull分布的约30,000个观测值进行大规模模拟，并在三种偏斜水平（轻、中、高）下评估DTOD性能。模拟结果显示，DTOD在轻度偏斜数据中表现出高灵敏度和强特异性；在高度偏斜数据中则作为保守的高置信度筛查工具，有效控制假阳性率，误分类率最低。在真实世界应用中，将DTOD应用于北美中央癌症登记协会（NAACCR）57个美国人群癌症登记处2016–2020年未知肿瘤大小率数据，结直肠癌（轻度偏斜）数据中成功识别出异常高的异常值，而肺癌（高度偏斜）数据中保持了较低的误分类率。该研究发表在《Stats》。

**主要关键技术方法**

1. **稳健参数化与偏度表征**：使用中位数和经1.4826归一化的MAD替代均值和标准差，计算改进的矩偏度（基于中位数的三阶矩与MAD的立方之比），并结合基于Gamma、Log-normal和Weibull分布的约30,000个模拟观测值，建立偏度与左右尾部偏差（t₁、t₂）之间的分段函数映射规则（公式1、2）。
2. **概率修剪与迭代稳健估计**：先通过矩估计法（MoM）拟合Gamma分布，计算每个观测值的双尾概率（p_i），以1?p_i为权重进行概率修剪（初始修剪比例4%），迭代去除潜在异常值，直至检测到的异常数与前次修剪数一致。
3. **动态非对称检测区间构建**：基于修剪后数据重新计算的偏度，利用映射规则确定t₁和t₂，以中位数和稳健标准差（1.4826×MAD）构造非对称上下界：下界 = 中位数 + (?1.96 + t₁) × 稳健标准差，上界 = 中位数 + (1.96 + t₂) × 稳健标准差。
4. **多重比较校正**：对候选异常值重新计算双尾p值，并应用Benjamini–Hochberg（BH）错误发现率（FDR）控制在α=0.05水平。
5. **模拟验证与真实数据应用**：设计三种异常偏离场景（k_l和k_r取不同值），生成混合Gamma数据集（n=210），与Z分数、IQR、修正Z分数和kNN对比。真实数据来源于NAACCR 57个登记处2016–2020年结直肠癌和肺癌未知肿瘤大小率（285个登记年观测值）。

**研究结果**

#### 3.1 第一场景（k_l=k_r=1，异常与主分布边界重叠严重）
- **轻度偏斜**：DTOD灵敏度为63.88%，显著高于修正Z分数（52.67%）、Z分数（1.33%）和kNN（4%）；特异性96.92%，误分类率4.65%，平衡准确率80.41%，在所有方法中表现最佳。
- **中度偏斜**：DTOD灵敏度降至19.49%，低于修正Z分数和IQR（均为63.33%），但特异性高达99.08%，误分类率4.71%，平衡准确率59.29%，优势不突出。
- **高度偏斜**：DTOD灵敏度26.79%，低于修正Z分数（55.33%）和IQR（44.00%），但特异性高达99.86%（最高），误分类率3.62%（最低），平衡准确率63.33%，稳定控制假阳性。

#### 3.2 第二场景（k_l=0.6, k_r=1.07，异常部分嵌入主分布边界）
- 轻度偏斜组：DTOD再次展现最高灵敏度和平衡准确率。
- 中度偏斜组：表现略高于平均值。
- 高度偏斜组：DTOD特异性最高，误分类率最低，平衡准确率最高，展示出在挑战性分布下的强大稳健性。

#### 3.3 第三场景（k_l=0.4, k_r=1.2，异常明显偏离主分布边界）
- 轻度偏斜组：DTOD实现高检测准确率与稳健性的优异平衡，灵敏度和平衡准确率均高于其他方法。
- 中度偏斜组：结果与前一致，验证中度偏斜下的可靠性。
- 高度偏斜组：DTOD再次优先保障数据完整性，特异性极高。

平均ROC曲线进一步证实：轻度偏斜下DTOD分离能力最强；中度偏斜下边界模糊导致区分度中等；高度偏斜下假阳性率极低，恢复稳健性能。

#### 3.4 NAACCR癌症登记数据应用
##### 3.4.1 结直肠癌结果（轻度偏斜，偏度0.644）
DTOD标记了多个异常高的未知肿瘤大小率登记年（如波多黎各2017年、阿拉巴马2016年），这些点位于分布上尾，与主聚类明显分离。DTOD识别的异常值与传统IQR和修正Z分数有显著重叠，同时额外捕捉到对称截断方法遗漏的边缘异常。

##### 3.4.2 肺癌结果（高度偏斜，偏度1.899）
DTOD标记了多个位于极端右尾的登记年（如哥伦比亚特区2019年、波多黎各2016–2020年）。这些异常值被DTOD准确识别，且DTOD保持低误分类率，有效减少了对称方法易产生的假阳性。

**总结讨论**

DTOD设计主要针对右偏分布，在轻度和高度偏斜下表现优异，但中度偏斜时灵敏度相对适中，可能因该区间尾部分布与污染点边界模糊，需进一步优化t₁和t₂调整策略。参数估计方面，当前基于Gamma拟合的正值方法对负值不适用，未来可引入M估计或L矩提高泛化能力。模拟采用极值分位数处的正态污染建立基准，但真实异常常遵循更复杂的混合或重尾分布，需在后续工作中探索不同污染率和混合模式。此外，DTOD的有效性已在右偏Gamma样结构中得到验证，未来应扩展至左偏分布和有界模型（如Beta分布或Logit-Normal模型）以处理接近上界的比例数据。统计检验中当前使用BH控制FDR，考虑到登记年数据可能存在时间依赖性，未来可采用Benjamini–Yekutieli（BY）调整实现更严格的控制。

**研究结论翻译**

本研究重构了一种针对偏斜分布设计、用于异常值检测的自适应方法（DTOD），以解决传统技术在假设正态性或对称性方面的局限。该框架整合了一个两阶段过程：首先，概率修剪利用初始分布拟合和加权调整来减轻极端值的影响；其次，偏度引导的阈值设定动态建立非对称阈值，记为t₁和t₂，以形成自适应检测区间。这一设计实现了稳健性和灵敏度之间的精细平衡，确保模型适应数据固有的非对称性而非扭曲它。通过在轻度、中度和高度偏斜水平上进行的大规模模拟实验验证，该方法的多功能性得到确认。DTOD在光谱两端尤为有效：增强检测轻度偏斜数据中细微异常的灵敏度，同时在高度偏斜环境中作为控制假阳性的保守高置信度筛查工具。这些发现进一步得到了实际应用的证实。在具有轻度偏斜特征的结直肠癌数据集中，该方法成功识别出未知肿瘤大小率异常高的离群值；相反，在高度偏斜的肺癌数据集中，通过有效区分边缘点与真实异常，它保持了较低的误分类率。最终，DTOD为改善单变量偏斜场景中的数据质量提供了一种有前景且可解释的解决方案，未来研究旨在将其应用扩展到左偏、混合、多变量和非参数分布。