加权低秩逼近在数据矩阵异常值检测中的应用研究：多环境试验与多元数据分析的新策略

本研究针对数据矩阵中异常值检测这一探索性分析的关键步骤，提出基于加权低秩逼近(WLRA)的创新方法。研究人员通过16组真实数据集（含14组基因型-环境互作数据）的人工污染实验，系统比较了六种WLRA衍生算法与经典偏置校正箱线图法的性能。结果显示，在随机异常值场景下，基于加权逼近的残差法(SR)和刀切法(JackkMSE)对低污染水平(≤3%)检测效果最优，而迭代残差法(SRiterative)对高污染水平(>3%)更具优势。该方法为植物育种中的多环境试验(G×E)和一般多元数据分析提供了更有效的异常值识别工具。

　　

在数据分析领域，识别数据矩阵中的异常值如同大海捞针——这些"离群分子"可能源自测量误差、录入错误或真实的生物学变异，但若不及时甄别，将严重影响后续建模的准确性。尤其在植物育种领域，基因型与环境互作(G×E)试验产生的多维数据矩阵中，个别异常数据点可能扭曲整个品种适应性评估结果。传统依赖箱线图或主成分分析(PCA)的方法面临两大困境：对非对称分布敏感，且难以区分真实异常与高维数据的自然离散。更棘手的是，现有加权低秩逼近(WLRA)理论虽由Gabriel和Zamir于1979年提出，但其在异常值检测中的实际效能从未被系统验证，成为统计方法与农业应用间长期存在的"理论-实践鸿沟"。

Pontificia Universidad Javeriana和Universidad de La Sabana的研究团队Marisol García-Pe?a、Sergio Arciniegas-Alarcón与Kaye E. Basford在《BMC Research Notes》发表的研究，首次将WLRA转化为实用的异常值检测武器。他们创新性地设计了六种检测策略：简单残差法(SR)通过逐元素零权重预测构建残差矩阵；加权平方残差法(SqRes)引入双重残差比较；刀切均方误差法(JackkMSE)评估单点剔除对模型的影响；三类迭代版本(SRiterative、SqResIterative、JackkIter)则通过逐步标准化提升鲁棒性。研究选用16组真实数据集（含2组多元数据和14组G×E试验数据），通过模拟正态分布污染（均值偏移7倍标准差）构建5种污染水平(1%-12%)的测试场景，以8000次重复实验验证方法稳定性。

在方法学验证部分，研究团队通过人工污染实验得出关键结论：当数据污染≤3%时，JackkMSE和SR表现最佳，其评估指标Ostat（真实与检测异常值矩阵的Frobenius范数）均值最低（如1%污染时JackkMSE的Ostat=0.164±0.042）；当污染>3%时，SRiterative脱颖而出（6%污染时Ostat=1.451±0.062）。所有WLRA方法在96.25%场景中优于传统箱线图法（Gold标准），尤其在G×E数据中优势显著。研究还发现，采用50次随机初始化的中位数聚合策略可有效避免WLRA的局部最优陷阱。

讨论部分揭示了更深层的应用价值：WLRA方法不仅能捕捉数值异常，还可通过主成分临界角分析识别"内部异常值"(inlier)——即数值正常但相关结构异常的潜伏干扰点。作者建议对大规模矩阵可采用分组零权重策略平衡计算效率与精度。局限性在于当前仅验证了数值型矩阵和分散型污染，未来需拓展至分类变量和区块污染场景。

这项研究的意义在于三方面突破：首次实证WLRA在异常值检测中的优越性，为Gabriel-Zamir理论提供了迟来40年的应用验证；开发的开源R工具使植物育种学家能快速预处理G×E数据；提出的"预测-比较-迭代"框架为高维数据质量控制树立了新范式。正如作者强调，在精准农业时代，这种融合稳健统计与矩阵分解的方法，将成为探索性数据分析的"瑞士军刀"。