《Pattern Recognition》:Outlier-Robust Learning with Continuously Differentiable Least Trimmed Squares
编辑推荐:
本文提出连续可微的LTS(CD-LTS)方法,通过权重连续分配避免排序步骤,提升计算效率并增强鲁棒性,将其应用于四类机器学习算法,实验验证其优于传统方法。
雷星|刘宇飞|徐林海|陈巴东
中国西安交通大学人工智能与机器人研究所,视觉信息与应用国家工程研究中心,人机混合增强智能国家重点实验室
摘要
在统计分析中,鲁棒估计是一项基本任务,其目标是识别能够有效消除噪声影响的模型,尤其是在存在异常值的情况下。最小修剪平方(LTS)估计方法因其在这些场景中的鲁棒性而广受认可。然而,选择具有代表性的样本子集进行LTS估计在计算上要求较高,并且LTS的有效性对所选样本的数量非常敏感。在这项研究中,我们提出了一种新的方法——连续可微LTS(CD-LTS),该方法使用连续函数来近似原始的LTS。由于其连续性和可微性,CD-LTS可以用作多种学习模型的成本函数,从而避免了直接应用传统LTS时所需的额外排序步骤。我们利用CD-LTS开发了四种鲁棒学习算法,包括随机向量功能链接(RVFL)、主成分分析(PCA)、迭代最近点(ICP)和正交迭代(OI)。实验结果表明,所提出的算法比现有方法具有更好的性能。
引言
当假设噪声是高斯分布且独立同分布时,传统的最小二乘(LS)估计器能够达到最佳性能。此外,即使没有这些假设,也可以定义LS估计器。然而,在误差分布偏离高斯分布的情况下,尤其是在存在异常值时,LS估计器的性能可能会受到影响。为了解决这个问题,已经提出了各种鲁棒估计器[1]、[2]、[3]、[4],其中最小修剪平方(LTS)估计器[5]、[6]是一种著名的方法,它可以最小化最小二乘残差之和,并具有较高的抗干扰能力[7]、[8]、[9]、[10]、[11]。尽管LTS估计器具有鲁棒性,但它渐近效率较低[12]、[13]、[14],并且在计算上可能要求较高[7]、[8]、[9]。特别是,LTS算法的每次迭代都需要一个额外的排序步骤来移除样本中的异常值,这会增加计算负担。因此,开发一种计算上更可行的方法是具有明显学术价值的[15]、[16]。
原始的LTS估计器还采用零一原则来选择估计样本,这可能导致异常值被错误地分类为正常样本用于估计。Rousseeuw等人[15]提出了FAST-LTS方法,该方法结合了截距调整技术来降低选择包含异常值的子样本的概率。此外,基于LTS的目标函数是不连续且不可微的,这使得其在机器学习技术中的直接应用变得具有挑战性。
为了解决这些限制,我们提出了一种新的方法——连续可微最小修剪平方(CD-LTS),它为LTS准则引入了连续性和可微性。与原始LTS不同,CD-LTS通过为所有样本残差分配0到1之间的权重,消除了排序步骤和选择最小残差样本的需要。这种方法有效地移除了异常值,同时减轻了修剪参数M的不利影响,从而获得了更准确和更鲁棒的估计结果。此外,CD-LTS的连续性和可微性使其能够无缝集成到神经网络和其他机器学习模型中的基于梯度的学习策略中。
CD-LTS的引入代表了相对于传统LTS的重大进步,它在计算效率和异常值存在时的鲁棒性方面都有所提升。因此,CD-LTS被证明是广泛机器学习应用中的一个有前景的工具,特别是在鲁棒学习任务中。我们通过四种鲁棒学习算法证明了其有效性,并通过实验结果展示了在准确性和鲁棒性方面的显著改进。CD-LTS对各种学习模型的广泛应用性突显了它提升现有算法性能的潜力,为机器学习和数据分析领域做出了宝贵贡献,包括在多视图学习[17]、[18]、[19]和对比学习[20]、[21]、[22]中的应用。
本文的其余部分组织如下:第2节描述了最小修剪平方估计器,第3节介绍了所提出的连续可微LTS估计器及其特性。第4节展示了CD-LTS在四种鲁棒学习算法中的应用,第5节提供了实验结果以验证基于CD-LTS的算法的优势。最后,我们在第6节总结了这项工作。
节选内容
最小修剪平方估计器
考虑一个线性回归模型:
其中表示因变量(或观测输出),表示解释变量(或输入向量),表示需要估计的参数向量(或权重向量)。项vi是随机噪声。给定数据集,目标是确定一个β的估计值,使得模型尽可能好地拟合数据。根据众所周知的连续可微LTS估计器
对于LTS估计器,让表示平方误差在集合中的秩。LTS估计器是通过最小化以下方程得到的:其中I?≤?0(?·?)是一个指示函数,定义如下:(x)={1x≤000.不失一般性,我们通过=∑j=1I≤0(ej2?ei2)来评估秩。这使我们能够如下构建LTS估计器:
备注:此外
应用示例
CD-LTS的连续性和可微性使其适用于各种机器学习和信号处理应用,以增强鲁棒性。在本节中,我们提供了四个示例来展示使用CD-LTS的好处。
实验结果
本节提供了实验结果,以验证前一节中开发的RVFL-CD-LTS、PCA-CD-LTS、ICP-CD-LTS和OI-CD-LTS算法的有效性。
结论
本文介绍了CD-LTS,这是一种对最小修剪平方(LTS)估计器的改进,与传统的LTS方法相比,它在计算效率和鲁棒性方面都有所提升。使用CD-LTS的随机向量功能链接算法的实验结果表明,其性能优于现有的鲁棒估计技术,如Welsh函数(一种M-估计器)。这些发现突显了该方法在推进鲁棒估计方面的潜力
CRediT作者贡献声明
雷星:撰写——原始草稿。刘宇飞:验证、数据整理。徐林海:撰写——审稿与编辑、监督。陈巴东:撰写——审稿与编辑、资源获取。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本研究由中国国家重点研发计划(项目编号2024YFC3015803)和国家自然科学基金(项目编号62406241)资助。