基于有序加权平均算子的增量线性判别分析用于特征提取

《Heliyon》：Incremental linear discriminant analysis with ordered weighted average operator for feature extraction

　　

摘要翻译：增量线性判别分析（Incremental Linear Discriminant Analysis, ILDA）是一种有监督的降维工具，它将线性判别分析（Linear Discriminant Analysis, LDA）的原理扩展到从数据中增量学习。然而，ILDA对不同类间距离赋予相同的权重，这可能在类间距离存在差异的场景中表现次优。为克服此局限，本研究提出一种利用有序加权平均（Ordered Weighted Average, OWA）算子的ILDA算法，称为OWA-ILDA。首先，采用Yager权重法结合OWA算子计算LDA的类间散度矩阵；随后通过Fisher判别准则推导出新的投影矩阵，从而开发出能够有效处理类间距离变化数据的OWA-LDA算法。此外，研究人员设计了OWA-ILDA算法以降低增量数据集的数据维度。实现结果表明，OWA-ILDA在AR、YALE、ORL、FERET和MNIST数据集上取得了最高的识别率，从而证实了OWA算子对ILDA中类间判别性和类内凝聚性的积极影响。

基于有序加权平均算子的增量线性判别分析特征提取算法研究解读

**一、研究背景与问题**
线性判别分析（Linear Discriminant Analysis, LDA）是一种经典的监督降维技术，广泛应用于临床医学、教育、人脸识别等领域。LDA通过寻找最优投影方向，使得同类样本尽可能聚集、异类样本尽可能分离。传统LDA在计算类间散度时使用算术平均，对所有类间距离赋予相同权重。然而，在实际数据中，不同类别间的距离往往存在显著差异，较大的类间距离可能主导散度矩阵，从而影响特征提取的准确性。
随着数据规模的动态增长，标准LDA无法满足实时特征提取的需求，增量线性判别分析（Incremental Linear Discriminant Analysis, ILDA）应运而生。ILDA能够逐步学习新数据，减少存储和计算开销，但同样继承了LDA对类间距离等权处理的缺陷。现有改进算法如广义奇异值分解ILDA（GSVD-ILDA）、ILDA/QR等虽提高了计算效率，仍未考虑类间距离的差异性。
为克服上述问题，研究人员引入有序加权平均（Ordered Weighted Average, OWA）算子，其具有拟人化特征，可根据数据排序赋予不同权重，已在多准则决策中得到广泛应用。本研究旨在利用OWA算子改进LDA和ILDA的类间散度矩阵计算，从而提升特征提取性能。

**二、研究内容与关键技术方法**
研究人员首先提出基于OWA算子的全局样本均值，构造新的类间散度矩阵OWA-BsMatrix，并结合Fisher判别准则设计OWA-LDA算法。进一步，在增量学习框架下，研究人员开发了OWA-ILDA算法，通过动态更新全局均值、类间散度矩阵和类内散度矩阵，实现增量数据的降维。主要技术方法包括：利用Yager权重法结合模糊量词确定OWA算子权重；基于OWA全局均值替换算术均值；通过广义特征值分解获得最优投影矩阵。
实验中，研究人员使用AR、YALE、ORL、FERET、MNIST五个图像数据集进行识别性能评估，并利用IRIS和PIE数据集在二维子空间中分析类间判别性与类内凝聚性。所有算法重复运行十次取平均识别率，并采用Friedman检验进行统计显著性验证。

**三、研究结果**
- **3.1 人脸特征提取与识别率比较**
在AR、YALE、ORL、FERET、MNIST数据集上，OWA-ILDA取得了最高的平均识别率，分别达到90.22%、87.62%、88.94%、84.76%、83.87%。相比原算法，OWA-LDA优于LDA，OWA-NLDA优于NLDA，OWA-ILDA显著优于ILDA。Friedman检验显示，统计量F_F=23.00大于临界值14.067，p值0.0017小于显著性水平0.05，表明OWA-ILDA与其他算法存在显著差异。
- **3.2 渐进样本数下的识别率分析**
随着测试样本数从1逐渐增加至全集，OWA-ILDA在五个数据集上的识别率始终高于其他对比算法，展现出更强的泛化能力。
- **3.3 二维子空间中的类间判别性与类内凝聚性**
在PIE和IRIS数据集上，OWA-ILDA相比ILDA明显提高了类间判别性，不同类别的样本不再聚集在一起；同时，同一类别的样本分布更加紧凑，表明OWA算子增强了类内凝聚性。但也发现类间距离有所缩小，可能对大规模数据的分类产生不利影响。

**四、讨论与结论**
讨论部分指出，OWA算子通过差异化加权类间距离，提升了特征提取的准确性，但压缩效应可能导致大规模数据集中类间距离过小，模糊类别边界，削弱高维数据的泛化能力。未来需在超大规模数据集上评估算法性能，并扩展至音频、文本、生物医学等非图像数据模态。此外，将OWA算子与其他先进机器学习技术结合是值得探索的方向。
研究结论翻译：本研究将OWA算子与LDA算法相结合，开发了OWA-ILDA和OWA-LDA算法。在计算全局样本均值时引入OWA算子，实现了对重要类别进行差异化加权，从而得到修正的类间散度矩阵，增强了类间判别性，提高了特征提取精度。在AR、YALE、ORL、FERET和MNIST数据集上的实验结果表明，OWA-ILDA和OWA-LDA算法的识别率优于经典LDA算法，证明了OWA-ILDA算法的优越性和可行性。此外，OWA算子同时提升了类内凝聚性和类间判别性。
本文发表于《Heliyon》。