一种基于核熵分量分析和累积距离分布的新颖样本选择方法

《Infrared Physics & Technology》：A novel sample selection method based on kernel entropy component analysis and cumulative distance distribution

　　

摘要

评估新样本是否处于已建立光谱模型适用域内，对于在常规仪器操作中维持预测精度至关重要。被识别为新颖的样本可选择进行参考分析，并随后用于模型更新，从而提高模型对新兴样本特征的适应性。传统方法通常将光谱分解到不同的投影空间中，并将Hotelling's T2和Q残差等统计量与预定义阈值进行比较。然而，这些方法通常通过将流式样本与校准集的全局表示（如质心）进行比较来衡量新颖性，因此未能充分考虑校准样本的内部分布。为解决这一局限性，我们提出了一种结合核熵分量分析（KECA）和累积距离分布（CDD）的集成方法。该方法首先构建有监督的PLS潜在空间，然后应用KECA获得低维熵分量空间。然后将每个新样本投影到此空间中，并通过样本与所有校准样本之间的归一化距离分布来量化其新颖性。KECA确定用于距离计算的低维特征空间，而CDD将所得距离汇总为定量新颖性度量。决策阈值通过从校准集计算的CDD值的基于秩的插值得到。实验结果表明，所提出的方法能够有效地识别流式光谱数据中的新颖样本。

引言

在模型运行过程中实时评估样本新颖性对于估计预测不确定性和维持光谱测量的准确性至关重要[1]。在过程监控中，新颖样本通常被保留用于参考分析，并随后纳入校准集以更新模型。近期研究也强调新样本选择和模型更新是光谱模型维护的重要组成部分[2]。为提高标注效率和模型更新效率，可以收集多个信息量大的样本并作为批次进行标注，使更新后的模型能够更快地适应新兴样本特征[3]。近期研究还表明，适当选择的参考样本可以改善更新后的近红外校准模型的预测性能[4]。近期对数据流主动学习的综述指出，相对于分类而言，回归仍然相对未被充分探索[5]。对于从流式数据中选取样本，需要解决两个关键问题：首先，新样本与建模空间中校准样本之间的不相似程度，即样本新颖性；其次，适当决策阈值的确定[6]。通过将新样本的新颖性分数与此阈值进行比较，可以识别出值得标注的高价值样本。

样本新颖性通常以样本相似性来描述，通常通过样本间距离来量化。最直接的方法是使用整体距离标准，如Kennard-Stone（KS）样本选择方法[7]，其中计算新样本与现有校准集中每个样本之间的距离，并使用最小距离作为相似性度量。更先进的方法将光谱分解到不同子空间并在每个子空间中分别评估距离相关统计量。例如，Cernuda等人[8]应用主成分分析（PCA）进行降维，当样本的Hotelling's T2统计量或Q残差超过相应阈值时识别为新颖样本。Rodionova等人进一步将这两个统计量标准化并组合为全距离度量[9]，实现了对样本在不同子空间中偏差的联合评估。然而，基于PCA的分解是无监督的，并未明确纳入预测模型的结构。因此，更有信息指导性的有监督光谱分解更适合将信息性光谱变异与残差变异分离。在此背景下，Nikzad-Langerodi等人[10]使用从偏最小二乘（PLS）模型获得的载荷向量将新光谱分解为投影分量和正交分量，然后基于所得投影评估样本适用性。最近，Rodríguez-Barrios等人结合神经网络特征空间中的马哈拉诺比斯距离与自编码器重建残差进行适用域评估[11]。

一些传统新颖性评估方法的共同局限性在于，它们仅使用新样本与校准集关系的部分信息来表征样本新颖性。例如，KS方法通过最近邻来代表校准集，而Hotelling's T2统计量测量样本与校准分布中心和协方差结构的偏差。这些度量未充分考虑校准样本的内部分布，因此可能掩盖样本真正的新型程度。更具分布感知性的策略是评估新样本与每个校准样本之间的相似性。这种方式下，成对相似性反映了每个校准样本相对于新样本的局部代表性，而所有成对相似性的集合则提供了校准集在多大程度上代表未知样本空间的整体描述[12]。

在PLS潜在变量空间中评估样本相似性仍然存在两个局限性。首先，PLS潜在变量主要是为回归而构建的，而新颖性检测需要一个保留样本分布最有信息结构的特征空间。其次，典型PLS回归模型中保留的潜在变量数量通常在十个左右，这对于基于密度的新颖性评估来说可能仍然相对较高。随着维度的增加，样本密度迅速下降，导致所谓的空空间现象[13]。因此，进一步降维仍然是必要且可行的。将PLS得分（即样本在潜在变量空间中的坐标）投影到高信息含量的方向上可以产生更紧凑且更有信息性的表示。核熵分量分析（KECA）[14]，[15]通过估计样本集的Renyi熵并识别具有较大熵贡献的熵分量提供了这样的框架。通过选择具有最高熵贡献的前k个特征向量，KECA在低维熵分量空间中保留了主要信息，类似于PCA中的主成分保留数据的主要方差。这实现了同时提取主要分布信息和降低数据维度。

在确定投影空间后，下一步是评估新样本与校准样本之间的相似性。尽管近期的一些相似性评估方法可以整合多个信息源，如PRISM框架中的光谱相似性、分析物、模型和预测信息[16]，但选择单一指标作为决策标准可能会引入额外的主观性，并且可能无法完全描述新样本与校准集之间的关系。为避免依赖预定义的相似性指数，我们采用了一种受熵估计启发的分箱计数策略[17]。具体来说，首先在KECA导出的低维空间中计算新样本与所有校准样本之间的距离，然后进行归一化和离散化为距离区间，从中获得距离分布曲线。然后在递增距离区间内校准样本数量的累积分布用于量化新样本与校准集之间的整体相似性。如果一个新样本靠近许多校准样本，累积分布曲线在较小距离处迅速上升。相反，如果样本远离校准集，曲线主要在大距离区域增加。因此，累积距离分布值低于预定义阈值的样本被选择为新颖样本进行标注。

对于流式数据，每个新样本的新颖性分数必须在样本被选择标注前与决策阈值进行比较。因此，需要适当的阈值策略。传统的阈值确定方法通常依赖于假设的统计分布和预定义的置信水平[18]。然而，在本情况下，CDD值的分布无法用解析方式指定，因为该度量是通过多次非线性变换和数值积分获得的。因此我们以数据驱动的方式确定阈值。具体来说，首先从校准样本数n和显著性水平α计算虚拟阈值样本的位置。最终阈值，记为Γσ，然后通过排序校准样本的CDD值并在相应位置进行插值得到。

章节片段

样本新颖性计算方法

所提出的方法包括四个阶段：特征提取、低维表示、新颖性量化和基于阈值的决策。PLS模型首先提取与响应相关的潜在变量，然后KECA构建低维熵分量空间。在此空间中，CDD将每个新样本与所有校准样本之间的距离汇总为新颖性度量，然后与从校准集导出的阈值进行比较。

实验数据

实验数据来自从山东寿光峻能金玉米发展有限公司生产线上收集的豆粕样品。测量的近红外（NIR）光谱用作预测矩阵X，相应的蛋白质含量用作响应变量Y。光谱以反射模式使用二极管阵列光谱仪（DA7200，Perten Instruments，瑞典）在950-1650 nm波长范围内以5 nm间隔采集。每个

结论

对于已部署的光谱校准模型，校准样本定义了模型的适用域，新样本与校准样本之间的分布差异直接影响模型预测的可靠性。因此，准确量化样本新颖性和及时确定模型更新需求对于维持长期模型性能至关重要。一些传统的新颖性检测方法依赖样本与

CRediT作者贡献声明

何中海：撰写 - 审阅与编辑，验证，监督，方法论，资金获取，正式分析，概念化。
谷志波：撰写 - 原稿，验证，软件，方法论。
黄海莉：撰写 - 原稿，验证，软件，正式分析。
张晓芳：撰写 - 审阅与编辑，监督，方法论。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些可能会影响本论文中报告的工作。

致谢

本工作得到国家自然科学基金（批准号：62573106）和河北省自然科学基金（批准号：F2024501044）的支持。

何中海|谷志波|黄海莉|张晓芳
东北大学秦皇岛分校智能感知与光电工程学院，秦皇岛 066004，中国