综述：跨研究验证及光谱机器学习中偏最小二乘判别分析的重采样方法指导

《Analytica Chimica Acta》：Cross-Study Validation and Guidance for Resampling Approaches for Partial Least Squares Discriminant Analysis in Spectral Machine Learning

　　

Aidan P. Holman | Dmitry Kurouski

德克萨斯A&M大学生物化学与生物物理学系，美国德克萨斯州大学城

摘要

重采样策略在光谱机器学习（SML）中的模型选择和性能估计中起着核心作用，但其影响往往被视作次要于模型选择。在这项教程研究中，我们系统地评估了常见重采样方法如何在固定的偏最小二乘-判别分析（PLS-DA）框架内影响模型选择、预测性能和估计偏差。模型调整使用了单标准误差（1SE）规则和最高Macro F1（HMF1）选择方法，并通过重复外部验证在样本层面评估了性能。自助法（bootstrap）和刀切法（jackknife）在保持预测性能方面表现最强，而留一法（LOOCV）和选定的Venetian blinds方法以及某些K折方法在性能稳定性和模型简洁性之间取得了更优的平衡。然而，重采样策略在估计真实测试性能方面的能力存在显著差异。贝叶斯Bradley-Terry分析显示，五折K折交叉验证始终产生了最无偏的外部测试Macro F1估计值，优于自助法和留一法。相比之下，LOOCV、刀切法和Venetian blinds方法由于样本级别重采样导致的验证集较小或不具代表性而表现出更高的偏差。这些发现表明，重采样策略是SML中模型选择行为和性能估计准确性的主要决定因素。本研究为选择能够提高光谱机器学习模型可靠性和可解释性的重采样方法提供了实用框架。

引言

光谱化学计量学是指应用数学和统计方法从光谱测量中提取有意义的信息。在这一领域中，光谱机器学习（SML）作为一个专门分支出现，它将机器学习算法应用于光谱数据，特别强调分类任务。(1), (2), (3), (4), (5) 在分类中，目标可以广泛定义为：(1) 以最大准确性将未知光谱分配到预定义的类别中，(2) 确保模型能够可靠地泛化到新的、独立的数据上，以及 (3) 以支持科学或应用决策的方式解释潜在的光谱特征。(6)

在SML中评估和优化分类模型的一种常见策略是使用重采样技术。(7) 重采样涉及反复划分或从可用数据集中抽取样本，以估计模型在未见数据上的预期表现。诸如留一法（LOOCV）、K折交叉验证（KFCV）、Venetian blinds划分（VBCV）、自助法（BS）和刀切法（JK）等方法经常被用来指导超参数调整和性能估计。(5), (8) 尽管这些方法在理论上适用于不同的用途——交叉验证（CV）用于估计外部测试性能和超参数选择，而带有替换的采样程序如BS和JK用于误差估计和模型稳定性评估——但它们仍然可以通过验证给定的分割或折叠来实现类似的模型评估和优化目标。(9) 此外，它们的准确性和可靠性取决于数据大小、结构和算法选择。(7)

一种广泛使用的SML模型是偏最小二乘-判别分析（PLS-DA），它已被应用于多个领域，包括食品和农业认证、生物医学诊断、环境监测和法医分析，在这些领域中强大的分类能力往往至关重要。例如，近红外光谱结合PLS-DA已被用于鉴定橄榄油和检测奶粉中的掺假；(10), (11), (12) 拉曼光谱已被应用于生物医学诊断中区分恶性与良性组织；(13), (14), (15) UV-Vis和荧光光谱与分类算法结合使用，能够监测水污染物和重金属污染；(16), (17), (18) 基于红外和拉曼的模型已被开发用于在纺织品和头发等法医微量证据中识别合成染料。(19), (20), (21), (22), (23) 尽管应用范围广泛，但不同实验室甚至同一研究小组内的重采样和测试策略仍然不一致。我们并不是质疑这些研究的科学有效性；相反，SML调整实践的差异可能会引入报告性能的变异性，而依赖更一致的重采样方法可以改善可重复性和可比性。此外，这种变异性使得跨研究比较变得复杂，并引发了关于某些重采样方案是否系统性地提供比其他方案更可靠预测的疑问。

在这项工作中，我们重新审视了之前发表的多个研究中的PLS-DA模型。具体来说，我们探讨了两个问题：(i) 在不同的重采样方案下重新优化模型潜在变量是否会导致测试性能的提高，以及 (ii) 哪些重采样策略在不同研究中一致地接近外部测试预测指标？通过系统地比较LOOCV、KFCV、VBCV、BS和JK等策略，我们旨在澄清这些方法的优点和局限性，并为未来涉及PLS-DA的SML研究提供实用指导。

章节片段

研究选择

分析了(8)个我们实验室内部和(4)个外部发表的包含PLS-DA建模的研究（表1）。为了确保足够的统计稳健性，只有那些每个类别至少包含十个独立样本（而不是光谱）的光谱数据集的研究才被选中，从而减少了由于样本不足类别导致性能人为膨胀的风险。样本的多样性（植物、昆虫、生物流体和法医样本）...

结果与讨论

在统计学习理论中，无免费午餐（NFL）定理指出，没有单一模型或算法能在所有可能的数据集或问题领域中都优于其他模型；性能本质上依赖于数据。(56) 因此，本研究的目的是不是为了确定一个普遍最优的SML模型，而是为了评估在不同数据条件下相同模型架构下不同重采样策略的影响。通过保持模型不变，仅改变...

局限性

尽管本研究严格评估了十二个不同光谱数据集上的多种重采样策略，但仍需承认几个局限性。首先，尽管数据集大小对于许多光谱研究来说是典型的，但在生物或样本重复的层面上仍然较小，即使每个样本的光谱数量很多。机器学习文献一致表明，当独立样本数量较少时，基于重采样的误差估计会变得嘈杂且不稳定...

实用指南

虽然本研究专注于比较PLS-DA模型的重采样策略，但结果也提供了一些可能指导未来SML研究设计的实用见解。在检查的十二个数据集中，我们观察到一些模型对重采样方法的选择基本上不敏感（例如，表S6、S11、S13和S15），而其他模型在验证曲线和选定的潜在变量上显示出显著的变化（例如，表S8和S12）。这种差异...

结论

这项教程研究表明，重采样策略在光谱机器学习的模型选择和性能估计中起着关键且常被低估的作用。虽然自助法和刀切法在保持预测性能方面提供了强大的稳定性，但它们是以牺牲模型简洁性为代价的，始终倾向于更复杂的模型。相比之下，LOOCV和选定的Venetian blinds以及3折和10折交叉验证配置提供了更好的...

CRediT作者贡献声明

Dmitry Kurouski：撰写——审阅与编辑、监督、资金获取。Aidan P. Holman：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、方法论、调查、概念化

数据可用性

数据分析中使用的Python脚本可以在这里找到：https://github.com/crownboxco/Python-Scripts-for-Cross-Study-Validation-of-Resampling-Methods。所有相关数据集都是公开可用的，并在表2中引用。

利益冲突声明

? 作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：

Dmitry Kurouski报告称获得了德克萨斯A&M大学的财务支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

Dmitry Kurouski博士于2007年在白俄罗斯国立大学获得生物化学硕士学位。2013年在纽约州立大学奥尔巴尼分校获得分析化学博士学位后，Kurouski博士加入了西北大学的化学系，在Richard P. Van Duyne的实验室担任博士后研究员。在加入德克萨斯A&M大学之前，Kurouski博士在BoehringerIngelheim制药公司担任高级研究科学家。他的研究...