误标（标签噪声）——化学计量学中常被忽视的一个问题

《Analytica Chimica Acta》：Mislabeling (label noise) – an often overlooked issue in chemometrics

　　

## 摘要

### 背景

在监督学习中，标签值中可能出现错误。这一事实在机器学习（ML）领域众所周知，自20世纪60年代末以来就已被研究，但在化学计量学中经常被忽视。错误标注的主要原因是在由人工执行监督时产生的人为错误。在连续过程被划分为多个阶段以进行后续监督判别的情况下，这也是不可避免的。另一个原因是仪器方法的不完善，它无法很好地反映类别之间的差异。

### 结果

本文追求两个目标。第一个目标是将错误标注的概念引入化学计量学。第二个目标是分享我们在实际案例中解决错误标注问题的经验。我们认为，最合适的方法是将领域知识与异常检测方法相结合，这种方法应基于概率型（软）分类器。这种方法被系统性地使用，并通过三个案例进行了说明，这些案例同时采用了成熟的方法和新的方法。

### 意义

错误标注是一个真实存在的问题，可能出现在各种应用中，比例高达20%，在某些领域，如医学，这一比例甚至更高。毫无疑问，错误标注值得调查和纠正。在至关重要的领域，特别是医学领域，由错误标注数据导致的错误代价可能是巨大的，不仅体现在经济损失上，还可能涉及人的生命。

### 引言

有时似乎化学计量学更像是一种故障排除技术，而不是一门利用数学从数据中提取相关信息的科学。好吧，最终，化学计量学设法提取出所需的信息，但这只有在所有问题都以某种方式得到解决之后才能实现。过拟合和多重共线性、缺乏因果性、维度灾难、对象数量过少（过多）、缺失数据和异常值、冗余变量和关键变量等等。这不是问题的完整列表，我们遗憾地在此添加了一项新问题——错误标注。

常识告诉我们，用于模式识别的数据总是包含特征值中的错误。然而，在监督学习中，标签值中也可能出现错误。这一事实在机器学习（ML）领域众所周知，自20世纪60年代末以来就已被研究[1,2]。相比之下，化学计量学完全专注于过滤特征数据中的噪声[3]，忽视了错误标注现象。例如，Scopus搜索结果显示，发表在《分析化学学报》上的包含"mislabeling"一词的文章有31篇，其中只有一篇（Cappozzo等人[4]）在"标签噪声"的语境下使用了该词，而其他30篇文章将其作为错误分类决策（假阴性和假阳性）的同义词使用。在《化学计量学与智能实验室系统》期刊中也能看到同样的模式，结果略有改善：19篇中有2篇。《分析化学》期刊的搜索结果为8篇中的1篇[5]，而《化学计量学杂志》为20篇中的1篇[6]。

相反，Brodley和Friedl[7]报道了以下反直觉的信息。已有研究证明，随着噪声水平的增加，如果待分类数据中也存在相同的特征噪声，过滤特征数据会降低最终分类器的预测性能。而在标签错误的训练数据（标签噪声）情况下，情况恰恰相反：清理训练数据将得到一个预测性能显著提高的分类器。

这个表述虽然非常接近原始文献，但可以作如下解释。当训练数据集的标签错误被纠正时，相应的校准性能提高了。然而，与此同时，增强后的模型在测试（新）数据集上达到的性能却有所下降。这是因为测试（新）数据集仍然包含标签错误，从而降低了预测性能。这实际上是在标签中过滤噪声的主要问题：缺乏可用于验证的干净外部数据集。

毫无疑问，错误标注值得调查和纠正。在至关重要的领域，特别是医学领域，由错误标注数据导致的错误代价可能是巨大的，不仅以经济损失衡量，还可能涉及人的生命[8]。

特征空间中的噪声研究较为充分，因为它主要来源于仪器错误，辅以由人为错误和不良测量操作引起的大幅度异常值（离群点）。其处理方法显而易见：白噪声过滤加上鲁棒统计以去除离群点。标签空间中噪声的来源则不那么明显，甚至很难给出一个关于其本质的通用形式定义：它是确定性现象还是随机现象[9]。总的来说，可以明确的是，与特征噪声不同，错误标注的主要原因不是仪器，而是人。

第一个例子是化学计量学中众所周知的情景。果实成熟是一个连续过程，但在食品科学中总是按几个阶段评估，如未成熟、半成熟和成熟[10,11,12]。有时标注并不明确，特别是在过渡区域，重叠是不可避免的。在医学中也经常遇到类似情况，大多数疾病按顺序进展，从早期阶段到严重阶段，但患者总是根据疾病的严重程度被分为几个组，例如一期、二期等。由于进展是连续的，有时很难确定正确的阶段，因此也会出现类别重叠[13,14]。另一个案例是文化遗产科学，其中错误标注可能由不正确的考古鉴定引起[15]。缺乏样本来源的信息也可能是错误标注的原因。特别是，一些研究人员认为从当地商店或药房购买的样本本身是正品，当然可以用作掺杂测试。大量实例表明这是一种误解，此类购买的商品可能既包含假冒产品[16]也包含过期产品[17]。因此，我们看到，当监督由个人或甚至容易犯错的专家组进行时，错误标注是典型的。

错误标注真的是个问题吗？分析公开可用数据集后，研究人员报道[8]错误标注率从8%到40%不等，在某些领域（如医学）可能更高。因此，必须有一些方法来管理这个问题。最简单的方法是邀请领域专家，由专家判断某个实例是否标注正确，但这实际上意味着将责任从旧的标注者转移到新的标注者身上，而新的标注者也可能犯错。在做决策时，专家本质上是用自己的判断取代了机器学习程序，试图考虑表征该实例的众多特征（指纹）。因此，直到最近，人们普遍认为这可以通过人工智能（AI）等自动化方法实现，从而无需进一步的人工干预。

然而，一如既往，事实证明情况要复杂得多。AI在大量先前专家决策的基础上训练后，不仅擅长复制他们真正的决策，也擅长复制他们的错误，同时保持错误标注水平在基线水平。现在越来越清楚，AI不能完全取代人类的决策者，因为这需要考虑许多构成领域知识的额外因素，而这些因素对AI来说是不可获得的[18]。将领域知识纳入ML可以弥合数据分析和决策之间的差距，因此这个话题正在被积极讨论[19,20]。与此同时，大多数ML专家继续开发新的形式化方法来应对数据错误标注问题。这些尝试的详细综述可以在文献[9]中找到。

错误标注现象创造了一些我们在化学计量学中从未遇到过的新挑战。第一个问题是如何处理检测到的具有错误标签的对象：是应该移除还是重新标注。前者似乎更可靠，但由于数据不足，后者可能是必须的。第二个挑战更加困难：如何处理基于测试集的外部验证？如果该测试集具有充分代表性，它包含标签错误，因此不适合用于验证清理后的数据。是否应该像训练集一样清理测试数据集，或者这样做是否会破坏其与训练集的独立性？这些问题以及许多其他问题正在研究中，但不属于本文的范畴。

在本文中，我们追求两个 modest 的目标。第一个目标几乎已经完成，即将错误标注的概念，或换句话说，标签噪声的概念引入化学计量学。第二个目标是分享我们在最流行的分类器如SIMCA和PLS-DA中解决错误标注问题的经验，使用真实世界的案例。

### 方法

在本节中，我们介绍本文使用的化学计量方法。其中一些方法众所周知，但为了清晰起见，我们也简要回顾它们。所有这些方法都用于异常检测，因为错误标注的实例只有在表现为离群点时才能被发现。使用概率型分类器是因为它们允许基于给定概率识别离群点，针对特定大小的数据集进行判断。

### 数据描述

本文使用的数据集已经进行了全面分析并在此前的文献中发表，因此在此以摘要形式呈现，有兴趣的读者可以在以下参考文献中找到更详细的信息。

### 结果

本节呈现了三个错误标注产生重大后果的案例。

### 讨论与结论

错误标注是一个真实存在的问题，可能出现在一些监督分类问题中，应当予以重视。错误标注可能由多种原因引起，主要原因包括类别重叠和人为错误。当连续过程被划分为多个阶段以进行后续监督判别分类时，这是不可避免的。当监督由个人或甚至容易犯错的专家组进行时，也可能预期会出现错误标注。

### CRediT作者贡献声明

O.Ye. Rodionova：撰写——审阅与编辑，撰写——初稿，验证，软件，形式分析，数据管理。A.L. Pomerantsev：撰写——初稿，验证，软件，方法论，调查，形式分析，概念构思。

### 知情同意声明

所有参与研究的患者均签署了知情同意书。

### 伦理批准

俄罗斯联邦医疗生物局机构伦理委员会于2019年1月10日提供了伦理批准编号08a（与第4.2节相关）。

莫斯科俄罗斯区域妇产与生殖医学研究院独立地方伦理委员会批准，注册号JRB № 06004245（与第4.3节相关）。

### 数据可用性

橄榄数据集可根据要求获取。
青光眼数据集不可用。
精子数据集不可用。

### 声明与人与动物权利

本研究按照《赫尔辛基宣言》中规定的伦理原则、良好临床实践（GCP）和法规要求进行。

### 利益冲突声明

? 作者声明，他们没有已知的竞争性经济利益或个人关系可能影响本文所述的工作。

### 致谢

感谢Aalborg大学的Sergey Kucheryavskiy博士对手稿的宝贵评论以及SB PLS-DA网页版的开发。

### 作者信息

A.L. Pomerantsev | O.Ye. Rodionova

俄罗斯科学院谢苗诺夫化学物理联邦研究中心，Kosygin街4号，119991莫斯科，俄罗斯