数据聚类对神经网络泛化性能的影响——以确定葡萄酒地理起源为例

《Foods》：The Influence of Data Clustering on the Generalization Properties of Neural Networks Using the Example of Determining the Geographical Origin of Wine

　　

基于359个干型葡萄酒样品（Riesling、Chardonnay、Muscat、Cabernet Sauvignon和Merlot，产自俄罗斯克拉斯诺达尔边疆区）的元素组成，研究人员研究了数据聚类对用于解决分类问题的神经网络模型泛化性能的影响。聚类作为预测类别的紧凑性和分离性，通过判别分析中典型值的散点图以及轮廓系数（Silhouette Score，S-S）、Calinski-Harabasz指数（C-H）、Davies-Bouldin指数（D-B）和Dunn指数（Dunn）进行了评估。随着数据聚类的降低，神经网络模型的泛化性能下降，尽管数据集规模增加。由于神经网络的预测性能主要与数据聚类相关，因此逻辑上可以认为，当“量变引起质变”时，即随着数据集规模增加聚类增强，其性能将提升。该假设的有效性解释了文献中观察到的趋势的两极分化：随着训练数据集的增长，一些研究人员记录到模型预测性能的提升，而另一些则记录到下降。所得结果具有重要的实践意义，因为它们表明无限制的数据累积并不适用，并允许优化数据收集成本，这对于食品质量控制尤为重要。

**论文解读：数据聚类对神经网络泛化性能的影响——以葡萄酒地理起源识别为例**

**研究背景、问题与意义**

在人工智能（AI）技术广泛应用于食品质量评估等多个领域的背景下，基于神经网络的系统在实际应用中仍缺乏稳定性和收敛性的理论依据。当前普遍存在一种“神话”，即认为数据集规模越大，模型性能越可靠，但这一观点缺乏系统性验证。许多研究通过随机增加样本量试图提升模型预测能力，但结果往往相互矛盾：部分研究者观察到性能提升，另一些则发现性能下降。针对这一矛盾，研究人员指出，数据质量不仅仅是数量问题，更与其结构特征——尤其是分类任务中的数据聚类（clustering）程度密切相关。聚类指预测类别的紧凑性和分离性，即同类样本相似、异类样本相异。然而，现有研究鲜有从聚类结构角度系统分析数据质量对神经网络泛化性能的影响。因此，本研究以确定葡萄酒地理起源为应用示例，探讨数据聚类对神经网络泛化性能的调控作用，旨在揭示“量变”与“质变”的转化条件，为优化数据收集策略和提升模型可靠性提供理论依据。该论文发表在《Foods》。

**主要关键技术方法**

研究人员以产自俄罗斯克拉斯诺达尔边疆区三个地理区域（黑海区域、塔曼区域、南麓区域）的359个干型葡萄酒样品为来源，采用电感耦合等离子体原子发射光谱法（ICP-AES）测定15种元素（Al、Ba、Ca、Cu、Fe、K、Li、Mg、Mn、Na、Ni、Rb、Sr、Ti、Zn）的浓度。通过定义类中心并逐步扩大边界，构建了7个聚类程度递减、规模递增的数据子集（子集1–7），并额外构建了10个规模递增的非模拟子集。利用判别分析的典型值散点图进行可视化，并采用轮廓系数（S-S）、Calinski-Harabasz指数（C-H）、Davies-Bouldin指数（D-B）和Dunn指数（Dunn）四种数值聚类指标量化聚类程度。使用STATISTICA软件中的自动神经网络模块构建多层感知器（MLP）模型，自动划分训练集（70%）和测试集（30%），以正确分类比例（性能）评估泛化能力。

**研究结果**

**3.1 葡萄酒样品元素组成数据集的聚类结构分析**

通过散点图（基于判别分析的典型值）和聚类指标变化，研究人员验证了7个子集聚类程度从最大值（子集1）到完全缺失（子集7）的逐步递减。子集1中，不同区域样本完全分离，类间马氏距离大（如黑海/塔曼距离为10,571）；子集2聚类显著减弱但仍保持边界；子集3–6聚类持续下降，类间距离缩小至6–17；子集7中样本随机分配，类间距离接近0（0.22–0.33），无聚类结构。S-S、C-H和Dunn指标随子集规模增加而下降，D-B指标上升，量化确认了聚类递减趋势。

**3.2 预测性神经网络的建模**

针对7个子集各构建20个神经网络，选取测试集性能最优的模型（MLP结构）。结果表明，随着聚类降低，测试集性能从子集1的100%逐步下降至子集6的93.25%，再骤降至子集7的3.37%（训练集性能仍高达91.85%），说明聚类缺失导致模型无法泛化。进一步对10个非模拟子集（规模从36增至359）的分析显示，测试集性能在前4个阶段（36–144样本）保持100%，随后下降至93.25%，且聚类指标也呈下降趋势。相关性分析表明，S-S、C-H、Dunn与测试性能正相关，D-B与测试性能负相关，数据集规模与聚类指标负相关（r = -0.928至-0.648）。此外，增加网络构建数量（从20到5000）仅使性能提升2.26%，无法突破聚类限制达到无误差分类。

**讨论与结论**

讨论部分指出，研究表明客观决定神经网络预测性能的因素并非网络架构、学习算法或参数，而是数据质量由其聚类程度决定。数据聚类降低时，即使增加样本量或反复优化网络，泛化性能仍会下降。这一发现解释了文献中关于数据集规模影响的两极分化现象：只有当“量变引起质变”——即数据量增加伴随聚类增强时，性能才会提升；否则，继续增加数据无意义。结论部分（4. Conclusions）翻译如下：利用基于359个葡萄酒样品真实元素组成建模的子集（包含15种金属浓度，来自黑海、塔曼和南麓三个地理区域），研究了聚类对神经网络模型泛化性能的影响。通过判别分析典型值散点图的可视化分析以及轮廓系数、Calinski-Harabasz指数、Davies-Bouldin指数、Dunn指数等数值聚类指标，评估了聚类（即预测类别的紧凑性和分离性）。两种基于不同概念的方法成功互补。结果表明，随着聚类降低，模型在测试数据上的性能（即泛化性能）下降。在聚类最高时，15个预测变量、20个观测值的子集实现了100%的最大测试性能；而在聚类缺失时，相同15个变量但更大观测值（359个）的子集测试性能仅为3.37%。研究未证实“数据集规模增大提升神经网络预测性能”这一神话的有效性，相反，性能因聚类降低而下降。合理的假设是，在分类任务中，数据量增加导致网络泛化性能提升的条件是“量变引起质变”，即聚类增强；否则，网络泛化性能下降，进一步增加数据量失去意义。因此，以确定葡萄酒地理起源问题为例，展示了数据聚类对神经网络在对象分类中泛化性能的影响。已确定聚类水平越高，神经网络预测性能越好。显然，这些结论可推广至其他机器学习方法，如分类树、支持向量机、k-近邻等。