基于相关性的k-Medoids增强无监督学习：柑橘价格动态案例研究

《Machine Learning with Applications》：Enhancing unsupervised learning with correlation-based k-Medoids: A case study on citrus price dynamics

　　

在本研究中，研究人员提出一种基于k-medoids的聚类方法，用于检测西班牙巴伦西亚自治区（Comunitat Valenciana）柑橘产品产地价格（2015-2024年）的价格趋势模式。每个品种被视为年份与省份各组合下的独立观测，并计算不同特征，包括持续时间、变异性和线性回归参数。创新之处在于将相关性相异性（correlation dissimilarities）与k-medoid代表点相结合，并赋予五个特征，从而在保持结构的同时提高可解释性。该方法揭示了价格变动（下降、平稳、上升）的三簇稳定结构。稳健性由子样本共识（模糊聚类比例，Proportion of Ambiguous Clustering，PAC，在k=3时达到最小值）和内部指标支持；外部验证显示，与源自官方周报的独立指标存在中等但显著的一致性（例如，季节级准确率0.52，置换检验p=0.001）。最后，簇与经济驱动因素相关：品种组呈现中等关联，省份关联较弱，而连续驱动因素（如持续时间或价格方差）在簇间差异符合预期。总之，该方法为监测柑橘价格演变及其季节间变化提供了可复现的工具。

近年来，农业数据的指数级增长使得机器学习（Machine Learning, ML）成为优化农产品生产与营销的关键工具。柑橘产业在国际贸易中具有重要地位，西班牙是欧洲最大柑橘生产国，巴伦西亚自治区（Comunitat Valenciana）的产量约占西班牙的50%。然而，该地区柑橘产业面临价格波动等结构性挑战，给生产者带来不确定性。尽管已有研究利用k-means等无监督学习技术分析商品交易，但尚未有工作将基于相关性的k-medoids聚类应用于农产品价格动态分类。为此，研究人员提出一种基于相关性的k-medoids聚类方法，以检测柑橘产品产地价格的时间趋势模式。

研究人员利用2015年至2024年间巴伦西亚自治区三个省份（Alicante、Castellón、Valencia）43个柑橘品种的每周官方产地价格数据，将每个品种、省份和季节的组合视为独立观测，在剔除少于4周数据的观测后，最终得到528条有效观测。针对每条观测，研究人员计算了12个特征，涵盖季节持续时间、价格离散度、线性回归参数等。通过特征选择，最终保留5个关键特征：季节持续时间（Duration）、价格方差（Price VAR）、线性回归斜率（LR slope）、决定系数（R-squared）以及价格范围与持续时间之比（Q-ratio）。这些特征以简洁且可解释的方式概括了每周价格动态。

在关键技术方面，研究人员采用基于Pearson相关性的相异度作为距离度量，结合k-medoids算法（Partitioning Around Medoids, PAM）进行聚类。与欧氏距离或曼哈顿距离相比，相关性距离侧重于价格形状的相似性而非绝对水平，适合季节长度和价格幅度差异较大的数据。簇数的确定综合了肘部法、轮廓系数以及子样本共识分析，结果表明k=3为最优。为评估聚类质量，研究人员使用了Dunn2、Calinski-Harabasz（CH）和Davies-Bouldin（DB）等内部指标，并通过bootstrap置信区间、置换检验及与官方周报标签的一致性分析进行验证。

研究结果显示，三个簇分别对应“价格下降”（down）、“价格平稳”（flat）和“价格上升”（up）三种模式。具体而言，簇1具有负线性斜率、高价格方差和高Q-ratio，代表季节短且价格下滑的品种；簇2斜率接近零、价格方差低、季节持续时间最长，代表价格稳定的品种；簇3的R-squared较低，说明价格波动不规则且难以线性拟合。内部指标表明，基于相关性的距离在Dunn2和CH指数上显著优于欧氏和曼哈顿距离，DB指数则与欧氏距离相当。特征选择实验显示，5个特征相比全部12个特征能产生更清晰、更可解释的簇。消融研究进一步证实，5特征表示与相关性距离的组合优于原始价格序列结合各距离（包括动态时间规整）的方案。

外部验证方面，将由官方每周价格报告汇总得到的季节级趋势标签与聚类标签进行比较，获得准确率0.52、Macro-F1 0.52、Cohen's κ=0.28，置换检验p=0.001，表明两者存在中等但显著的一致性。经济驱动因素分析显示，品种类型与簇分配呈中等关联（Cramér's V=0.209），省份关联较弱（V=0.083）。连续驱动因素中，下降季节更短且价格波动更大，平稳季节更长且更稳定，上升季节介于两者之间，这些差异在Kruskal-Wallis检验下高度显著。

讨论部分指出，品种在季节间的簇归属变化频繁，平均约63%的品种-省份组合在连续季节间发生转移，说明价格行为受具体季节条件强烈影响。极端事件如2018-2019年的产量过剩与收获延迟、2016年强降雨、2019-2020年COVID-19疫情以及2023-2024年农民抗议活动，均能在簇分配变化中找到对应，支持了聚类结果的经济相关性。局限性包括：模型仅使用产地价格，未纳入天气、供需等外部变量；数据按省份聚合，无法反映省内差异；相关性距离忽略绝对价格水平，在需要价格幅度的场景中可能不适用。尽管如此，该方法的可复现性和简洁性使其可推广至其他作物和地区。

研究结论：本研究使用k-medoids聚类算法对巴伦西亚自治区柑橘价格趋势进行了分析。结果表明，基于相关性相异度的聚类方法比欧氏和曼哈顿距离更能捕捉价格模式，且5个特征足以产生清晰、可解释的簇。三个簇分别对应价格下降、平稳和上升，与官方农业报告中的定性描述一致。内部指标、稳定性分析和外部验证均支持三簇结构的有效性和可解释性。该研究为农产品市场监测提供了一种可复现的、无需依赖预测的方法模板，可推广至其他作物和地区，为生产者、贸易商和政策制定者提供决策支持。