E-CVWMD与E-CVWMD-Pairwise：面向混合类型多元水文气候模型的新型联合性能指标

《Stats》：E-CVWMD and E-CVWMD-Pairwise: Novel Joint Performance Metrics for Mixed-Type Multivariate Hydroclimatic Models

　　

评估多元水文气候模型的联合预测性能需要同时评估边际准确性和跨变量依赖性恢复的指标。现有的指标——能量评分(Energy Score)、变差图评分(Variogram Score)及其衍生指标——无法适应残差相关矩阵的结构复杂性，将单个相关对与完全密集的依赖结构等同对待。研究人员提出两个新的指标族：指标E（E-CVWMD：增强型变异性系数加权边际-依赖性）和指标E2（E-CVWMD-Pairwise），它们专为混合类型多元响应（组合连续和二元结果）设计，在交叉验证框架内使用。研究人员将指标E和E2定位为比较竞争模型的诊断排序工具，而非严格正则评分规则，并为需要完整正则性保证的应用提供严格正则的对数损失变体（E-LL/E2-LL）。指标E为每个变量分配与训练集上该结果变异性系数(CV)成比例的权重，并通过全局距离相关检验自适应校准边际-依赖性权衡参数λ。指标E2通过将全局检验替换为配对Spearman筛选指数η（具有显著残差相关的变量对比例）来改进，该指数线性映射到λ。应用于哥伦比亚考卡山谷(Valle del Cauca)62个气象站(n=31,663)的广义多元函数加性混合模型(GMFAMM)验证时，基于显著性水平的指数在如此大样本量下饱和（η=1）——每个对，包括小至ρ=0.019的相关性，都被标记为“显著”——这正是研究人员处理的样本量敏感性。在效应量筛选(ρ_cut=0.05)下，三个可忽略相关的对被排除，得到η=0.7和λ=0.65，比相同数据下指标E的λ=0.797更校准。一项包含37,440次模型评估的大规模模拟研究证实，在相关性水平ρ≥0.4时指标E反转正确排序（CDR=0%），而E2在15个模拟条件中的14个中保持正确判别（M1 vs M3）。研究人员还界定了指标的适用范围：E2在接近饱和均匀依赖情况下退化——此时严格正则的能量评分(Energy Score)更优——且配对指数对样本量敏感，研究者为此提供了基于效应量的变体。一个R包(mvmetrics v0.2.0)实现了两种指标、对数损失变体、替代加权方案和效应量筛选，已公开发布。

**研究背景与问题**
在多元水文气候模型验证中，现有联合性能指标（如能量评分、变差图评分）存在三大缺陷：一是变量尺度异质性导致直接求和失衡（如RMSE_温度与Log-Loss_降水量纲不同）；二是无法处理连续与二元混合类型响应；三是缺乏结构自适应性，即固定边际-依赖性权重，无法区分单对相关与全密集依赖结构。为同时解决这些问题，研究人员在交叉验证框架下提出了E-CVWMD（指标E）及其配对细化版E-CVWMD-Pairwise（指标E2），论文发表在《Stats》。

**主要关键技术方法**
研究基于交叉验证框架，无需试剂或质粒构建。样本队列来自哥伦比亚考卡山谷(Valle del Cauca)62个气象站（n=31,663，2013–2025年数据）。关键方法包括：(1) 变异性系数(CV)加权归一化，将连续变量标准化后分配与CV成比例的权重；(2) 混合类型评分，连续变量采用均方根误差(RMSE)或对数损失，二元变量采用准确率(Accuracy)或对数损失(Log-Loss)；(3) 残差相关性依赖评分，通过基于Spearman秩相关矩阵的Frobenius范数衡量；(4) 自适应λ校准，指标E使用全局距离相关检验，指标E2使用配对Spearman检验的显著性比例η，线性映射为λ=1-η/2；(5) 大规模模拟研究（37,440次模型评估），包含6种预测模型配置和4种相关结构（均匀、分块、多块、稀疏）。

**研究结果**
**5.1 研究S1：基线均匀相关**
通过模拟(30次重复)比较M1（独立基线）与M3（正确联合模型）的判别率(CDR)。指标E在ρ≥0.4时完全失效（CDR=0%），反转排序；指标E2在ρ=0.4和0.6时保持CDR>70%，但在ρ=0.8时降至37.6%。能量评分(指标B)在所有ρ水平下CDR>97%。
**5.2 研究S2和S2b：分块结构**
在多变量分块相关结构中，指标E2在所有6种组合中优于指标E，尤其在低块内相关(ρ=0.2)时优势最大（27-40个百分点）。块间泄漏(ρ=0.1)使E2的CDR下降约5个百分点。S2b（多块）中，η的理论值与经验值吻合（误差<1个百分点），E2的CDR随η增加单调上升，而指标E的CDR始终为0%。
**5.3 关键实验：M5 vs M3（纯依赖检测）**
当两模型边际质量相同时，指标E和E2均无法可靠判别（ρ≥0.2时CDR<50%），能量评分在此任务中更优。
**5.4 考卡山谷实际数据应用**
在大样本量(n=31,663)下，显著性检验饱和（所有10对均显著），效应量筛选(ρ_cut=0.05)排除3个可忽略相关对，得到η=0.7、λ=0.65，而指标E的λ=0.797（抑制依赖信号）。GMFAMM依赖分量差异显著（E2: 0.39 vs 0.085，MDD: 0.50 vs 0.037）。

**讨论与结论**
讨论部分总结六项实证发现：指标E在中等以上均匀相关下反转排序（结构缺陷）；指标E2通过连续η校正了此问题，在14/15条件下正确判别；E2在均匀高相关(ρ=0.8)下降解，但可通过凸映射（二次或三次）消除；能量评分在纯依赖检测和严格正则性要求下更优。研究结论：E2作为异质混合类型系统的实用诊断工具，其优势与局限已明确界定；推荐在异质混合类型系统中以E2为主，辅以能量评分和MDD分解；严格正则的Log-Loss变体(E-LL/E2-LL)在获得校准二元概率时可用；R包mvmetrics v0.2.0实现所有功能，包含效应量筛选、替代加权方案和映射选择。