使用多变量综合评估方法评估CMIP6模型在南方温带地区的表现

《Frontiers in Marine Science》：Evaluating the performance of CMIP6 models in the Southern Temperate Zone with a multivariable integrated evaluation method

中国南方温带区在全球气候系统中扮演重要角色，但CMIP6地球系统模型（ESMs）在此区域的模拟性能仍需系统评估。本研究采用多变量综合评估方法（MVIE），对17个CMIP6 ESMs的1950-2014年历史实验进行对比分析，涵盖30°S-55°S区域的近表面大气风场（u10m、v10m）、温度（t2m）、湿度（q2m）、降水（P）、辐射（rsds、rlds）及海洋潜在温度（θ）和盐度（S）等12个变量。结果显示：1）MME均值存在系统性偏差，大气风场偏强、海洋深层θ显著偏暖（>5℃）、盐度偏淡；2）8个模型（ACCESS-ESM1-5、CanESM5、CNRM-ESM2-1、GFDL-ESM4、MRI-ESM2-0、NorESM2-LM、NorESM2-MM、INM-CM4-8）在综合评估中表现最优，其中GFDL-ESM4的cMISS最高（0.939）；3）季节模拟中，冬季大气环流和深层海洋参数的模拟误差最大，而夏季模型整体性能更优。研究揭示CMIP6 ESMs在深海洋过程（如底层θ和S）的模拟存在显著挑战，可能与混合层参数化、AABW形成机制及远程热输送过程有关。

　　南方温带（STZ，30°S–55°S）在全球能量、水和碳循环中扮演着至关重要的角色。尽管第六次耦合模式比较计划（CMIP6）的地球系统模型（ESMs）为气候研究提供了重要的数据支持，尤其是在南半球的气候系统中，这些模型之间仍然存在显著的差异。因此，对这些模型在STZ区域的综合评估显得尤为重要。本研究采用多变量综合评估（MVIE）方法，对17个CMIP6 ESMs在模拟STZ区域的近地表大气场和海洋温度与盐度场方面的表现进行了评估，从而实现对多个变量的全面评估。

近地表大气场的多模型集合（MME）均值显示出系统性的偏差，包括对西风、北风和比湿的高估。对于海洋场，深海的温度存在普遍的暖偏差，而深层的盐度则表现出明显的淡水偏差。根据MVIE方法的评估结果，有10个模型在模拟STZ区域的气候年平均方面表现相对较好。基于综合统计指标，8个模型（ACCESS-ESM1-5、CanESM5、CanESM5-CanOE、CNRM-ESM2-1、GFDL-ESM4、MRI-ESM2-0、NorESM2-LM、NorESM2-MM）在17个CMIP6 ESMs中排名靠前。季节气候学的评估显示，ESMs在南半球夏季的表现通常优于冬季。GFDL-ESM4在夏季和秋季表现最佳，而MPI-ESM1-2-HR和NorESM2-MM在冬季表现突出，MPI-ESM1-2-HR在春季表现最佳。该研究揭示了CMIP6 ESMs在模拟STZ区域深海过程方面仍面临持续的挑战。

为了评估ESMs的表现，本研究采用了MVIE方法。该方法的开发经历了三个阶段。首先，Xu等人（2016）提出了向量场评估（VFE）图，这是一种广义的泰勒图。VFE图通过三种统计指标量化模型在模拟向量场中的技能：均方根长度（RMSL）、向量相似度系数（VSC）和均方根向量差（RMSVD）。RMSL可以测量向量长度的大小和方差，VSC可以评估归一化向量对之间的模式相似性，而RMSVD可以表示总体偏差。RMSL、VSC和RMSVD的计算方法如下：

其次，Xu等人（2017）提出了MVIE方法。通过将标量场归一化并分组为多维向量，Xu等人（2017）引入了多变量综合评估指数（MIEI），以总结模型在模拟标量场中的整体性能。对于多个标量场，MIEI的计算方式如下：

第三，Zhang等人（2021）进一步改进了MVIE方法，通过引入面积加权统计和多个标量与向量场的结合，提高了评估指数的准确性。面积加权的RMSL、VSC、RMSVD和向量均方误差（VME）重新引入，如下所示：

MVIE方法可以用于评估标量和向量场。在本研究中，我们为每个选定的ESM和参考数据结合多个归一化的标量和向量场，然后使用VFE图来比较这些结合后的向量场。

为了更详细地展示ESMs的表现，我们还使用了多种统计指标来揭示模型在模拟单个标量或向量场中的能力。对于第一层次的标量和向量场，我们使用了均方误差（ME）、均方根差（RMSD）、相关系数（CORR）和标准差（SD）来评估模型性能。对于第二层次的多维向量场，我们使用了VME、VSC、RMSL和RMSVD来展示模型性能。对于第三层次，我们使用了MIEI和MISS来提供模型性能的综合评估指数。需要注意的是，SD和ME是通过将参考数据的标准差进行归一化得到的。

在之前的许多研究中，MVIE方法已经被用于评估ESMs。例如，Huang等人（2019）使用了VFE图和Xu等人（2016）提出的统计量来评估CMIP5模型在亚洲-澳大利亚季风区模拟的向量风。基于MVIE框架，Lv等人（2020）评估了不同物理方案在模拟青藏高原降水和土壤湿度中的整体性能。Han等人（2022）评估了CMIP6模型在模拟低纬和中纬地区热带气旋的大尺度环境场中的表现。Dai等人（2021）诊断了不同参数化方案在模拟中国北方降水和温度中的影响。Zhang等人（2022）评估并排名了CMIP6 ESMs在协调区域降尺度实验域中的能力。

本研究旨在全面评估CMIP6 ESMs在STZ区域的多变量表现，因为目前还没有针对该区域的系统性评估。为了评估模型在不同变量上的表现，我们将θ和S场分为三个层次：表层、上层（1500 m以上）和下层（1500 m以下）。然后，计算深度平均的θ和S场，以得到二维标量场。为了在统一的网格上评估模型的能力，我们使用双线性插值方法将所有场插值到0.25° × 0.25°的网格上。双线性插值是一种统计方法，广泛用于模型评估（例如，Han等人，2022；Qiu等人，2024；Talukder等人，2025）。它在模拟连续变量（如θ、S和风）时能够合理保留空间梯度，同时避免高阶插值方法可能引入的过度平滑或伪影。

在对多变量进行评估之前，我们展示了STZ区域参考场的气候年平均（见图1）。在STZ区域，10 m高度的u10m通常在30°S附近较弱，主要受贸易风主导，风向为东向西。在35°S至55°S之间，西风盛行且较强。v10m主要受高纬度的北风主导，而在大陆西岸则有较强的南风。t2m在STZ区域表现出显著的纬度梯度，随着纬度的增加，气温逐渐降低。气候年平均的t2m通常在30-45°S之间的海洋表面范围从10°C到20°C，而在50°S以下则显著降低。q2m在STZ区域随着纬度的增加而降低，在大陆东侧存在相对较宽的带状分布。P在南大洋通常较低，但在新西兰和南美洲西岸由于西风和地形影响，降水较强。rsds和rlds分别代表到达地表的太阳辐射和长波辐射，直接影响地表辐射收支。随着纬度向南增加，rsds和rlds的气候年平均逐渐降低。

海洋场显示出明显的热偏差：MME均值在40-55°S低估了θsurface，但在30-40°S表现出1-2°C的暖偏差。对于θabove1500，CMIP6 ESMs在STZ大部分海洋区域表现出1-2°C的高估。然而，模拟的θbelow1500则存在严重的高估，尤其是在30°S，这种暖偏差接近5°C。相反，模拟的Ssurface和Sabove1500表现出明显的淡水偏差。在θbelow1500的模拟中，淡水偏差仍然很大。

这些偏差突显了CMIP6 MME均值在不同变量之间的显著差异。实际上，这些偏差的大小可能因所分析的区域而异。通过分析CMIP6 ESMs的多模型差异，我们发现这些模型在近地表大气场和海洋θ和S场方面存在显著的不确定性。u10m在ACC区域显示出最大的变化，反映了对西风带强度模拟的分歧。v10m和t2m场在多模型差异方面表现出相似的模式，它们的SDESM在STZ大部分地区通常小于1 m s?1和1.5°C。对于q2m，CMIP6 ESMs在30-40°S表现出更大的多模型差异，尤其是在沿海地区。相对较大的多模型差异出现在南美洲安第斯山脉西侧和新西兰岛西侧。相比其他变量，rsds和rlds场在CMIP6 ESMs中表现出一致的高多模型SDESM值，突显了辐射通量方面的系统性挑战。θsurface的多模型差异小于2°C，除了南美洲东侧的巴西洋流区域。对于θabove1500和θbelow1500的多模型差异，CMIP6 ESMs表现出相似的空间模式，30-45°S和南印度洋的多模型差异较大，而45-55°S的多模型差异相对较小。S场的SDESM分布表现出不同的空间模式：表层的SDESM值集中在亚热带地区（30-40°S），而1500 m以下的SDESM值在45-55°S的区域较大。在1500 m以上，Sabove1500的SDESM值相对较小。Sabove1500的SDESM最大值仍然集中在南美洲大陆。

基于对CMIP6 ESMs多模型差异的分析，这些模型在关键场的模拟中仍然存在显著的差异。这些多模型差异突显了在ESMs中表示近地表大气场、海水场和气海耦合过程的持续系统性挑战。

在模拟STZ区域的气候年平均方面，CMIP6 ESMs表现出一定的能力差异。为了进一步分析这些模型的模拟能力，本节使用MVIE方法对17个CMIP6 ESMs进行系统评估。我们的评估关注于2.1节中指定的九个变量，包括近地表大气场和不同深度的三维海洋场（θ和S场）。

VFE图通过RMSL、RMSVD和VSC提供了对模型能力的全面统计，包括不同模型之间的差异以及模型与参考数据之间的差异。图4提供了17个CMIP6 ESMs的简单比较，通过评估它们的模拟气候年平均向量场。

在VFE图中，模型能力可以通过模型与参考数据之间的RMSVD进行诊断，与参考点（图4中的黑色参考点）的距离越小，表示模型的表现越好。较小的RMSVD通常与较高的VSC和RMSL接近1相关。10个ESMs（图4中的蓝色名称）的统计量接近参考数据，表明这些10个ESMs在STZ区域的模拟结果与参考数据之间的差异相对较小。这10个ESMs的VSC范围从0.94到0.99，表明它们可以再现近地表大气场和海洋θ和S场的空间模式，其中ACCESS-ESM1-5的表现最佳。这10个ESMs的归一化RMSL通常大于1，表明它们倾向于高估模拟的气候年平均向量场，其中INM-CM4-8的表现最佳。

相比之下，其余7个ESMs（图4中的黑色名称）的VSC范围从0.6到0.85，表明这些模型在模拟气候年平均向量场的空间模式与参考数据之间存在较大差异。此外，这些7个模型在模拟气候年平均向量场的振幅方面也表现出较大的高估。我们还使用了中心化的VFE图来评估季节性气候场的异常向量场（见补充图S2），结果与气候年平均向量场的评估结果相似。

VFE图通过VSC和RMSL提供了对模型能力的洞察。为了详细展示模型的表现，我们进一步评估了更多的统计指标（见图5）。此外，我们计算了cMISS来展示多变量综合技能，它同时考虑了cVSC和SD。采用中心化统计，将原始场分解为异常场和均值场。异常场的评估从三个角度进行：方差特征（SD、cRMSL）、空间模式一致性（CORR、cVSC）以及参考数据和ESMs结果之间的均方根差（cRMSD、cRMSVD）。ME也被纳入图5中，以展示ESMs模拟原始场的系统性偏差。

在模拟的t2m、q2m、rsds、rlds和θsurface的空间模式方面，CMIP6 ESMs通常表现出相对较好的性能，CORRs高于0.9。相反，CMIP6 ESMs在模拟P、θbelow1500和S的空间模式方面表现出较差的性能，CORRs范围从0.1到0.9。这些模型在深海区域模拟θ和S的空间模式方面存在较大困难。然而，一些模型仍然表现出相对较好的性能，包括CanESM5、CanESM5-CanOE、GFDL-ESM4和MRI-ESM2-0，其CORRs高于0.8。大多数ESMs可以捕捉到u10m和v10m的空间模式，但四个模型的CORRs低于0.9，包括MIROC-ES2L、MRI-ESM2-0、NorESM2-LM和INM-CM4-8。为了得到对ESMs在STZ区域模拟空间模式的全面估计，我们计算了cVSC。GFDL-ESM4模型在17个CMIP6 ESMs中表现出最高的cVSC（约0.939），表明该模型在模拟STZ区域的近地表大气场和海洋θ和S场的空间模式方面最为一致。

CMIP6 ESMs在模拟不同变量的空间SD方面也表现出显著的差异。例如，大多数ESMs倾向于高估10 m向量风的空间变异性，其中11个CMIP6 ESMs在STZ区域高估了u10m和v10m。在q2m的空间变异性方面，大多数ESMs的高估幅度在2%至45%之间，而MIROC-ES2L、MPI-ESM1-2-LR和INM-CM4-8模型则表现出低估，幅度在3%至9%之间。在θbelow1500和Sbelow1500的空间变异性方面，SD大于2的特征显示了一些CMIP6 ESMs存在显著的高估，包括ACCESS-ESM1-5、CESM2、CESM2-WACCM、GFDL-CM4、IPSL-CM6A-LR、MPI-ESM1-2-LR、MPI-ESM1-2-HR、NorESM2-LM、NorESM2-MM、UKESM1-0-LL和INM-CM4-8模型。在t2m、P、rlds、θsurface和Ssurface的空间变异性方面，大多数CMIP6 ESMs表现出高估，而rsds的模拟则系统性低估。这些场的SD值小于2。总体SD跨所有选定的场，归一化的cRMSL值大于1表示ESMs在异常场的振幅误差方面存在高估，而小于1表示低估。大多数ESMs存在高估，而CNRM-ESM2-1和MIROC-ES2L模型则表现出低估。尽管INM-CM4-8模型在Sbelow1500的空间变异性方面存在高估，但其与参考数据的cRMSL接近1，表明其与参考数据的匹配度较高。

CMIP6 ESMs在模拟不同变量的ME方面也表现出显著的多样性。大多数CMIP6 ESMs在四个季节都高估了u10m，除了IPSL-CM6A-LR和MIROC-ES2L模型。相比之下，大多数CMIP6 ESMs在四个季节都低估了v10m，其中MRI-ESM2-0模型在春季的ME值最低，为-0.774，除了IPSL-CM6A-LR、MIROC-ES2L和INM-CM4-8模型。大多数CMIP6 ESMs在模拟t2m和P的ME方面表现出较好的能力。然而，MIROC-ES2L模型在模拟P的ME方面表现出相对较大的高估，尤其是在冬季。在q2m和rlds的ME方面，大多数CMIP6 ESMs表现出高估，而rsds的模拟则表现出系统性低估。尽管这些场的SD值小于2，但它们的cRMSD值在冬季较高。这些模型的cRMSVD值由cRMSVD测量，表明它们在模拟异常场方面的总体差异。在夏季和秋季，GFDL-ESM4模型表现出最小的cRMSVD值（0.367），表明其在模拟多个异常场方面存在最小的总体误差。

总体而言，没有一个CMIP6 ESM在所有模拟场中表现最佳。cRMSVD提供了对模型性能的整体评估，较小的RMSVD值对应于CMIP6 ESM与参考数据之间更好的一致性。然而，模型性能的改进并不总是与RMSVD的单调减少相关联。因此，计算cMIEI和cMISS值，以提供与模型性能单调相关的整体评估。

为了评估模型在不同季节模拟多变量气候场的能力，我们进一步分析了cMIEI和cMISS值（见图10）。大多数CMIP6 ESMs在南半球夏季表现出较好的性能，而在冬季则相对较差。MIROC-ES2L模型在所有季节中表现出最大的cMIEI值，表明其性能相对较差。cMISS的评估结果与cMIEI的结果基本一致。基于cMIEI和cMISS指标，GFDL-ESM4在夏季和秋季表现出最佳性能，MPI-ESM1-2-HR和NorESM2-MM在冬季表现出最佳性能，而MPI-ESM1-2-HR在春季领先。这些模型排名也通过抽样方法进行了验证。

此外，为了分析模型变量偏差之间的潜在关系，我们计算了不同ESMs之间cRMSD值的成对相关系数（见图12）。这些高正相关（低负相关）表明，这些变量的误差模式在模型之间倾向于同时出现：在模拟一个变量时表现较好的模型通常在相关变量中也表现较好（较差），反之亦然。我们主要讨论了统计显著的相关系数，即CORRs大于0.8。u10m的偏差与v10m表现出强烈的正相关，CORR为0.83，表明在u10m存在较大误差的模型通常在v10m中也存在较大误差。同样，t2m的偏差与P、rlds、θsurface和Ssurface表现出特别强的正相关，其中与θsurface的CORR最大，达到0.94。P的偏差与t2m表现出强烈的正相关，CORR为0.86。θbelow1500的偏差与Sbelow1500表现出极高相关性（CORR = 0.99），但ESMs在模拟θbelow1500和Sbelow1500时的能力似乎与其他变量相对独立。相反，q2m的偏差与其他变量没有显著相关性，表明q2m的模拟可能与其他变量的模拟独立进行。CMIP6 ESMs在模拟STZ区域的多变量场方面表现出显著的偏差和多模型差异。

本研究仍然存在一些局限性。首先，由于在ERA5数据同化和WOA23客观分析中使用的观测数据有限，这两个参考数据集可能仍然存在不确定性，特别是在观测数据稀疏的南大洋区域。其次，本研究对海洋场的三层分类尚未评估热层和盐层结构及水体，因此，与海洋混合层深度相一致的精细垂直离散化可能会有助于改善ESMs在STZ区域的表现。