《Sustainability》:Pre-Modeling Diagnostics for Multi-Source Urban Sustainability Indicators: A Five-Stage Framework for Arid and Semi-Arid Cities
编辑推荐:
多源城市指标数据集经常用于聚类、机器学习和回归分析,而未经事先的统计审计,可能通过非正态性(non-normality)、多重共线性(multicollinearity)和交叉源测量差异(cross-source measurement disagreemen
多源城市指标数据集经常用于聚类、机器学习和回归分析,而未经事先的统计审计,可能通过非正态性(non-normality)、多重共线性(multicollinearity)和交叉源测量差异(cross-source measurement disagreement)扭曲结果。本研究应用了一个集成的五阶段预建模诊断协议,包括覆盖审计(coverage auditing)、正态性评估(normality assessment)、异常值检测(outlier detection)、相关分析(correlation analysis)和VIF筛选(VIF screening),应用于一个由来自九个世界区域的106个干旱和半干旱城市的六个国际来源编译的71变量数据集。该协议评估了覆盖完整性、分布正态性、异常值结构、变量间相关结构和多重共线性严重程度。结果显示,89%的连续变量是非正态的,23个预测变量中有17个超过了传统的方差膨胀因子(VIF)阈值10,并且两个主要国际来源在电力获取方面表现出近乎零的一致性(Pearson r = ?0.02)。海湾合作委员会(GCC)城市形成一个结构上一致的异常值集群,需要稳健缩放而不是排除。该研究产生了一个八项行动优先级矩阵,以指导下游分析决策,并为多源城市可持续性数据集提供了可复制的协议。
城市可持续性研究日益依赖从多个国际来源(如世界银行世界发展指标(WDI)、圣母大学全球适应倡议国家指数(ND-GAIN)、联合国人居署、IMD智慧城市指数(SCI)及全球干旱指数等)汇编的复合数据集,但这些数据在未经统计审计的情况下直接用于聚类、机器学习和回归分析,可能因非正态性(non-normality)、多重共线性(multicollinearity)和交叉源测量差异(cross-source measurement disagreement)造成系统性分析扭曲。现有文献中,预建模数据诊断在多数多城市研究中缺失,导致下游推断不可靠。为此,研究人员针对106个干旱和半干旱城市(来自九个世界区域)的71变量、6来源数据集,应用了一个集成的五阶段预建模诊断协议,系统评估了覆盖完整性、分布正态性、异常值结构、变量间相关架构和多重共线性严重程度。研究发现:89%的连续变量非正态,23个预测变量中17个方差膨胀因子(VIF)超过10,两个主要来源对电力获取的测量近乎无一致性(Pearson r = ?0.02),海湾合作委员会(GCC)城市构成结构一致的异常值集群。基于此,研究人员生成了一个八项行动优先级矩阵,指导下游分析决策。该研究提供了一个可复制的诊断框架,显著提高了多源城市可持续性数据集的分析可靠性,并发表在《Sustainability》。
主要关键技术方法:研究采用五阶段预建模诊断协议:(1)覆盖审计(coverage auditing),评估每个变量在106个城市中的缺失比例,对缺失率超过20%的变量(如IMD SCI,仅覆盖25.5%的城市)采用K近邻(KNN)插补(基于log-GDP per capita、ND-GAIN Readiness和SDG-11得分特征空间,K=5);(2)分布正态性评估,对28个连续变量应用Shapiro-Wilk检验,对偏度|g1|>1.0的变量进行对数变换;(3)异常值检测,结合四分位距(IQR)规则、Grubbs检验(α=0.05)和马氏距离(Mahalanobis D
2,p<0.001)识别单变量和多变量异常值,并进行交叉源一致性分析(Bland-Altman法);(4)相关分析,计算Pearson和Spearman相关系数,构建Pearson-Spearman差异矩阵,标识需使用非参数方法的变量对;(5)多重共线性筛选,计算23个连续预测变量的方差膨胀因子(VIF),以VIF>10为严重共线性阈值。样本来源:106个城市选自超干旱、干旱或半干旱环境(基于UNEP干旱分类),城市人口>50万,数据来自六个国际来源(UR Base、WDI、ND-GAIN、UN-Habitat、IMD SCI、全球干旱指数),排除标准包括干旱指数≥0.65、可观测或插补变量少于8个、以及国家统计可靠性低。
研究结果:
数据集覆盖和变量完整性(Dataset Coverage and Variable Completeness):通过覆盖审计发现,四个来源(UR Base、WDI、ND-GAIN、全球干旱指数)实现100%城市覆盖,UN-Habitat覆盖率为96.2%,IMD SCI仅覆盖25.5%(27个城市)。82%的变量完全无缺失,14%接近完整,4%的变量(均来自IMD SCI)缺失率超过20%。对IMD SCI采用KNN插补后,100%的样本获得观测或插补值,但插补不确定性(平均跨插补标准差10.4分)需在敏感性分析中考虑。
分布性质和正态性诊断(Distributional Properties and Normality Diagnostics):通过Shapiro-Wilk检验,28个连续变量中25个(89%)显著非正态(p<0.05),仅ND-GAIN Readiness(p=0.067)、SDG-11得分(p=0.279)和SCI(p=0.281)满足正态性。9个右偏变量(如人口密度偏度3.4、人均GDP偏度1.6)经对数变换后绝对偏度降至1.0以下;12个变量(如电力获取、安全用水等)因左偏(天花板效应)需完全使用非参数方法。按干旱等级分层的核密度估计显示,非正态性在干旱等级间结构性地集中,如超干旱城市的人均GDP分布完全右移。
异常值检测与交叉源有效性(Outlier Detection and Cross-Source Validity):马氏距离(p<0.001,χ
2临界值26.1,df=7)识别出6个多变量异常值(温得和克、喀土穆、喀布尔、哈博罗内、蒙巴萨、内罗毕),均位于撒哈拉以南非洲或冲突影响地区,特征为极低人均GDP和极低ND-GAIN Readiness。单变量Grubbs检验(α=0.05,临界G=3.404)检测出5个异常值(多哈在人均GDP和人均CO
2上,达卡在人口密度和年降水量上,喀布尔在贫民窟比例上),所有异常值均为合法的极端观测。交叉源一致性分析:UR Base与WDI在人均CO
2上一致性良好(r=0.81),但电力获取的UR-WDI相关性为r=?0.02(无一致性),Bland-Altman分析显示差异范围?31.5至+42.4个百分点,且南亚和中亚城市存在系统性偏差(UR Base高估)。建议采用WDI作为基础设施变量的参考源。
变量间相关结构(Inter-Variable Correlation Structure):基于剔除6个多变量异常值后的100个城市,计算Pearson和Spearman相关矩阵,识别出三个主要聚类:(1)基础设施获取聚类(电力、安全用水、卫生设施、互联网),Spearman ρ≥0.86;(2)治理-财富聚类(ND-GAIN Readiness、人均GDP、SCI),Spearman ρ≥0.91;(3)干旱-水分胁迫聚类(干旱指数、年均降水量、水分亏缺),Spearman ρ≥0.91。Pearson-Spearman差异矩阵显示4对变量差异超过0.15(如可再生能源与电力获取Δ=?0.49,需使用Spearman)。建议对基础设施聚类进行主成分分析(PCA)降维,或仅保留电力获取作为代表。
多重共线性筛选与预建模行动计划(Multicollinearity Screening and Pre-Modeling Action Plan):23个预测变量中17个VIF>10(严重多重共线性),其中SCI(VIF=420)、SDG-11得分(VIF=400)、医疗指数(VIF=166.7)和灾害风险指数(VIF=109.9)最高,原因为复合指数与构成指标重复计数。3个变量呈中等共线性(5
2、可再生能源比例),仅3个变量可接受(VIF≤5:PM2.5、人口密度、城市人口比例)。三个根本原因:复合指数双重计数、聚类冗余(基础设施四变量、干旱四变量)和样本结构异质性(GCC集群)。研究生成八项行动优先级矩阵(底图2右下角),关键行动包括:协调8个城市电力获取差异(关键)、KNN插补SCI(关键)、对数变换9个右偏变量(高)、采用WDI为基础设施参考源(高)等。
下游验证(Downstream Validation):在20变量UR Base子集上进行k-means聚类(k=3)和回归验证。诊断处理后,回归VIF均值从71.5降至7.4,最大VIF从470.7降至20.8,5折交叉验证R2均为0.969,RMSE从2.63降至2.56,系数自举标准误从1.49降至0.82。聚类中,原始数据因基础设施变量过度加权导致第一主成分解释58.0%方差,电力获取单独解释66.8%的组间方差;处理后方差分布更均匀,聚类反映真实三维结构(基础设施、治理-财富、干旱-水分胁迫),而非单一维度伪稳定。
阈值敏感性分析(Threshold Sensitivity Analysis):对VIF、偏度、Pearson-Spearman差异、马氏距离显著性四个阈值进行敏感性测试,结果表明主要分类(如复合指数最高VIF、Doha和达卡为多变量异常值)在广泛阈值范围内稳健,结论不依赖特定截断值。
城市级与国家级变量敏感性分析(Sensitivity Analysis: City-Level Versus National-Level Variables):剔除10个国家级代理变量后,平均VIF从74.1降至8.4,最大VIF从498降至20.1,确认严重共线性主要由国家级复合指数驱动。但城市级变量间仍存在40%的VIF>10(主要在卫生-水-互联网聚类),且全变量与仅城市级变量的聚类调整兰德指数为0.33,表明国家级变量携带了非冗余的结构信息。
讨论部分总结:研究揭示了GCC城市作为结构性异常值集群(财富-干旱悖论)需稳健缩放而非排除;复合指数与构成指标的双重计数导致VIF极高,需排除复合指数或保留成分指标;交叉源测量不一致(电力获取r=?0.02)是广泛存在的但未报告的问题,需进行Bland-Altman验证;非正态性(89%变量)是干旱城市样本的预期特征,需针对不同模型采用对数变换、Spearman相关系数或稳健缩放。研究结论:预建模诊断不是预处理形式,而是实质性分析贡献。五阶段诊断协议可复制于任何多源城市指标数据集,其产出——八项行动优先级矩阵——使数据处理决策可追溯、可验证。三个关键发现:GCC城市为合法异常值集群,需稳健缩放;17个预测变量VIF>10,源自复合指数重复计数;两个来源对电力获取几乎无一致性,需源选择。协议的核心创新在于诊断步骤的整合与决策链接的行动矩阵,而非新统计方法。