基于CLIP街景图像嵌入的邻里可见剥夺估算及其与IMD域的一致性——以英国大曼彻斯特为例

《Computers, Environment and Urban Systems》：Estimating visible deprivation through the analysis of street view image embeddings

　　

街景对比语言—图像预训练（Contrastive Language–Image Pre-Training, CLIP）嵌入可解释英国大曼彻斯特约68%的剥夺变异；街景影像在预测剥夺方面显著优于卫星影像；住宅场景所携带的剥夺信号似乎远强于道路或绿地；除住房与服务障碍域（Barriers to Housing and Services）外，该信号在各剥夺域间保持一致；现成的视觉变压器（vision transformers）能够恢复行政剥夺指数（administrative deprivation indices）。

Molly Asher等围绕邻里物质剥夺能否由影像中的土地利用结构与物质形态识别这一问题，以英国大曼彻斯特（Greater Manchester）为案例开展研究。研究背景在于，邻里劣势的许多迹象（垃圾、涂鸦、废弃建筑等）在物理环境中可见，并与产生这些迹象的结构条件共同变化；剥夺通常指个体、家庭或群体相对于更广泛邻里或社会规范的劣势，包含物质、环境与社会条件。行政数据可在大尺度上测量物质剥夺，例如英国多重剥夺指数（Indices of Multiple Deprivation, IMD；综合七个加权域的行政剥夺指数），但将路人的视觉判断转化为系统、可重复的测量仍是方法学挑战。既有街景研究多集中在美国和中国城市，常预测收入、贫困率、流动性、抑郁或感知富裕度等代理指标，或仅选择IMD部分组分，且很少将街景影像与卫星影像、兴趣点、文本等共同建模数据的贡献分开。因此，研究人员要回答：区域剥夺能在多大程度上由视觉影像预测；预测信号是否随影像类型变化；信号是否随剥夺域变化。

针对上述问题，研究人员在大曼彻斯特开展实证研究，比较街景影像与卫星影像对IMD的预测能力，并进一步分析不同场景类型和不同IMD域中的可见性。结果显示街景影像远优于卫星影像，住宅场景比道路、绿地、商业和工业场景携带更强剥夺信号；除住房与服务障碍域外，预测信号在各剥夺域间大体一致。研究人员据此认为，邻里视觉特征可作为多维度劣势的代理，街景嵌入为在更细空间或时间粒度上估计剥夺提供了可能，且所用CLIP视觉变压器（vision transformers；从图像块学习表征的Transformer模型）并非针对建筑环境微调，仍具较好效果。

关键技术方法（不超过250字）：数据为大曼彻斯特2025年IMD、1702个LSOA（Lower Super Output Area；英国下层超级输出区，邻里统计单元；街景模型可用1695个）、Google Street View四朝向75,586张图像及AlphaEarth 64维卫星嵌入。街景图像经CLIP（clip-ViT-B-32）编码为512维嵌入并按LSOA取中位数，卫星像元嵌入按LSOA边界聚合。以IMD排名为目标训练XGBoost（Extreme Gradient Boosting；极端梯度提升树），采用80/20划分、5折交叉验证和网格调参，以RMSE（均方根误差）、NRMSE（归一化均方根误差）和R²（决定系数）评价；对街景嵌入做k均值聚类（k=5）、UMAP（统一流形近似与投影）可视化、逐簇和逐IMD域建模；以Moran’s I（莫兰指数；空间自相关统计量）与按LAD（地方行政辖区）的10折空间交叉验证检验空间自相关影响。

研究结果：5.1 从视觉影像预测剥夺：以CLIP街景嵌入和AlphaEarth卫星嵌入分别训练XGBoost，并以IMD排名为目标；街景模型交叉验证R²=0.660、测试集R²=0.681、NRMSE=0.565，卫星模型分别为0.324和0.319；在将街景嵌入降维至64维、或将卫星像元限制在街景点附近后，街景测试R²=0.656仍高于卫星0.264，故后续仅用街景。5.2 图像嵌入聚类：对图像级CLIP嵌入做k均值聚类，以Silhouette评分和Elbow法探索k=2–20，未发现单一最优值，选k=5；UMAP显示同簇嵌入在低维空间相邻，k?6时簇开始重叠，说明五簇可区分。5.3 聚类特征：结合空间分布和随机样本图像观察，Cluster 3多为较少城市化地区的道路，Cluster 2在工业与商业区呈空间集聚，Cluster 1多为乡村/绿地场景，Cluster 4和5几乎为住宅。5.4 按图像簇预测剥夺：对每簇图像按LSOA取中位嵌入并训练XGBoost，住宅簇4和5的R²约0.599和0.565，绿地簇1为0.321，商业/工业簇2为0.367，道路簇3仅0.065；将各簇子采样至共同样本量后，簇4和5仍持续优于其他簇，表明预测信号差异不单由样本量造成。5.5 按IMD域预测剥夺：对七个IMD域分别建全局模型和各簇模型，多数域全局R²为0.56（生活环境）至0.65（教育），但Barriers to Housing and Services域全局仅R²=0.39，各簇约0.12–0.33，说明该域视觉线索较弱，其余域信号较一致。5.6 空间自相关影响：Moran’s I显示IMD（I=0.551，p<0.001）和512维CLIP嵌入（中位I=0.358，各维p<0.05）均具显著空间自相关，残差I=0.196（p<0.001）；按LAD进行10折空间交叉验证后，R²由0.658降至0.623、NRMSE由0.585升至0.614、Spearman ρ由0.801降至0.778，说明存在有限数据泄漏但影响较小，嵌入仍能解释相当变异。

讨论部分总结：围绕RQ1，研究人员认为街景模型在没有任何人口、社会经济、健康、教育等信息且CLIP未针对街景微调的情况下，仅凭图像内容解释近70%的剥夺变异，结果令人意外；卫星模型虽有非平凡解释力，但远低于街景，说明地面视角包含俯视不可见的线索。未来可构建同时融合街景、卫星、兴趣点、路网和人口等多模态基础模型。围绕RQ2，答案是肯定的：住宅图像预测显著优于绿地、商业/工业和道路图像；原文同时指出簇标签依赖作者解释，且没有直接证据表明房屋本身驱动信号，道路表面质量、树木丰度等混杂因素不能排除，后续需借助SHAP（SHapley Additive exPlanations；模型解释方法）、注意力图或CLIP文本提示识别具体视觉特征。围绕RQ3，多数IMD域预测误差相近，原文解释为各域高度相关（除Barriers to Housing and Services与Living Environment外，多数r>0.8），邻里视觉特征同时代理多域劣势；住房与服务障碍域持续预测较差，原文提出可负担性可能与其它剥夺视觉线索反向相关等可能解释，但仍需未来研究解决。

研究结论翻译：本文表明，街景图像嵌入是估计邻里物质剥夺的有力工具。利用大曼彻斯特街景影像的CLIP嵌入，XGBoost模型能够解释IMD排名约68%的变异，显著优于在卫星影像嵌入上训练的同类模型，说明地面视角捕捉到从上方不可见的视觉线索。分析还表明，预测信号强度在图像类型间并不一致：住宅图像产生的剥夺估计比道路、绿地或商业/工业区图像更准确，提示住房环境包含关于社会经济状况的最丰富视觉信息。最后，除Barriers to Housing and Services域外，预测信号在IMD各域间大体一致，提示剥夺存在潜在空间集中，邻里视觉特征同时作为多维度劣势的代理。