《Land》：Exploring Built Environment Perception Pathways and Perception Profiles Using Vision–Language Models
编辑推荐：
应用于街景图像（SVI）的计算机视觉模型可以生成与城市规划和公共卫生相关的大尺度建成环境感知质量度量。与卷积神经网络（CNNs）不同，视觉-语言模型（VLMs）能够同时提供感知评分和解释性理由（rationales）。研究人员利用121,764条参与者评分的S
应用于街景图像（SVI）的计算机视觉模型可以生成与城市规划和公共卫生相关的大尺度建成环境感知质量度量。与卷积神经网络（CNNs）不同，视觉-语言模型（VLMs）能够同时提供感知评分和解释性理由（rationales）。研究人员利用121,764条参与者评分的SVI两两比较数据，对Qwen2.5-VL模型进行微调，以预测五种感知：美观性、自然品质、放松潜力、交通安全性和犯罪安全性。研究人员将模型精度与此前发表的Siamese CNN模型进行比较，并提示VLMs为每次预测生成解释性理由。随后，32B VLM对俄勒冈州科瓦利斯（Corvallis）的48,664张图像预测了自然品质。研究人员使用Top2Vec语义主题建模，将模型生成的解释性理由归并为25个理由主题。在固定留出测试集上，VLM准确率平均比CNN模型高4.1个百分点，差异范围为?1.0个百分点（交通安全）至8.0个百分点。与感知自然品质相关的VLM主题包括植被密度、树冠覆盖、景观美化、维护和斑驳阳光。将三个示例主题组合起来进行制图，可产生不同的感知画像。VLM能够同时预测城市感知，并生成与这些预测相关的可见特征描述。
建成环境感知（如美观、自然品质、安全感等）被证实是影响行为、健康和生活质量的重要路径。街景图像（SVI，从街道视角获取的影像）让研究者能够在城市尺度测量这些感知，但现有基于卷积神经网络（CNN）的主流方法大多只输出感知分数，难以解释“为什么一个场景被判定为安全或优美”。这种解释能力的缺乏限制了其在公共健康和城市规划中的可操作性，因为干预措施（如植树、道路设施改造）需要明确具体、可改变的视觉因素。视觉-语言模型（VLM，可联合处理图像和语言的人工智能模型）的出现为同时提供预测与自然语言理由提供了可能，但尚未有研究系统评估微调开源VLM能否达到任务特定CNN的精度，以及模型生成的解释性理由能否被聚合为规划相关的描述性主题和空间画像。这正是本研究的出发点。
研究人员利用先前构建的全美SVI感知数据集（含121,764条两两比较），通过量化低秩适配（QLoRA）微调了三种规模的Qwen2.5-VL模型（3B、7B、32B），预测美观、自然品质、放松潜力、交通安全和犯罪安全五种感知。在同一固定留出测试集上，32B微调模型平均准确率达71.6%，较Siamese CNN基准高4.1个百分点；其中犯罪安全提升最多（+8.0个百分点），交通安全微降（?1.0个百分点）。随后，研究人员用32B模型预测了俄勒冈州科瓦利斯48,664张街景图像的自然品质，并对模型生成的逐句理由进行Top2Vec主题建模，得到25个理由主题；进一步选取三个主题（植被密度、树冠密度、景观美化/维护）构建八种感知画像。研究表明，VLM不仅能高精度预测感知，还能提供与预测相关的可见特征描述，从而为城市感知研究增添了一种空间显式的描述性数据源。
主要技术方法包括：（1）感知数据来自先前发表的Amazon Mechanical Turk（AMT）调查，共72,516份问卷、22,199名参与者，比较任务要求从两幅街景图像中选出感知品质更高者；（2）模型架构采用Qwen2.5-VL，输入为文本任务描述与两幅640×640图像拼接，使用QLoRA（4-bit NormalFloat量化、秩16低秩适配）在单张GPU上微调3B、7B、32B模型；（3）评估使用固定留出测试集（11,926条比较），准确率定义为与AMT参与者选择一致的比例；（4）对模型生成的解释性理由按句分割后，使用Top2Vec进行25主题语义聚类，并将主题相似度得分按比较中图像选择方向加权，聚合到图像和位置水平；（5）位置水平得分进一步归一化到0–1000，并叠加科瓦利斯土地利用分区数据（共4039个有分区的位置），对三个选定主题进行高低二分，形成八种感知画像。
研究结果如下：
3.1 五种感知上Qwen2.5-VL的预测性能
通过固定留出测试集比较，模型精度随参数规模和QLoRA微调而提高。微调后32B模型平均准确率最高（71.6%），较CNN基准（67.5%）高4.1个百分点；分感知看，犯罪安全提升幅度最大（+8.0个百分点），放松潜力（+6.3个百分点）、美观（+5.2个百分点）、自然品质（+2.2个百分点）也均有提升，唯独交通安全低1.0个百分点。另外，微调后7B与32B模型的平均准确率仅差0.1个百分点，提示7B模型可能是更可扩展的选择。
3.2 Qwen2.5-VL与Siamese CNN自然品质得分的空间制图
将两种模型对科瓦利斯的自然品质得分分别归一化并制图，发现两者空间模式正相关（Pearson r=0.792）。商业区和主要道路附近的位置在VLM排名中系统性较低（商业区位置平均低203位，主要道路附近低775位），而住宅附近位置相对较高（住宅道路高503位）。由于两种分数独立归一化，该差异反映的是相对排序，而非绝对分数。
3.3 与感知自然品质相关的理由衍生视觉特征
对32B模型生成的解释性理由进行主题建模，得到25个主题，多数对应可见的街道特征。其中，植被密度（r=0.52）、树冠密度（r=0.45）和景观美化/维护（r=0.26）三个被详细分析的主题与预测的自然品质正相关。这些主题得分在土地利用类型间呈现不同分布，且同一土地利用类别内部存在明显异质性，例如商业区中仍有36.2%的位置具有高植被密度。
3.4 理由衍生感知画像与土地利用异质性
将上述三个主题得分按高低二分，组合成八种感知画像。这些画像在空间上形成不同分布：住宅和保护/农业区更多出现高植被/高树冠组合，商业区则以低树冠/低维护为主。不同画像的存在表明，相似的自然品质得分可能通过不同的视觉路径产生，而常规土地利用分区无法完全刻画这种类内差异。
讨论部分指出，VLM的优势并非在所有感知上一致，交通安全上的微小劣势可能源于该判断更依赖局部、重复性线索（如车辆、道路配置），而任务特定CNN能高效学习这类线索；但这也只是假设。在城市尺度上，VLM对商业区和主干道给出较低排名，可能因为其更关注铺装、交通设施和商业开发等竞争性特征。模型生成的解释性理由应视为描述性关联，而非对模型内部决策过程的忠实解释。局限性还包括：AMT参与者并非当地居民，图像在训练集/留出集间存在潜在重叠，科瓦利斯为小型大学城，以及32B模型全国推理的极大计算成本（估计约需60年，而CNN流程约7个月）。结论可翻译为：微调的VLM为预测建成环境感知并生成文本理由提供了一种有前景的方法，将基于SVI的感知预测与理由衍生主题及示例性空间画像相结合，可将城市感知研究从标量预测扩展到描述性数据源；由此产生的主题和画像是假设生成性的，而非经过验证的环境测量或模型推理解释。在进一步外部验证和计算效率改进之后，这些方法可支持城市规划、环境健康和公共卫生研究中关于人们如何体验日常视觉环境的研究。
