《Urban Forestry & Urban Greening》：A multi-view deep learning framework for urban tree health assessment via fusion of aerial multispectral and street-level RGB imagery
编辑推荐：
•基于依赖关系的评估涵盖了111棵城市意大利松（Pinus pinea）。•每棵树由一个四波段无人机影像和六个街景视角表示。•平均融合方法在合并AUC指标上表现最佳；特征融合方法在准确率和平衡准确率上表现最佳。•无人机模型与街景模型在单树层面的错误具有非同质性。•多光谱无人机
- •
基于依赖关系的评估涵盖了111棵城市意大利松（Pinus pinea）。
- •
每棵树由一个四波段无人机影像和六个街景视角表示。
- •
平均融合方法在合并AUC指标上表现最佳；特征融合方法在准确率和平衡准确率上表现最佳。
- •
无人机模型与街景模型在单树层面的错误具有非同质性。
- •
多光谱无人机的AUC高于单独产品基线的无人机RGB数据。
引言
城市树木对城市的气候韧性贡献显著。其树冠通过遮阴和蒸腾作用帮助调节城市热岛效应（Oke, 1982, Ziter et al., 2019），城市森林则具有固碳和净化空气的作用（Nowak and Crane, 2002, Nowak et al., 2006）。接触城市绿地还与身心健康效益及更低的总死亡率相关（Kondo et al., 2018, Rojas-Rueda et al., 2019）。维持这些生态系统服务依赖于在多重压力因素——如高温、干旱、根系空间受限、虫害和病害——相互作用下保持树木种群的存活。重复的实地评估既耗时又费力，促使研究者探索互补的基于图像评估方法。
卫星和无人机观测能够扩展空间覆盖范围，并日益被用于植被制图、单木识别和树冠状况评估（Wulder and Franklin, 2003, Kattenborn et al., 2021, Ventura et al., 2024, Ecke et al., 2024）。然而，其以天底观测为主的几何特征更直接反映树冠顶部而非树干或下部树冠。街景影像提供了互补的近距离视角，并支持城市树木清查、制图和属性估计（Seiferling et al., 2017, Lumnitz et al., 2021, Velasquez-Camacho et al., 2023）。由于天底多光谱观测与近景RGB观测在视点、空间支撑、传感器特征、光谱信息以及可能的采集时间等方面存在差异，它们可能提供关于树木健康状况的部分非冗余预测信息。然而，两者的对比无法隔离其中任何一个因素的贡献。
罗马的意大利松（Pinus pinea L.）提供了一个具有生物学意义的研究场景，用以探讨不同模态是否提供了互补的预测信息。入侵物种松龟介（Toumeyella parvicornis）已被证实与意大利（包括罗马）意大利松的严重衰退相关（Garonna et al., 2018, European and Mediterranean Plant Protection Organization (EPPO), 2024, Falanga et al., 2024）。其报道的复合症状包括蜜露和烟煤病、新梢发育不良、针叶脱落和树冠渐进性衰退（Garonna et al., 2018, European and Mediterranean Plant Protection Organization (EPPO), 2024）。一项在罗马城市公园的实地研究也记录了重感染意大利松下部枝条的严重落叶现象（Bertin et al., 2022）。这些观察为结合近景与天底视角提供了生物学依据。在本研究中，T. parvicornis 提供了生态背景，而预测目标是专家评估的树冠枯死；对于单棵树并未诊断或确认其因果致病因子。图1展示了在记录的虫灾期间罗马P. pinea林地中观察到的严重树冠衰退示例。
在上述背景下，我们假设两种模态能够提供互补的预测信息，并且将二者结合相比于任一单一模态能够改善单树层面高枯死与低枯死之间的区分能力。我们基于两种有意分离的树冠枯死类别和非完全同步观测数据，将其评估为单城市、单物种的概念验证：街景影像拍摄于2024年6月，无人机影像和实地评估则于2024年10月至11月分别进行。本研究旨在通过受控的内部评估协议来评估预测互补性，而非开发可部署的工具或针对特定害虫的诊断方法。地理、时间、季节、前瞻性以及全严重度连续性的泛化能力均未进行评估。
具体而言，本研究的目标为：（1）以多光谱无人机和街景作为单模态基线进行基准测试，并将多光谱无人机与仅使用RGB的无人机数据进行比较，后者作为单独产品基线；（2）在相同的基于依赖关系的交叉验证评估协议下，比较两种多模态方法——平均融合（定义为多光谱无人机与街景对每棵树概率的算术平均值）和特征融合——与单模态基线的性能；（3）评估五个训练随机种子下的优化敏感性，并评估相应的逐树概率集成结果；（4）通过对街景输入施加受控的合成人造遮挡（保持无人机输入不变）来表征模型行为，分析模态间的单树预测一致性与不一致性，以及对典型正确与失败案例进行折叠匹配下的定性显著性分析。
章节摘要
用于树木评估的空基遥感
城市及城郊树木的遥感支持多项不同任务，包括清查、单木识别、物种制图和树冠状况评估。超高分辨率航空或无人机影像已被用于单木检测（Ventura et al., 2024），而多时间PlanetScope数据与航空正射影像的融合则改善了城市树种制图（Neyns et al., 2024）。在森林健康应用中，机载RGB、多光谱及
研究区域、影像与参考标签
研究区域位于意大利罗马，城市景观中分布有成熟Pinus pinea树木（近似中心坐标：41.798°N, 12.448°E）。所选Google街景全景照片拍摄于2024年6月。无人机调查与专家实地评估分别于2024年10月至11月进行；影像与标签并非同时获取。两种影像来源通过经验证的跨模态身份对照表在单木层面进行关联；保留的对
主要分类性能
最终分析队列包括111棵树（68棵高枯死和43棵低枯死），分为67个依赖组件。在单模态基线中，多光谱无人机达到0.906的AUC、0.811的准确率和0.794的平衡准确率。相应的街景值为0.834、0.766和0.732。平均融合方法取得最高的合并AUC（0.930），准确率为0.838，平衡准确率为0.816，而特征融合方法取得最高
主要发现
本研究评估了多光谱无人机影像与街景影像是否能为单木层面低枯死与高枯死Pinus pinea的区分提供互补的预测信息。多光谱无人机提供了最强的单模态点估计，达到0.906的AUC；而仅使用RGB影像的街景达到0.834的AUC。平均融合方法取得最高的主要合并AUC（0.930），而特征融合方法取得最高的主要合并准确率（0.847）以及
结论
本研究提供了一个基于依赖关系的交叉验证概念验证，证明结合多光谱无人机和街景影像可以区分111棵城市Pinus pinea中两种分离的树冠枯死类别。平均融合方法取得了最高的主要合并AUC，而特征融合方法取得了最高的主要合并准确率和平衡准确率，以及最高的五种子均值和概率集成的点估计。然而，调整后的主要配对比较
CRediT作者贡献声明
Gaetano Saurio：撰写——原稿、可视化、验证、软件、方法学、调查研究、正式分析、数据管理、概念构思。Marco Seccaroni：可视化、资源、方法学、数据管理。Simone Mora：监督、资源、方法学。Simone Scardapane：撰写——审阅与编辑、方法学、资金获取。Francesco Marinello：撰写——审阅与编辑、方法学、资金获取。Giancarlo Papitto：资源、调查研究。Carlo Ratti：
关于本手稿准备过程中使用生成式AI和AI辅助技术的声明
在准备本工作的过程中，作者使用了OpenAI ChatGPT和OpenAI Codex来协助语言润色、内容组织、一致性检查和代码编写与审阅。所有AI辅助的输出均经过作者的批判性审阅，在适用的情况下进行了测试，并由作者编辑，作者对文章的内容承担全部责任。
利益冲突声明
作者声明，他们没有已知的竞争经济利益或个人关系可能影响本文所述工作的结果。
Gaetano Saurio | Marco Seccaroni | Simone Mora | Simone Scardapane | Francesco Marinello | Giancarlo Papitto | Carlo Ratti
