利用无人机RGB影像对异质森林中冠层级树木物种进行语义分割的MonoCrown方法 文林芝（Linzhi Wen） 陈光升（Guangsheng Chen）

《Remote Sensing》：MonoCrown for Crown-Level Tree Species Semantic Segmentation in Heterogeneous Forests Using UAV RGB Imagery Linzhi Wen and Guangsheng Chen

　　**亮点**
主要发现是什么？
MCrown 通过注入冻结的单目深度先验作为几何指导，实现了从无人机 RGB 图像中进行树种级别的语义分割。跨窗口的全局-局部上下文配合双向跨模态注意力机制，减少了异质森林中物种间的混淆，并清晰地划分了树冠边界。

**主要发现的意义是什么？**
在内部开发的十类无人机基准数据集以及公开数据集上，无论在密集还是稀疏标注情况下，均取得了持续的改进效果。为大面积、细粒度的森林制图提供了一种低成本、可部署的替代方案，取代了多光谱/LiDAR 流程。

**摘要**
树种级别的语义分割使得精细的森林清查和管理成为可能。当前的高精度树种分类通常依赖于多源遥感数据，而这些数据的获取和处理对于大面积应用来说成本较高，因此低成本的无人机（UAV）RGB 图像是大规模森林制图的一个有吸引力的选择。然而，在异质森林中，复杂的树冠结构以及低成本 UAV RGB 图像的有限光谱区分能力使得仅依靠二维外观特征无法可靠地识别物种、划分树冠边界和准确分离相邻树冠。这常常导致物种间的混淆、树冠边界模糊以及对小树冠的识别不足。为了解决这些问题，本文提出了 MonoCrown（MCrown），它通过加强几何和上下文表示，使得从单时相 UAV RGB 图像中区分视觉上相似的树种并划分树冠成为可能。为了弥补外观特征的不足，MCrown 从同一 RGB 图像中离线推断出单目深度作为固定的几何先验，并结合了跨窗口全局-局部注意力（CW-GLA）、双向跨模态注意力（BiCoAttn）和深度自适应注入（DAI），以捕捉远距离依赖关系，并促进外观特征和几何特征的互补使用，特别是在具有相似视觉图案的复杂场景中的小树冠。为了验证该方法的有效性，构建了一个覆盖约 40 平方公里的树冠级别 UAV RGB 数据集。在提出的数据集和公开基准数据集上进行了系统的比较实验，结果表明该方法在十种主要树种分类中均有效，尤其是在小树冠和视觉相似类别上。其平均交并比（mIoU）和整体准确率（OA）分别达到了 74.1% 和 87.3%。该方法仅使用单时相 UAV RGB 图像即可实现高精度的树种级别语义分割，而无需多光谱、多时相或主动传感器数据。这为异质森林中的树种级别制图提供了一个实用的解决方案。

**1. 引言**
个体树种分类（ITSC）是生物多样性核算和森林管理决策的基本操作单元。它是评估林分结构、生长监测和收获计划的关键指标系统，从而支持精细的森林治理 [1]。因此，高分辨率的 ITSC 产品对于从精准林业到生态补偿再到森林健康监测等关键应用至关重要。在这项研究中，目标任务被定义为树冠级别的物种级别语义分割，其中每个标注的树冠区域内的像素都被赋予一个物种标签。早期的 ITSC 工作主要依赖于地面清查、专家树木识别以及对航拍照片或立体图像的手动解释。尽管这些方法能够提供高精度的地块级估计，但它们劳动密集、依赖专家知识，并且难以在时间和空间上进行扩展。随着机载和星载遥感技术的发展，研究人员开始利用卫星和机载图像进行区域树种制图，最初是在像素或林分级别，后来扩展到树冠级别 [2]。典型的研究结合了光谱指数、纹理描述符和高度统计信息与随机森林或支持向量机等经典机器学习分类器，以提高物种间的区分能力 [3]。这些流程仍然严重依赖手工制作的特征和复杂的预处理，限制了它们的自动化程度，也限制了它们在操作性大规模森林监测中的应用。

过去十年中，计算机视觉和深度学习的快速发展推动了 ITSC 向更高水平的自动化和精确度迈进。从方法论的角度来看，现有的深度学习方法可以分为三类：第一类使用单源光学图像，并通过全卷积网络进行末端到端的分割 [4]；第二类采用多任务架构来联合预测树冠边界和物种标签，提高结构一致性 [5]；第三类关注多源融合，结合高光谱、LiDAR 或多时相观测与深度网络，利用联合的光谱-结构特征 [6,7]。尽管这些方法在复杂林分中的表现显著优于传统方法，但它们通常依赖于昂贵的多传感器数据获取、繁琐的跨传感器校准以及大量的标注资源，这些因素共同阻碍了它们的常规操作应用。

在这种背景下，配备 RGB 传感器的无人机（UAV）作为一种具有成本效益的替代方案出现了。与有人驾驶飞机和卫星平台相比，UAV 提供了厘米级的空间分辨率、灵活的部署方式以及高效的低成本数据获取能力，适用于树种制图 [8]。厘米级的 RGB 马赛克清晰地描绘了树冠形状、纹理和细结构，为物种识别提供了直接线索 [9]。最近的研究进一步将 UAV RGB 与先进的分割网络或领域适应性训练策略相结合，证明即使在结构复杂的森林中，多物种制图也是可行的 [10]。在本研究中，UAV RGB 指的是传感和监督设置；后来使用的辅助深度线索是从同一 RGB 图像中离线推断出来的，而不是作为额外的传感模式获取的。然而，当单时相 UAV RGB 是唯一的传感模式时，异质森林仍然存在特定挑战，包括强烈的类内变异、类间相似性以及树冠之间的粘连问题，以及在不同地点和获取条件下的不均匀分布。

**RGB 图像中的光谱区分能力有限**：RGB 数据中的光谱维度有限，常常导致光谱模糊：在异质混合森林中，同一物种可能表现出较大的类内纹理变化，而不同物种可能具有高度相似的树冠形态。阴影、地形起伏和动态光照进一步加剧了类间混淆和边界模糊，尤其是在小树冠和分布稀疏的物种中。

**用于树冠划分的几何先验不足**：许多仅依赖单时相 UAV RGB 图像的 ITSC 流程纯粹在外观空间中进行操作。它们缺乏有效的结构建模机制，很少利用深度或结构感知等几何先验。没有这样的指导，网络很难分离粘连的树冠、保持树冠连续性，并在阴影和背景杂乱情况下可靠地检测小树冠个体。为了解决这些问题，我们提出了 MonoCrown（MCrown），这是一个用于从单时相 UAV RGB 图像中进行树种级别语义分割的框架。在 MCrown 中，从同一 RGB 图像中推断出的单目深度被引入作为固定的几何先验，以补充外观特征，而不是作为联合优化的多模态融合分支 [11]。这种设计允许模型利用异质森林中的近似树冠几何结构，其中粘连的树冠、模糊的边界和视觉上相似的物种常常会干扰仅基于 RGB 的预测。基于这一前提，MCrown 集成了三个互补组件：跨窗口全局-局部注意力（CW-GLA）用于高效的长距离树冠上下文建模，双向跨模态注意力（BiCoAttn）用于关注边界的 RGB-深度交互，以及深度自适应注入（DAI）用于从浅层边缘增强到更深层次形态学的逐步几何调节。本研究的主要贡献总结如下：
(1) 我们提出了一个用于单时相 UAV RGB 图像的树种级别语义分割框架，该框架将从同一 RGB 图像中推断出的单目深度作为固定的几何先验，实现几何感知特征学习，无需额外的可训练模式或额外传感器数据。
(2) 我们开发了三个针对异质森林场景的互补模块：CW-GLA 用于高效的长距离树冠上下文聚合，BiCoAttn 用于关注边界的 RGB-深度交互，DAI 用于从浅层边缘增强到更深层次形态学的逐步几何调节。
(3) 我们在树冠级别建立了十类 UAV RGB 基准，并在 HS、SZUTreeData [12] 和 TreeAI [13] 上验证了所提出框架的有效性。实验结果表明，在相同的协议下，特别是在小树冠和视觉相似类别上，取得了持续的改进效果。

**1.1. 单树级树种制图**
单树级树种制图以单个树冠为基本单位，结合了划分、识别和统计分析。在这个更广泛的范围内，本研究关注的是树冠级别的物种级别语义分割，而不是严格的个体级树冠划分或每棵树的分类。早期的工作依赖于地面清查、专家照片解释以及后来的卫星或机载图像，结合了手工制作的光谱、纹理和高度特征以及随机森林和支持向量机等经典机器学习分类器 [3,14]。这些流程改善了区域树种制图，但仍然劳动密集、对特征设计敏感，并且难以在异质森林中泛化。为了提高区分能力，许多近期研究转向了多源融合。在亚热带和温带森林中，Qin 等人整合了 UAV 高光谱、LiDAR 和超高分辨率 RGB 数据，提高了树冠边缘的完整性和类间分离 [15]；Ma 等人在次生林中报告了使用组合光谱-结构信息的类似改进 [7]。在城市环境中，Ventura 等人设计了城市规模的空中单树检测工作流 [16]；Lin 等人改进了基于 LiDAR 的树冠边界提取和后处理，以增强边界连续性 [17]。尽管这些多源方案减轻了光谱模糊问题，但它们依赖于昂贵的数据获取、复杂的跨传感器校准和大量数据，这限制了它们的实际应用。

UAV RGB 图像，特别是在单时相配置下，提供了一种更为经济的方式。Huang 等人展示了从 UAV RGB 进行树冠级别分类，并指出了对标注粒度的敏感性 [18]；Avtar 等人表明，多季节 UAV 活动可以利用物候和光照差异来提高区分能力，但代价是更高的获取和时效成本 [19]。代表性的林业研究还表明，多尺度特征构建和空间增强可以改善复杂树冠中的树种识别效果。例如，HPAC 强调了跨尺度交互和空间增强表示在树种识别中的价值 [20]。更广泛地说，最近的多模态遥感分割研究表明，异质线索之间的协作交互可以提高视觉复杂场景中的分割性能 [21]。这些观察结果加强了我们在框架中引入模态协作 RGB-深度表示的方法论动机，尽管森林树冠解释的区分基础仍然主要依赖于细粒度的树冠外观。对于大型正射影像，通常采用重叠滑动窗口、多尺度融合和跨区域评估来稳定预测 [22]。在我们的工作中，UAV RGB 图像是唯一的传感模式，而从同一图像中推断出的单目深度被用作固定的先验，以补充由外观驱动的表示，并提供边界和形态学线索。

**1.2. 森林图像的语义分割**
语义分割为每个像素分配一个类别标签，已经从早期的全卷积网络发展到基于掩码的、基于 Transformer 的和基于状态空间的架构。Mask2Former 将分割定义为基于查询掩码的集合预测 [23]；SegFormer 结合了分层编码器和轻量级解码器，实现高效的密集预测 [24]；Swin-UNet 在 U 形架构中采用了窗口化 Transformer，以平衡全局上下文和局部细节 [25]。最近，Vision Mamba 将状态空间序列模型引入到视觉主干网络中 [26]，其衍生物如 UNetMamba 和 MambaVision 进一步提高了编码器-解码器设计中的长距离传播和边界保真度 [27,28]。最近的遥感研究表明，对于具有阴影、模糊边界和小物体的高分辨率场景，多尺度特征交互和全局信息建模尤为重要 [29]。这些进展逐渐被应用于植被和森林制图，其中高容量主干网络显著改善了树冠划分和类别一致性，优于传统流程。然而，大多数架构是为通用城市或自然图像设计的，当直接应用于无人机森林图像时，往往强调外观特征，而低估了树冠级别的几何结构。全局注意力或非常大的卷积核可以改善上下文建模，但计算成本较高，而浅层感受野在处理小树冠、密集树冠和域变化时表现不佳。在我们的框架中，CW-GLA 作为一个轻量级的上下文聚合模块，适用于树冠密集的森林图像。它通过结合局部卷积细化和条带式长距离交互，增强了相邻树冠之间的连通性建模，同时保持了高分辨率 UAV 场景下的计算负担可控性。

**1.3. 几何引导和深度增强的分割**
诸如对象边界之类的几何线索编码了形状和布局先验，补充了 RGB 外观，并有助于在结构复杂、边界敏感的场景中稳定分割。BASeg 通过增加隐式的边界分支和边缘损失来增强解码器，减少过度填充并清晰对象轮廓 [30]；InverseForm 结合了结构化的边界项，特别是在对象边缘周围提高了多类分割质量 [31]。除了单模态设计外，CMX 还利用跨模态注意力来对准几何先验和 RGB 特征，提高了阴影区域和对象轮廓周围的鲁棒性 [32]。吴等人进一步展示了，通过使用基于 Transformer 的融合方法，将几何约束注入注意力层可以在多模态环境中改善空间特征表示[33]。此外，单眼深度估计提供了一种低成本的方式，无需专门的 LiDAR 或立体测量活动，即可将密集的几何信息附加到 RGB 图像中。MiDaS 在从单张图像进行深度预测方面展现了强大的跨数据集通用性[34]，后续的模型如 Marigold、ZoeDepth 和 Depth Anything V2 在结构重建、尺度一致性和边界保真度上进行了改进[35,36,37]。这些进步使得为大型无人机 RGB 档案推导出近似几何信息成为了可能。大多数基于几何的信息分割框架将深度视为一个可训练的分支或额外的监督来源，并主要在城市或室内基准测试中进行评估。相比之下，我们的设置是从单时相无人机 RGB 图像开始的，并使用从同一图像推断出的单眼深度作为冻结的先验来规范特征学习，而不是定义第二个学习流。在这个设置中，BiCoAttn 使用由深度导出的边界线索来指导 RGB-深度交互，而 DAI 以阶段依赖的方式引入几何信息，浅层强调边缘结构，深层强调树冠形态。因此，MCrown 的区别不在于引入深度本身，而在于将近似几何信息适应于异构森林树冠分割的具体需求。

2. 材料与方法
2.1. 研究区域和无人机 RGB 数据采集
研究区域位于中国安徽省黄山市祁门县，地理范围大约在北纬 29.60°–30.14° 东经 117.20°–117.95°，如图 1a 所示。在该区域共调查了 69 个样地，涵盖了本研究涉及的主要树种类别，如台湾松（Pinus elliottii）、长叶杉（Cunninghamia lanceolata）和栎属（Quercus spp）。该地区具有亚热带季风气候，年平均温度在 11°C 至 22°C 之间，降雨分布均匀，极端温度为 38°C（最高）和 -8°C（最低）。地形主要是低山和中山，坡度起伏明显。森林覆盖面积约占该区域的 88%，其中人工林与天然林的比例约为 7:3。森林类型多样，主要包括针叶林、阔叶林、混交林和竹林。树种包括台湾松、长叶杉、栎属以及台湾枫香（Liquidambar formosana），它们在某些区域呈带状或斑块状分布，如图 1b 所示。主要树种及其在样地和图像 tile 中的比例分布列在表 1 中。航空数据是使用配备 Zenmuse P1 全幅 RGB 相机的 DJI Matrice 300 RTK 无人机采集的，该相机像素约为 4500 万，焦距为 35 mm。飞行高度大约为 490 米，对应的地面分辨率为约 6.2 厘米/像素。数据采集于 2022 年 10 月中旬，在晴朗无风的条件下进行，前后重叠率分别为 80% 和 70%。经过航空三角测量、正射校正和镶嵌处理后，图像被转换成高分辨率的正射照片，覆盖面积约为 40 平方公里。此外，为了评估跨区域通用性，还使用了公开可用的 SZUTreeData [12] 数据集，该数据集来自中国南部深圳的亚热带城市绿地，如图 1c 所示。示例树种包括 Terminalia arjuna、Ficus altissima、Delonix regia、Litchi chinensis、Mangifera indica 和 Ficus virens。为了保持标签的一致性，语义注释进行了标准化和几何校正，包括闭合多边形的处理、自交消除和边界平滑。仅保留 RGB 和语义掩码组件用于训练和验证。

2.2. 数据集构建和预处理
该数据集使用树冠级多边形注释，并在物种级语义分割设置下进行研究。无人机 RGB 图像是根据实地调查记录和森林资源清单数据手动注释的。解释者在正射照片上划定树冠多边形，并为每个注释分配一个物种标签。当在正射照片中可以看到明显的树冠间边界时，相邻的树冠被标记为独立的个体；否则，它们被保留为连续的树冠区域。对于模糊或部分遮挡的树冠，边界是根据可见的树冠轮廓和局部林冠连续性来划定的。下层植被被排除在注释之外。枯死的树木被标记为一个独立类别，而那些树冠级样本较少的不常见阔叶树种被归类为“其他硬阔叶树”。所有注释由两名额外的解释者进行了审查和交叉验证，以确保空间准确性和类别一致性。原始镶嵌图使用 ArcGIS 10.6 被裁剪成固定大小的样本。在移除了过多的非森林土地或缺失树冠的区域后，样本按样地分组以避免空间重叠。几何增强采用了随机旋转、翻转和尺度变换，而颜色变换仅应用于光谱通道。RGB 输入被归一化为每个通道均值为零、方差为单位。深度先验是使用公开可用的预训练单眼深度模型从相应的 RGB 图像中离线生成的。在主要实验中， 默认使用 Depth Anything V2 作为深度来源。没有进行特定领域的微调。对于所有比较的深度估计器，预测的深度图都被重新采样到 RGB 网格，并在使用前进行了相同的对齐和百分位数归一化处理。

2.3. 数据集和评估协议
关于数据集，HS 是一个自构建的无人机 RGB 数据集，在本研究中被用于物种级语义分割设置，并在树冠级别进行注释。其收集、注释和类别组成已在上文中总结。SZUTreeData 是一个合并了两个阶段的数据集。R1 的 RGB 正射照片尺寸为 6170 × 4810 像素，R2 的尺寸为 8080 × 4888 像素。公开数据集中包含的 HSI 和 LiDAR 图像在本文中未使用。这两个阶段合计覆盖了超过 500 个单独的树木注释。为了促进跨阶段整合和比较，我们对类别命名进行了标准化并进行了标签对齐。此外，这里使用的 TreeAI 是来自 Zenodo 的一个公开发布的无人机语义分割数据集，它包含两个数据集：1776 张完全标注的图像（标注密度高）和 2051 张部分标注的图像（标注密度较低）。由于原始类别数量众多，并且各地区存在同名或密切相关类别，我们将它们映射到一个由 20 个目标类别组成的标签空间中。其中十二个是关键树种，如白桦（Betula papyrifera）、加拿大铁杉（Tsuga canadensis）和欧洲松（Pinus sylvestris），八个是属级组，如槭属（Acer spp.）、栎属（Quercus spp.）和松属（Pinus spp.）。对于 TreeAI，mIoU、AF 和 OA 是在统一的 20 类标签空间上计算的，其中属级组排除了列出的关键物种的像素以避免重复计数。HS 代表了具有树冠级物种注释的密集亚热带森林群落，SZUTreeData 代表了背景干扰较多的城市树木场景，而 TreeAI 在完全标记和部分标记的协议下都覆盖了更丰富的分类，这导致三个数据集在区域、分类粒度、树冠密度和注释设置上存在明显差异。值得注意的是，为了标准化实验设置，监督完全基于无人机 RGB 图像和相应的语义注释。由于单眼深度是从相同的 RGB 数据中离线推断的，因此它仅作为冻结的几何先验使用，不参与梯度更新。

在像素层面，目标任务被评估为一个语义分割问题。因此，我们使用分割领域的常见指标来定量评估模型：平均交并比（mIoU）、宏观平均 F1 分数（AF）和总体准确率（OA）。对于 HS 和 SZUTreeData，mIoU 和 AF 是在前景类别上计算的，而 OA 遵循标准的逐像素定义，忽略未标注的像素。为了公平比较，所有方法在相同的 RGB 采集和语义监督设置下共享相同的平铺、增强和滑动窗口推理协议。首先，我们将大型正射照片切成 512 × 512 的 tile。在训练过程中，我们应用随机尺度裁剪、水平/垂直翻转和轻微的颜色变换，并对 RGB 和缓存的深度先验应用相同的几何变换以保持像素级对齐。其次，在推理过程中，我们使用重叠的滑动窗口和余弦加权融合来减轻拼贴伪影。深度仅由 MCrown（以及在消融实验中的 RGB–D 基线）使用，作为从相同 RGB 图像中离线推断的冻结先验。单眼深度是使用 Depth Anything V2 从 RGB 中离线推断的，并在分割训练和推理之前缓存。深度估计器保持冻结状态，不进行特定领域的微调。报告的推理速度和内存消耗仅涉及分割模型，不包括离线深度生成的成本。最后，我们使用 AdamW 优化器，并采用余弦学习率调度。对于每一折，选择验证性能最好的检查点，报告的 HS 和 SZUTreeData 结果是四个空间不相交测试折的平均值。所有实验都在单 GPU 桌机上完成。环境和超参数在表 2 中显示。

表 2. 实验环境和参数设置。对于数据划分，HS 和 SZUTreeData 被分为四个互斥的折，没有空间重叠。每次迭代包括在三个折上进行训练，在剩余的一个折上进行测试，我们平均四个测试运行的结果以获得可靠的性能估计。对于 TreeAI 数据集，我们遵循其官方的分割方案，在完全标记和部分标记的设置下分别进行独立评估，没有交叉子集进行训练和测试。

2.4. MCrown 概述
在这项工作中，我们提出了 MCrown，这是一个基于外观-几何协作的树冠级树种语义分割框架。该方法使用单时相无人机 RGB 图像作为唯一采集和监督的模态，同时将从同一 RGB 图像中离线推断出的单眼深度图（使用 Depth Anything V2 [37]）作为冻结的几何先验，而不是独立获取的第二个模态。网络不是通过额外的任务特定分支来学习深度，而是使用这个冻结的先验来稳定树冠边界，加强结构连续性，并支持复杂森林场景中的形态学区分。整个流程如图 2 所示，通过 CW-GLA 基本的上下文聚合和深度引导的特征调制来建模树冠语义。下面，我们简要概述架构，然后在后续小节中描述每个组成部分。

图 2. 提出的 MCrown 框架的总体架构。顶部展示了完整的双分支流程，(a–c) 显示了三个关键模块的放大部分视图：跨窗口全局-局部注意力（CW-GLA）、双向跨模态注意力（BiCoAttn）和深度自适应注入（DAI）。输入准备和双分支编码。给定一个输入 RGB 图像，使用 Depth Anything V2 估计深度图，将其重新采样到 RGB 网格，使用相同的几何变换进行共增强，并基于百分位数进行归一化以反映其相对尺度。然后，一个对称的双分支 ConvNeXt 编码器在四个阶段提取多尺度的 RGB 和深度特征图。深度估计器保持冻结状态，不接收梯度，而每个编码器阶段都包含一个 CW-GLA 块来捕获长距离的上下文依赖性。在编码器内部，RGB 和深度特征通过两种深度引导的机制进行精细化处理。第 1–2 阶段之间的 BiCoAttn 模块在基于条纹的邻域内执行稀疏的相互注意力，使用由深度导出的边界线索来抑制光照伪影，并在纹理区域中对齐外观和几何形状。同时，DAI 机制以阶段感知的方式注入几何先验：在浅层阶段（阶段 0–1）中，DAI-Edge 引入基于 Sobel 的边缘响应；而在深层阶段（阶段 2–3）中，DAI-Channel 基于汇总的深度特征应用形态感知的通道门控，增强树冠轮廓和小树冠个体。在解码器中，来自所有四个阶段的深度调节后的 RGB 特征被投影到一个统一的通道维度，逐步上采样到输入分辨率，并通过 ConvexMix 模块融合，该模块预测 soft 每尺度权重并生成融合表示。一个轻量级的SegHead然后将Ffuse映射到每个像素的logits，用于K树种类的分类。这些组件共同构成了一个高效的架构，能够联合建模外观和几何特征，使得仅使用单时相无人机RGB图像和固定的单目深度先验就能实现精确的树冠级树种语义分割。

2.5. 上下文聚合注意力模块
ITSC所需的高分辨率无人机正射影像需要精确的树冠边界和远距离的上下文线索。纯卷积方法除非使用非常大的核，否则仍局限于局部处理，而传统的全局自注意力则会导致token数量的二次方复杂度增加。因此，我们采用了CW-GLA方法，它结合了轻量级的卷积路径和基于条带的注意力机制，以平衡准确性和效率。如图2a所示，前一阶段的输出首先经过层归一化（LN），然后由局部路径和全局路径并行处理。为了避免对高分辨率特征进行冗余计算，局部路径使用了深度可分离卷积（DWConv）[38]和残差连接。DWConv的通道级计算减少了参数数量和FLOPs（浮点运算次数），而残差结构有助于保持细节和梯度稳定性。相比之下，全局路径借鉴了轴向注意力的理念，但并不在整个行或列上进行全局建模，而是在宽度为w的条带窗口内执行缩放后的点积操作。我们将注意力头的数量h和条带宽度w设置为8，并采用了条带级窗口[39]。这种设计有效地避免了二次方时间复杂度，同时保持了长距离依赖性。假设输入为X，其中Nl = HlWl，d是每个头的关键维度，那么在条带t ∈ {row, col}内的注意力计算公式为：
(1)
其中Qt、Kt和Vt是通过线性投影X得到的，然后将结果划分到条带中。α是一个固定的加性注意力掩码，在有效位置上取值为0，否则取?∞，从而将注意力限制在条带窗口内。行级和列级的聚合结果分别表示为Or和Oc。由于每个token只与w个邻居交互，这种设计将标准自注意力的二次方复杂度降低到了线性复杂度，其中h是注意力头的数量，Nl表示token的数量。最终输出表示为：
(2)
其中Wo是一个1 × 1的投影。与传统的全局注意力相比，这种条带建模在避免二次方开销的同时保留了长距离依赖性。与纯局部卷积相比，条带注意力能够跨越树冠之间的排列，增强了线性结构和森林带状模式的建模。在实际应用中，它能够在小树冠对象上保持边缘清晰度，同时在大部分树冠区域维持全局一致性，实现了效率和准确性之间的平衡。

2.6. 双向信息对齐
在高分辨率无人机影像中，RGB特征提供了丰富的纹理和光谱细节，而深度特征则提供了树冠的几何和形态学补充信息。简单的融合方法（如串联或元素级加法）往往会忽略模态特定的统计特性，并可能导致冗余或甚至冲突的结果，特别是在辅助深度数据噪声较大时[40]。现有的基于注意力的融合方法在一定程度上可以缓解这一问题，但通常会引入较高的计算开销，并且仍缺乏对几何边界的明确约束[33]。为了解决这些问题，我们在中间编码器阶段设计了一个分层双向交互模块，其核心结构如图2b所示。我们将BiCoAttn中的条带约束交叉注意力子层表示为BiXAttn，AxNbh构建了轴向条带邻域以及相应的二进制掩码M(i, j)。首先，RGB特征和深度特征通过LN和1 × 1卷积进行投影，其中l索引编码器阶段，N是token的数量，Cl是通道维度。LN减少了不同模态之间的分布差异，比BN更适合Transformer风格的token序列[41]，而1 × 1卷积可以對通道进行对齐和压缩，从而减少后续计算量。投影后的特征再进行行级?2归一化，以使相似性仅依赖于特征方向而非幅度，从而在条带约束的注意力范围内实现余弦相似性度量。为了突出几何边界，我们从深度图的Sobel梯度幅度计算边界得分，并通过最小-最大缩放进行归一化，将其表示为b。在softmax之前，b作为偏置添加，以增强边界token并抑制来自光照或阴影的虚假边缘，这遵循了边界引导分割中的先验增强思想。在交互阶段，我们引入了条带约束的交互式注意力，而不是标准的全局注意力。类似于轴向注意力，AxNbh沿行或列方向构建邻域(t ∈ {row, col})并提供二进制掩码M(i, j)；窗口宽度进一步限制为w，以避免在整个行和列上进行冗余交互。交互权重由第i个RGB token与第j个深度token之间的相似性得分定义，随后通过softmax操作进行归一化：
(3)
其中M(i, j) ∈ {0, 1}是一个二进制邻域掩码（乘性），与公式(1)中的加性掩码不同；w的范围在这个集合内，bj是边界先验，表示从第j个深度token到第i个RGB token的归一化注意力权重。在这种掩码的作用下，每个token每个条带最多与w个邻居交互，从而定位了计算并降低了复杂性。跨模态信息通过门控残差更新进行交换：
(4)
其中WR是一个1 × 1的投影。对于也表示应用了对称更新，其中深度token从RGB接收补充信息。这里，η是一个通道级的门控，其值介于0和1之间，通过线性投影和Sigmoid函数计算得到，并在整个token维度上广播。η进一步调整了跨模态传输的强度，避免了一个模态的质量不足时导致过耦合。

2.7. 几何引导的特征增强
高分辨率无人机影像中的深度信息可以有效补充RGB模态中难以获得的几何信息。具体来说，它包含清晰的局部边界线索，并为整体树冠形态提供了统计先验。现有方法通常使用跨模态对齐机制来整合多源特征[32]。然而，这些方案往往忽略了不同阶段对几何信息的不同需求。例如，浅层需要细粒度的边界约束，而深层则更依赖于全局形态学先验。基于此，我们提出了深度自适应注入（DAI）机制，其结构如图2c所示。DAI的核心概念是分阶段调制。在早期阶段，模型需要更强的边界引导来补偿相邻树冠之间RGB特征的不确定性。我们基于阶段对齐的深度图Dl的梯度幅度构建了一个边缘增强项，其中Dl被调整为Hl × Wl大小：
(5)
其中MM-Norm表示最小-最大归一化到[0, 1]。这一项在逐像素基础上增强了树冠边缘的区分度。在后期阶段，特征分辨率降低，使其更适合提取整体形态。然后我们使用深度分支特征通过全局平均池化（GAP）和线性投影来获得通道权重：
(6)
其中W是一个可学习的投影矩阵，σ(·)表示Sigmoid激活函数。这个向量沿通道维度重新加权，以放大与树冠整体轮廓一致的结构特征并抑制冗余纹理。换句话说，第l阶段的融合特征可以统一表示为：
(7)
其中是经过跨模态融合后的中间RGB特征，⊙表示元素级乘法。与常见的通用注意力机制不同，DAI通过从“边缘优先到形态优先”的渐进式调制策略明确地将深度几何证据纳入语义特征学习中。其计算仅依赖于Sobel滤波器和通道级线性门控，几乎不引入额外参数。

2.8. 解码器融合和损失函数
在解码阶段，来自四个层的融合特征首先被上采样到输入分辨率，并通过1 × 1卷积统一到相同的通道维度。随后，一个轻量级的门控分支预测不同尺度的每个像素的权重，并使用softmax函数在尺度维度上进行归一化，以实现动态多尺度融合。与固定权重方法不同，这种策略根据输入区域的特征分布自适应地调整每个尺度的贡献，减少了对单一分辨率的依赖。得到的融合表示被输入到分类头中以生成类别logits。在网络训练期间使用了一个复合损失函数：
(8)
其中是类别加权的交叉熵，通过基于有效样本数量的平衡策略来减轻类别不平衡[42]；用于提高小树冠对象的分割精度；用于监督从真实掩码派生的边界目标以精细化树冠轮廓。遵循边界感知分割的做法，我们通过对保留的验证数据集进行一次性网格搜索来确定损失权重λdice和λedge，并在所有实验中保持不变[31]。RGB和深度分支共享相同的几何增强方式以保持空间对齐。单目深度估计模块在训练期间保持不变，仅参与几何先验的约束。

3. 结果
本节展示了MCrown在HS、SZUTreeData和TreeAI上的比较和消融结果。

3.1. HS结果
为了评估所提出的MCrown的性能，我们与代表性的卷积网络、Transformer和状态空间模型进行了比较评估。这些模型包括基于ConvNeXt-L的CNN-based DeepLabv3+ [43]、HRNetV2+OCR [44]和UPerNet [45]；基于Transformer的SETR-ML/L [46]、Segmenter [47]、Swin-UNet [25]、SegFormer-B5 [24]、TransUNet [48]、MaskFormer [49]、Mask2Former [23]、SegViT [50]以及基于Swin-L的UPerNet；以及基于状态空间混合架构的VMamba-UNet [27]。表3显示了这些方法在HS数据集上的结果。为了便于阅读，以下讨论聚焦于反映边界模糊性、局部碎片化或小树冠难度的主要整体指标和类别。作为参考，缩写的类别名称在正文中首次出现时进行了展开：Pi.s (Pinus elliottii)、Cu.l (Cunninghamia lanceolata)、Qu.s (Quercus spp.)、Li.f (Liquidambar formosana)、Eu.g (Eucalyptus globulus)、Ph.e (Phyllostachys edulis)、Ca.s (Camellia sinensis)、Pa.a (Paulownia spp.)、Ot.b (其他硬阔叶树)和De.t (枯树)。类别结果表明，所提出的设计对于那些小树冠、局部碎片化或容易与周围植被混淆的树冠特别有益。在这种情况下，深度先验的贡献直接体现在更清晰的边界分割和更稳定的局部树冠形状保持上，特别是在相邻树冠具有相似纹理或颜色时，仅凭RGB外观不足以可靠区分。因此，MC Crown的优势不仅体现在mIoU上，还体现在更稳定的边界划分和树冠结构保持上。

表3. HS树冠级树种数据集的结果（按类别计算的IoU百分比）。最佳值用粗体和下划线表示。在三个标准指标mIoU、AF和OA上，所提出的模型分别取得了74.1%、84.8%和87.3%的成绩。在比较的方法中，MC Crown在当前评估设置下取得了最强的整体性能。与VMamba-UNet相比，MC Crown在mIoU、AF和OA上分别提高了0.6%、0.4%和0.4%。尽管整体mIoU的提升幅度不大，但在受边界模糊性、局部碎片化和小树冠影响的类别中，优势更为明显。特别是，“Ca.s”类别的mIoU相比VMamba-UNet提高了1.2%。我们将这一改进归因于早期层次中深度自适应注入机制引入的边界线索，这些线索更准确地划分了低高度的茶树篱及其细小的边缘。对于“Pi.s”类别，改进的结果可能与跨窗口的全局-局部注意力更好地捕捉细粒度的针叶树结构有关，并减少了相邻树冠之间的过度融合。总体而言，MC Crown在大多数类别上表现出色，表明其提高了像素级物种分割的特征区分能力。值得注意的是，MC Crown在IoU方面并没有在“Ot.b”类别上显示出明显优势，但在大多数类别中仍然保持了领先的分割性能。此外，所有模型在“Ca.s”类别上的表现普遍较差。我们认为主要原因在于经济林（如茶园）的树冠高度较低且分布均匀，导致樹冠边缘的清晰度不足。同样，“De.t”也是一个难以识别的类别，因为枯死的树木通常具有暴露的树冠和稀疏的纹理，其樹冠边缘受到光线和阴影的影响。这些特征与无人机遥感图像中某些落叶树的特征相似，限制了整体的分类准确性。为了直观比较不同方法在树冠级别的分割性能，我们可视化了同一场景的预测结果，如图3所示。MCrown总体上产生了更清晰、更连续的树冠分割结果。例如，在红色框标记的代表区域内，MCrown为“Eu.g”和“Pi.s”等类别产生了更清晰的边界，树冠结构更连续，碎片化程度更低。相比之下，其他方法在同一区域显示出碎片化的伪影，一些樹冠边缘出现断裂和填充现象。值得注意的是，在这种场景下，深度图提供了稳定的几何约束，使模型能够更好地对齐樹冠边缘并抑制由阴影或背景噪声引起的伪影。MCrown的预测保持了更连续的樹冠区域，并减少了散落的误报。除了红色框标记的代表区域外，黄色虚线框表示存在残余误差的难点区域。在这些区域，被阴影覆盖的Pinus elliottii的树冠仍然无法完全分割，而靠近图像边缘或树冠空隙的Camellia sinensis则可能出现与邻近类别的局部混淆。图3. 在HS树冠级别树种数据集上的视觉比较。(a) RGB图像，(b) 深度图，(c) 真实情况，(d) MCrown（我们的方法），(e) VMamba-UNet [27]，(f) Mask2Former [23]，(g) SegViT [50]，(h) MaskFormer [49]，(i) SegFormer-B5 [24]，(j) TransUNet [48]，(k) DeepLabv3+ [43]。Ba.d表示背景。红色框表示用于比较树冠边界连续性和局部碎片化的代表区域，而黄色虚线框表示存在残余误差的难点区域。Ph.e在这个示例的真实情况中不存在。

3.2. SZUTreeData结果
为了验证所提出模型在城市场景中的泛化能力，我们在公共数据集SZUTreeData上进行了实验。预测结果如表4所示。为便于说明，以下讨论重点是主要的整体指标以及在复杂城市背景下差异更为明显的类别。在标准评估指标mIoU、AF和OA上，所提出模型在SZUTreeData测试集上分别达到了79.8%、88.6%和91.0%。在同一协议下，MCrown表现出领先的整体性能。表4. SZUTreeData测试结果（每个类别的IoU百分比）。最佳值以粗体和下划线显示。此外，SZUTreeData数据集中的某些类别表现为分散或条带状的树冠，且通常与道路和建筑等背景区域相邻。模糊的边界和光照干扰使得准确分割变得复杂。对于某些类别，如“Lt.c”和“Ba.b”，它们的IoU分别比表现最好的Mask2Former和VMamba-UNet提高了1.3%和1.5%，表明这些类别有所改进。这些类别通常对应于狭窄、形状不规则且邻近道路或建筑的树冠。MCrown保持了边界完整性，并减少了这种情况下的误分割，展示了模型对复杂城市环境的适应能力。我们可视化了预测结果，如图4所示。在红色框标记的区域，其他方法将一些“Lt.c”样本错误分类为“De.r”，而MCrown产生了更一致的“Lt.c”边界。此外，现有方法在“Te.a”和“Sw.m”中经常显示出不连续或断裂的轮廓，而MCrown有效地保持了树冠边界的完整性。一些形状不规则且树冠宽度较窄的类别，如“Ac.c”，在靠近道路或建筑时更容易受到背景干扰，这增加了准确识别的难度，并导致不同模型之间的性能差异增大。为了进一步展示HS和SZUTreeData上的跨折叠变异性，表5报告了MCrown在四个空间分离折叠上的平均值±标准差。报告的标准差表明，在当前协议下，模型性能在不同空间折叠上相对一致。图4. 在SZUTreeData测试集上的视觉比较。(a) RGB图像，(b) 深度图，(c) 真实情况，(d) MCrown（我们的方法），(e) VMamba-UNet [27]，(f) Mask2Former [23]，(g) SegViT [50]，(h) MaskFormer [49]，(i) SegFormer-B5 [24]，(j) TransUNet [48]，(k) DeepLabv3+ [43]。红色框突出显示用于比较边界连续性和类别混淆的代表区域。表5. HS和SZUTreeData上MCrown的跨折叠变异性（平均值±标准差，百分比）。

3.3. TreeAI结果
为了进一步检验所提出模型对具有丰富类别和复杂注释格式的条件的适应能力，我们评估了TreeAI数据集的两个子集：完全标注的子集，涵盖了整个树种目录并提供了密集的像素级注释；以及部分标注的子集，以稀疏掩码的形式记录了主要的树种类别。这两个子集共享相同的分类系统和索引规则。需要注意的是，部分标注子集中的未标注像素不会计入模型训练或性能评估中。

3.3.1. 全监督
表6显示，MCrown取得了领先的整体分数，mIoU、AF和OA分别为71.0%、82.8%和92.6%。针叶树种如“Pn.s”和“Ab.a”仍然具有挑战性，因为它们的树冠细长且枝条纤细，经常与邻近物种交织在一起。尽管如此，所提出的模型在这些类别上的IoU分数仍高于基准模型。可视化结果如图5I所示。在红色框标记的区域，我们观察到大多数比较模型将“Ac.p”的树冠错误地分割成连续块，而其真实分布是离散的，在分割过程中容易发生断裂或粘连。MCrown更好地分离了相邻的树冠，减少了树冠粘连错误。同时，“Be.a”由于其暴露的树干，容易被比较方法与背景区域混淆，经常显示出高反射区域。所提出的模型减少了这种混淆，保持了树种识别的稳定性。我们还注意到，“Pn.s”的识别仍然具有挑战性。这种物种通常生长在边缘位置，被邻近物种包围，其纹理特征与其周围环境非常相似，使得区分更加困难。表6. TreeAI_fL：关键物种（左）和属群（右）的IoU百分比。最佳值以粗体和下划线显示。图5. 在TreeAI数据集上的视觉比较。(I) 完全标注的分割（TreeAI_fL）。(II) 部分标注的分割（TreeAI_pL）。对于每个分割，(a) RGB图像，(b) 深度图，(c) 真实情况，(d) MCrown（我们的方法），(e) VMamba-UNet [27]，(f) SegViT [50]，(g) UNetFormer [53]，(h) UPerNet [45]，(i) K-Net [52]。红色框突出显示用于比较树冠粘连和局部碎片化的代表区域，而黄色虚线框表示部分标注分割中存在残余混淆的难点区域。所有方法在数据集中使用相同的类别颜色调色板，其中大多数树冠被标注为独立个体，而密集重叠的树冠在注释协议下被标记为连续区域。

3.3.2. 部分标注
表7显示，在部分标注条件下，MCrown的mIoU、AF和OA分别为68.0%、80.8%和93.8%，显示出相对于比较方法的整体提升。然而，对于空间分布稀疏的类别，其余模型的性能通常会下降。特别是对于“Ct.s”和“Me.u”等类别，当注释稀疏时容易遗漏，所提出的模型实现了更高的IoU。尽管我们的方法在所有单个类别上没有取得最佳结果，但其性能始终接近表现最好的方法。可视化结果如图5(II)所示。在黄色虚线框标出的区域，“Sa.g”的纹理与“Pi.g”相似，两者在空间上紧密相邻，而大多数比较方法显示出不同程度的粘连或混淆。我们的方法相对完整地分割了“Sa.g”，并准确地将其与背景区分开来。这一观察表明，该方法对稀疏注释和高类间相似性具有更好的容忍度。图5II中的现有视觉比较现在在此背景下得到了更明确的讨论。在仅包含少数树冠的放大视图中，MCROWN在相邻树冠之间的分离相对清晰，局部遗漏较少，比几种比较方法更明显。在阴影和低对比度条件下，这种趋势更为明显，一些基线预测显示出边界渗漏或相邻树冠之间的部分混淆。同时，在局部混合区域仍然观察到错误，表明深度优先有助于缓解而不是完全消除复杂视觉条件下的树冠解释难度。表7. TreeAI_pL：关键物种（左）和属群（右）的IoU百分比。最佳值以粗体和下划线显示。

3.4. 模块分析
为了评估模块设计、深度估计方法和稳定性对模型性能的影响，我们在HS测试集上进行了消融实验。表8报告了模块移除、基于替换的变体以及输入级别比较的mIoU、边界F1（BF，在3像素容忍度内评估）和小树冠IoU（IoUsmall，定义为最小25%注释树冠多边形的平均IoU），以及参数大小、推理速度和视频内存使用情况。表8分为四个部分，涵盖了模块和替换消融、深度图源比较、输入级别RGB–D基线和输入分辨率敏感性；这些分析共同提供了超出mIoU本身的额外证据。表8. HS上的消融和推理成本，最佳数值以粗体显示。

3.4.1. 消融研究
表8a总结了HS数据集上的模块移除和基于替换的消融。早期深度连接在边界质量和小树冠识别方面的提升有限，过度合并的问题仍然存在。替换变体进一步表明，观察到的提升不仅仅来自于添加深度线索或通用注意力机制，还来自于上下文聚合、跨模态交互和分阶段几何调制的特定设计。移除CW-GLA模块会导致相邻树冠之间的明显粘连。这表明，建模长距离依赖性增强了细粒度结构的识别能力，使在复杂场景中能够更精确地分离树冠。此外，缺乏BiCoAttn和DAI模块会导致明显的性能下降。前者通过削弱跨模态一致性，使模型对光照和纹理变化的敏感性增加，导致细粒度结构的完整性降低。后者打破了层次几何引导和通道调制，降低了边缘引导的有效性，对小树冠目标的识别产生了不利影响。关于损失函数，移除边缘损失会导致等高线变模糊，增加相邻树冠合并的可能性。移除Dice损失显著损害了模型区分小树冠对象的能力，导致稀疏分布树种的识别率明显下降。此外，BiCoAttn和DAI的替换变体的表现甚至比移除它们更差，表明无约束的跨模态交互或非适应性深度注入引入的噪声几何线索比简单地省略这些模块更有害。值得注意的是，移除DAI导致边界F1和IoUsmall的下降比mIoU单独显示的更为明显，这与其在增强与边界定位和小树冠保持相关的浅层几何线索方面的预期作用一致。这也解释了为什么整体mIoU的提升有限，而边界质量和小树冠识别的改进更为明显。

3.4.2. 深度估计方法
如表8b所总结的，我们比较了涵盖从扩散风格到基于Transformer的全局建模的多种单目深度估计器的代表性方法。这些方法代表了当前单目深度估计方法的不同设计特点。比较结果显示，Depth Anything V2在我们的设置中提供了最平衡的性能，具有更清晰的边界特征、更稳定的小树冠识别和最高的整体准确性。Marigold和ZoeDepth都使用基于Transformer的特征建模，但它们在抑制纹理方面的能力不同。Marigold在宽树冠中更容易出现碎片化，而ZoeDepth在细长树冠的边界处偶尔会出现不连续性。相比之下，MiDaS倾向于过度关注低级纹理，将表面细节误读为几何形状，从而导致树冠区域错误。这表明，在我们的环境中，深度先验的结构可靠性对于分割质量的影响大于对任何单一深度相关指标的改进。测试中估计器的差异也起到了简单的敏感性检查作用，表明深度可靠性主要影响边界连续性和小冠的保持。典型的失效情况发生在阴影覆盖、对比度低或重叠严重的树冠中，不可靠的深度可能导致局部边界模糊或冠部分离不完全。

3.4.3 计算成本评估
表8报告了参数大小、推理速度和内存使用情况。结果显示，我们的MCrown变体保持相似的参数数量和内存使用量，表明模型大小对性能的影响有限。相比之下，移除或简化特定模块只是导致复杂性略有变化，但准确性明显下降，这表明性能的提升与几何信息的整合方式更为相关，而不仅仅是参数数量的增加。该分割模型在标准桌面GPU上运行稳定，并具有良好的推理效率。报告的运行时间不包括离线的单目深度生成阶段。因此，所提出框架的主要实际优势在于降低了传感器采集成本。

3.4.4 输入级RGB-D基线
为了确保比较的公平性和代表性，我们选择了三种典型的输入级RGB-D基线：CNN架构、滑动窗口Transformer架构和状态空间Mamba架构，如表8c所示。所有基线都使用早期融合。在数据加载阶段，单目深度图与RGB像素对齐，然后沿着通道维度连接起来形成四通道输入。除了调整第一个卷积层的输入通道外，所有其他设置都与MCrown保持一致，以确保比较结果仅反映四通道输入的早期融合的影响。结果表明，仅通过简单的通道连接不足以充分利用深度信息中的几何先验。相比之下，MCrown在分割质量上实现了更一致的改进，使得边界更加清晰，小物体结构的保持也更好。

3.4.5 稳定性分析
为了评估不同输入规模的稳定性，我们比较了256 × 256、512 × 512和1024 × 1024的情况。如表8d所示，较低分辨率显著降低了GPU内存需求并提高了推理速度，而分割准确性的差异不到1%，这表明在资源受限的情况下仍能保持高性能。较高分辨率在mIoU上略有优势，但代价是计算开销增加。然而，在1024 × 1024的规模下，更大的视场会增加成本，而没有增加大量新信息，因为大多数树冠在512 × 512的规模下已经可以完全捕获，多余的上下文信息也使优化变得更加复杂，并削弱了对细节结构的关注。这三种设置之间的小小差异展示了该架构在不同硬件条件下的稳定性，并为无人机图像的多场景应用提供了灵活性。

4. 讨论
在黄山、SZUTreeData和TreeAI上观察到的性能模式表明，剩余的错误受到类别分类和注释协议的影响。这些数据集在区域、分类粒度、树冠密度和标注协议上也存在差异；因此，当前结果更适当地被解释为在不同场景和标注设置下跨数据集适应性的证据，而不是对更广泛现实世界变异性的完整评估。目前的实验没有明确评估同一区域内的不同季节，也没有分离季节性和飞行条件的影响，这些仍然是未来研究的重要方向。特别是，黄山的部分结果主要受类别定义的影响。由于“Ot.b”属于一个聚合类别，而像“Qu.s”和“Eu.g”这样的阔叶树组在纹理上非常相似，同一类别内的树冠边缘形态和高度特征可能会有很大差异，这使得这些类别更容易混淆。此外，在图3的可视化区域中，真实标签不包括“Qu.s”或“Ph.e”；这些类别的预测在面板(f–k)中被计为散落的误报。尽管如此，可视化结果表明，MCrown通过深度引导、拓扑一致的重建更好地保持了树冠边界的完整性，使模型能够区分出基于光谱相似性之外的结构变化。

在SZUTreeData上，取得的进步可以归因于深度引导和双模态特征的互补效应，这使得模型在包含人造物体的场景中能够更稳健地分离树冠和背景。一些基线中的错误通常与强烈的光照变化有关，尤其是由相邻建筑物投射的阴影，而MCrown在这种干扰下往往能保持更稳定的类别区分。值得注意的是，SZUTreeData包含18个细粒度类别，其中一些类别具有明显的纹理特征，这使得判别学习相对容易。TreeAI进一步强调了在丰富分类和混合注释密度下的通用性。属-组评估将同一属内的多个物种合并为一个属标签，并且mIoU、AF和OA是在20个不重叠的类别上计算的。结果表明，所提出的模型对于高度相似的属（如“Que”和“Ace”）具有更好的识别性能，支持深度自适应流程在类别间相似性高时的有效性。在部分标签的情况下，稀疏掩码可能会加剧遗漏并增加对主导类别的预测偏差；在这种情况下，深度引导的边界增强有助于在缺失区域稳定预测，而通道选择性转移机制则减轻了对主导类别的偏差，从而在监督不完整的情况下提供了更稳健的行为。这项研究的一个关键优势是，它仅使用无人机RGB图像就实现了树冠级别的树种语义分割，同时通过冻结的单目深度先验引入了几何支持，而无需额外的主动或多源感知。同时，该研究仍有局限性，包括依赖于单目深度估计的结构可靠性，以及在当前实验设置下缺乏专门的跨季节评估。

5. 结论
本研究解决了在异质森林环境中利用无人机遥感图像进行树冠级别树种语义分割的挑战。关于数据，高分辨率RGB正射图像是通过无人机平台在中国安徽省黄山的复杂亚热带森林中获取的。在方法论上，为了有效应对复杂林分环境和树种间的光谱相似性等挑战，我们提出了MCrown，这是一种树冠级别的树种语义分割模型。这一深度学习架构的核心在于将单目深度估计作为几何先验纳入，从而实现了外观特征和形态线索的协同建模。为了优化模型性能，我们设计了包括跨窗口全局-局部注意力、双向跨模态交互和深度自适应注入等关键机制。这些模块有助于捕捉图像中的长距离依赖性，在一定程度上减轻了树冠粘合和类别间的相似性，并提高了在评估设置下的小目标敏感性和分割准确性。在包括HS、SZUTreeData和TreeAI在内的多个数据集上的实验表明，MCrown在评估设置下相对于强基线实现了持续的改进，同时也提供了更清晰的树冠边界和在复杂场景中的更好性能。从实际应用的角度来看，这项研究表明了低成本无人机RGB图像在大规模、高分辨率森林测绘中的实际潜力。与依赖高光谱成像或LiDAR的方法相比，提出的框架通过使用无人机RGB图像作为唯一获取的模态，提供了一种更为经济的传感配置，同时通过从同一RGB图像离线推断的单目深度引入了几何支持。这有助于降低精细森林监测的传感器成本障碍。展望未来，未来的工作将研究专门的跨区域和跨季节评估设置，并探索将时间信息与自我监督学习相结合，以提高对季节变化和区域差异的鲁棒性。总体而言，这项研究支持了将低成本无人机遥感与深度学习结合在林业应用中的实际价值，并为大规模森林资源调查和动态监测提供了一条可行的途径。