CasFormer：面向近地面手持RGB森林影像的级联自-交叉注意力多视图三维重建与单木参数提取

《Forests》：CasFormer: A Cascaded Transformer Network with Self-Cross Attention for Forest Multi-View Reconstruction and Tree Parameter Extraction

　　

基于多视图影像的森林三维重建可生成林分尺度点云，并为提取单木结构参数（如胸径（DBH）和树高）提供数据支撑。森林生态系统的三维重建是森林资源监测和生物量评估的基础。然而，森林场景具有枝叶遮挡频繁、树皮和叶片纹理重复以及光照条件复杂等特征。这些因素常使基于卷积神经网络（CNN）的多视图立体（MVS）方法在特征匹配和代价聚合中产生歧义，导致点云不完整和深度估计误差。为解决上述挑战，本研究提出CasFormer，一种面向近地面手持森林影像的级联多视图三维重建模型。CasFormer构建于级联代价体框架之上，构建自-交叉注意力特征金字塔网络（SC-FPN），并引入位置编码生成器（PEG），将相机几何先验注入特征表示，从而增强重复弱纹理区域的特征判别性。此外，采用像素级可见性加权代价体，根据匹配置信度自适应调整源视图聚合权重，降低被遮挡或低质量源视图对代价体的影响，提高森林场景中深度估计的稳定性。在三个森林样地上的实验表明，CasFormer取得最高的总体单木匹配率（99.14%），并在三个样地上的树高精度和点云密度方面优于对比方法。其平均胸径估计精度（DAE）为92.87%，分别比FS-MVSNet和MVSFormer高0.97和2.78个百分点。CasFormer在样地1和样地2取得最低的胸径均方根误差（RMSE）；在样地3，其RMSE与MVSFormer和FS-MVSNet相当。其在样地1、2和3的点云密度分别为3.87 ×10⁶、2.17 ×10⁶和4.87 ×10⁶ points/m²，在每个样地均为所评价方法中最高。这些结果表明，CasFormer利用可低工作量获取的手持RGB影像改善了样地尺度森林三维重建。它为提取单木参数提供了一种有效的基于图像的重建方法，并支撑可持续智慧林业监测。

森林是重要的陆地生态系统，在碳汇、生物多样性保护、气候调节和生态系统生产总值核算中具有重要作用。准确获取单木结构参数（包括胸径（DBH）、树高、蓄积量和生物量）是森林资源清查、资产评估和生长模型预测的关键数据支撑。然而，传统森林参数获取仍高度依赖人工实测，耗费大量人力、时间和经费，难以在大范围高效应用。机载和地面激光雷达（LiDAR）可直接获取高精度三维点云，但设备、部署和数据处理成本可能限制其在需要广泛可及和频繁采集的常规调查中的应用；机载和无人机观测主要捕捉上层冠层，密集冠层遮挡会降低林下和近地面树干信息的可用性。近地面手持RGB影像具有低成本、便携和高分辨率优势，但仅含二维表观信息，需经多视图立体（MVS）转化为三维几何数据。森林场景中枝叶遮挡频繁、树皮和叶片纹理重复、光照复杂，易使基于卷积神经网络（CNN）的MVS在特征匹配和代价聚合中产生歧义，导致点云不完整和深度估计误差；现有Transformer类MVS方法虽增强全局上下文建模，但对相机成像几何的显式注入有限；传统基于方差的代价聚合难以区分错误深度假设与源视图不可见所导致的特征不一致，易受遮挡视图干扰。为此，研究人员提出CasFormer，一种面向近地面手持RGB森林影像的级联MVS模型，通过自-交叉注意力特征金字塔网络（SC-FPN）、位置编码生成器（PEG）和像素级可见性加权代价体，缓解重复弱纹理引起的特征歧义和部分视图遮挡引起的不可靠代价聚合，进而提高样地尺度点云重建质量和单木参数提取精度。研究结论表明，CasFormer在单木匹配率、DBH精度、树高精度和点云密度方面优于所选对比方法，为基于图像的森林单木参数提取提供了有效方法，并支撑可持续智慧林业监测。

关键技术方法（不超过250字）：以北京东升八家国家公园、鹫峰国家森林公园和奥林匹克森林公园三个森林样地为样本队列，2025年6—10月使用iPhone 14 Pro采集近地面RGB影像，样地1/2/3保留有效图像240/315/295幅，并实测116棵树。方法采用SC-FPN，在特征金字塔网络最粗尺度串联PEG和自-交叉注意力（SA-CA）；以可微单应性变换对齐源视图；基于分组相关峰构建像素级可见性加权代价体；采用1/16、1/4、1/1三级级联多尺度深度回归（64/32/16个深度假设），并以Focal Loss监督；使用LiDAR360 v5.5统一完成去噪、随机抽样一致性（RANSAC）地面拟合、高度归一化、单木分割和参数提取。

研究结果如下。3.1 实验细节：实验在NVIDIA GeForce RTX 4090（24GB）上进行，软件框架为PyTorch 2.3.0和CUDA 12.1，初始学习率0.001，并在第6、8、12个epoch按0.5衰减。3.2 三维重建结果：通过三个森林样地的整体和局部点云比较发现，CasMVSNet存在较多树干缺失、冠层破碎和噪声，MVSFormer改善部分结构连续性但仍有局部空洞，FS-MVSNet整体较完整但仍见冠层破碎，CasFormer在三个样地产生更完整林分结构、更清晰树干排列、更连续冠层覆盖和更少背景噪声；局部树干和冠层比较显示CasFormer的胸高处截面更完整、边界更接近参考影像，示例冠层树高估计精度（HAE）达95.42%，高于MVSFormer（85.02%）、FS-MVSNet（88.49%）和CasMVSNet（69.92%）；点云密度在样地1、2、3分别为3.87 ×10⁶、2.17 ×10⁶和4.87 ×10⁶ points/m²，均为最高。3.3 参数提取结果：通过统一预处理和实测数据评价单木检测定位、DBH和树高提取。3.3.1 单木检测与定位精度：在0.3 m水平匹配阈值下，CasFormer在三个样地单木匹配率（R）分别为100.00%、96.88%和100.00%，F1分别为100.00%、98.41%和100.00%；三样地总体R、精确率和F1分别为99.14%、100.00%和99.57%，高于FS-MVSNet（95.69%、99.11%、97.37%）、MVSFormer（92.24%、100.00%、95.96%）和CasMVSNet（72.41%、98.82%、83.58%）；总体定位误差为0.046 m，低于FS-MVSNet约0.059 m、MVSFormer 0.081 m和CasMVSNet 0.083 m。3.3.2 胸径提取：CasFormer在三个样地均取得最高胸径估计精度（DAE）；样地1的DAE、RMSE和平均偏差分别为97.93%、0.68 cm和0.44 cm，样地2分别为93.05%、1.55 cm和?1.18 cm，样地3 DAE为87.63%、平均偏差绝对值最小，但RMSE为3.15 cm，略高于FS-MVSNet的3.14 cm；总体上DBH相对精度和偏差控制较好。3.3.3 树高提取：CasFormer在三个样地均取得最高HAE和最低树高RMSE；样地1 HAE为88.91%、RMSE为2.05 m、偏差为?1.76 m，样地2为82.71%、1.65 m、?1.38 m，样地3为85.05%、3.94 m、?3.23 m，表明其在复杂林分结构和冠层遮挡下保持较稳定的树高估计并减弱低估倾向。3.4 消融研究：在样地2分别移除PEG、SA-CA和像素级可见性加权聚合，完整模型在R、HAE、DAE和点云密度上均最佳；移除可见性加权聚合后HAE由82.71%降至71.50%，下降11.21个百分点；移除SA-CA后R由96.88%降至90.15%，下降6.73个百分点；移除PEG后DAE由93.05%降至84.80%；同时移除PEG和可见性加权聚合时性能下降最明显，R、HAE、DAE分别降至88.60%、79.20%和82.50%，表明几何感知特征表示与遮挡稳健聚合具有互补性。

讨论部分总结：CasFormer针对近地面森林多视图三维重建中重复弱纹理导致特征判别性不足、冠层枝干和邻树遮挡导致源视图匹配不可靠这两类关键问题，通过特征提取阶段的几何与上下文增强、代价聚合阶段的遮挡/低质量源视图抑制实现改进。与CasMVSNet、MVSFormer和FS-MVSNet在相同数据和评价协议下比较，CasFormer在单木匹配率、DAE、HAE和点云密度方面表现更优，优势来自粗阶段全局建模与细阶段级联细化、PEG注入相机成像几何并结合自-交叉注意力、以及基于相关峰的像素级软可见性加权。该方法定位为普通手持RGB影像条件下的样地尺度离线重建，不替代LiDAR或地面激光扫描（TLS）。局限包括实验样地主要为城市公园和森林公园，林分复杂度低于高度郁闭天然林或复杂混交林；数据均来自iPhone 14 Pro，尚未评估不同智能手机型号和传感器条件下的稳定性；极端遮挡、极弱光照或完全不可见区域中可见光影像无法物理穿透遮挡，当所有源视图相关响应持续较低时，软可见性加权可能难以区分可靠与不可靠视图，单木匹配率和几何精度仍可能下降。

研究结论翻译：针对森林三维重建，本研究提出一种基于学习的模型CasFormer。该模型集成PEG、SA-CA和像素级代价体聚合，以提高重建精度和局部细节表达能力。通过结合局部与全局信息，CasFormer缓解通用学习型三维重建方法应用于森林场景时常见的单木匹配率低和细节损失。实验结果表明，CasFormer在单木匹配率、胸径（DBH）精度、树高精度和点云密度方面优于所选对比方法。最佳情况下单木匹配率达到100%，在测试森林样地中保持高于96.88%。重建点云为DBH和树高估计提供更好支撑，最高DAE达97.93%。稀疏树顶点恢复的改善有助于提高垂直重建的一致性和准确性。CasFormer在森林资源调查与管理、生态保护和城市绿化应用中具有潜在价值。基于普通手持RGB影像，所提方法可实现较高质量的样地尺度三维重建，适用于中等复杂度林分条件下的单木参数提取。未来研究可探索多光谱或高光谱成像、轻量Transformer推理以及与无人机（UAV）影像集成，以拓展森林三维监测应用。