《Plant Phenomics》：HAE-Net: A Hierarchy-Aware Enhanced Method for 3D Panoptic Segmentation in Orchard Scenes
编辑推荐：
摘要翻译：农业自动化需要可靠的果园场景感知。果实检测、计数与定位能够支持产量预测、收获规划与精准施肥，而三维点云相较于传统RGB图像提供了几何信息，且对环境光照的依赖程度更低。果园分析还要求在不止一种尺度上进行预测：单个果实与树干必须被分离，但果实仍需与其所属
摘要翻译：农业自动化需要可靠的果园场景感知。果实检测、计数与定位能够支持产量预测、收获规划与精准施肥，而三维点云相较于传统RGB图像提供了几何信息，且对环境光照的依赖程度更低。果园分析还要求在不止一种尺度上进行预测：单个果实与树干必须被分离，但果实仍需与其所属的母树相关联。现有的大多数三维全景分割方法在单一实例粒度下运行，未能表征这种层级关系。研究人员提出了HAE-Net，一种基于共享编码器和多解码器的层级感知分割方法。在编码器输出端，层级特征增强（HFE）模块提供用于树木层级分组的全局聚合信息、用于语义分类的多尺度上下文信息，以及用于常规实例分离的局部边界信息。跨解码器注意力门控（CDAG）对每个跳跃连接处传递的编码器特征进行调控，其空间、通道、多尺度与像素级分量使三个解码器能够使用共享表示的不同混合。层级一致性损失（HCL）通过约束组成实例的预测中心与其母树实例的预测中心，将两种实例粒度联系起来。研究人员在HOPS（层级果园全景分割数据集）上评估了HAE-Net，该数据集包含通过地面激光扫描仪、无人机、无人地面车辆和运动恢复结构（SfM）重建获取的点云。定量比较与消融实验使用了已标注的TLS验证集。HAE-Net实现了71.63%的mIoU和53.96%的mPQ，分别比HAPT3D高出9.81和5.43个百分点。由于四个测试子集的真实标签不公开，其预测仅用于定性观察。
论文解读
研究背景与问题
农业是经济的基础部门，作物产量估计是精准农业的核心任务。及时准确的产量估计支持收获规划、生产预测和农业资源分配。在果园管理中，准确的果实检测、计数和定位是产量估计和自动化收获的前提。传统产量估计主要依赖人工采样或二维图像分析，人工采样劳动强度大且受观察者差异影响，二维图像方法对果实遮挡、光照变化和复杂背景敏感。三维传感技术如LiDAR、RGB-D相机和运动恢复结构（SfM）的发展，使基于点云的场景理解日益适用于农业环境。然而，果园场景中的实例具有层级组织结构：一棵树包含一个树干和多个果实，果实与树干既有物理包含关系，又存在空间约束。现有三维全景分割方法大多在单一实例粒度下运行，无法表征这种父—子层级关系。HOPS数据集专门定义了层级全景分割任务，要求同时输出语义标签、标准实例标签（单个果实和树干）和树实例标签（一个树干及其所有果实）。直接应用现有方法存在三个局限：其一，树实例分割需要大范围上下文信息以关联空间分散的组件，而标准实例分割需要精细局部边界信息以区分相邻果实，向所有解码器提供相同的编码器输出难以同时满足两类需求；其二，传统U-Net跳跃连接通过直接拼接或相加传递多尺度编码器特征，缺乏针对不同解码器的自适应选择；其三，独立优化的子实例和父实例预测可能产生层级不一致，例如果实被正确分割为单独实例却分配给错误的树实例，这将直接导致单树产量归属错误。
研究方法与关键技术
研究人员提出了HAE-Net，一种基于共享编码器—多解码器架构的层级感知分割方法。输入点云经体素化后表示为稀疏张量，由共享的稀疏卷积编码器提取多尺度特征。研究在HOPS数据集上进行实验，该数据集采集自德国波恩附近的苹果园，包含地面激光扫描（TLS）、无人机（UAV）、无人地面车辆（UGV）和SfM重建四种来源的点云。训练和验证仅使用TLS数据，四个测试子集不公开真实标签。定量比较与消融实验在已标注的TLS验证集上进行。主要关键技术包括三个模块：
层级特征增强（HFE）模块位于编码器输出端，通过三条并行分支为三个解码器生成差异化初始特征。全局上下文分支采用大空洞卷积和全局平均池化聚合分散的树组件，并辅以通道重校准机制；多尺度语义分支融合小、中、大三种空洞率的卷积输出，平衡语义上下文与边界清晰度；局部细节分支通过小空洞卷积和边界增强操作突出相邻实例的边界响应。
跨解码器注意力门控（CDAG）模块应用于每个跳跃连接，以解码器特征作为门控信号，从空间位置、特征通道、感受野尺度和像素级融合四个维度估计注意力权重。空间注意力回答“哪些点应当被强调”，通道注意力决定“哪些特征通道应被保留”，多尺度注意力区分局部果实边界证据与更广树冠上下文，像素级融合将前三者综合为逐点调制，并通过残差连接保留原始编码器特征。
层级一致性损失（HCL）在训练目标中显式建模父实例与子实例的几何关系。对于属于同一真实树实例的点集，该损失约束标准实例解码器预测中心的均值与树实例解码器预测中心的均值对齐，从而将细粒度实例预测与其粗粒度父级归属耦合。
研究结果
定量比较实验表明，HAE-Net在HOPS验证集上所有指标均达到最高值。与层级基线HAPT3D相比，mIoU从61.82%提升至71.63%，mPQ从48.53%提升至53.96%，分别提高9.81和5.43个百分点。在效率方面，HAE-Net使用18.3M参数，总训练时间13小时，每样本推理时间1.84秒，峰值GPU内存12.9GB，均优于HAPT3D的19.4M参数、14小时、2.00秒和14.3GB。使用六个随机种子的重复实验显示，所有种子下改进方向一致，mIoU均值从61.83±0.18提升至71.67±0.09，mPQ均值从48.48±0.12提升至53.97±0.01，Wilcoxon检验p=0.031，表明性能优势不是由单次训练运行驱动。
消融实验量化了各模块贡献。HFE单独使用时将mPQ从48.53提升至50.80，其主要增益体现在mIoU和标准PQ；CDAG单独使用将mPQ提升至51.72，通过任务自适应特征选择改善PQ和mPQ；HCL单独使用将mPQ提升至50.52，对PQT的效果最明显。三个模块组合后达到71.63 mIoU、54.55 PQ、53.37 PQT和53.96 mPQ。
HFE模块的分支消融表明，全局上下文分支主要提升树级指标PQT，多尺度语义分支主要改善mIoU，局部细节分支主要影响PQ和mPQ。然而HFE单独使用时PQT较共享特征基线略有下降（49.33降至49.23），说明任务特定变换在增强语义和标准实例分割的同时，对树级分组产生轻微折衷。CDAG的引入将PQT提升至51.20，HCL进一步将其提升至53.37，弥补了这一弱点。
CDAG的渐进消融显示，空间注意力单独提升mIoU 2.42点；加入通道注意力后PQ从49.11升至51.30；加入多尺度注意力后PQT从49.47升至49.76；像素级融合带来最大PQ增益，将PQ从51.18升至53.31，最终达到66.74 mIoU、53.31 PQ、50.13 PQT和51.72 mPQ。权重可视化表明不同解码器获得的空间、通道和融合权重分布存在明显差异，印证了注意力机制的任务自适应特性。
HCL的权重敏感性分析显示，λ从0增至0.1时所有指标提升，在λ=0.1时达到最优（mIoU 65.76、PQ 51.03、PQT 50.01、mPQ 50.52）；继续增大至0.2和0.5则导致性能下降，表明层级一致性应作为软约束而非硬性几何假设。
四组消融结果共同说明：HFE提供初始任务特化，CDAG在解码过程中进行自适应特征筛选，HCL通过父—子中心约束强化层级完整性，三者互补。
讨论与结论
定性可视化显示，在SfM、TLS、UAV和UGV测试子集上，HAE-Net能够分离主要场景区域并为检测到的树组件分配不同身份，但测试集缺乏真实标签，无法进行定量跨传感器评估。方法仍存在若干局限：密集果实簇和重叠树冠下可能出现欠分割或归属歧义；训练和验证数据来自单一果园和单一采集模态，跨果园、跨品种和跨传感器的泛化能力尚未验证；HCL的均值形式在严重遮挡或果实可见性偏斜时可能受影响，未来可考虑置信度加权或几何中位数中心估计器；量化评估仅限HOPS数据集，需要更多带父—子层级标注的多果园、多作物基准来验证模型的普适性。
研究结论：本文提出了HAE-Net，用于果园场景中的层级三维全景分割。其三个组件在网络中作用于不同位置。HFE通过任务导向分支转换共享编码器表示：全局上下文聚合和通道重校准支持树级分组，多尺度融合平衡语义上下文与边界，局部细节增强支持标准实例分割。解码过程中，CDAG利用空间、通道、多尺度和像素级注意力调控提供给每个任务的跳跃特征。HCL通过使子组件预测中心与其父树实例预测中心对齐来约束训练目标。这一设计在保持层级间信息交换的同时引入了任务特化。在已标注的TLS验证集上，HAE-Net在语义分割（mIoU）、全景分割（PQ）、树级全景分割（PQT）及其层级聚合（mPQ）方面均优于所比较的方法，消融研究量化了所提出模块的贡献。四个测试子集上的预测提供了不同采集条件下的定性示例，但不能确立定量的跨传感器性能。该研究发表于《Plant Phenomics》。
