NFGTN：一种基于节点融合图变换网络（Node-Fusion Graph Transformer Network）的方法，利用RGB-D成像技术实现了对西兰花叶片中葡萄糖萝卜苷含量的无损估计

《Computers and Electronics in Agriculture》：NFGTN: A node-fusion graph transformer network for non-destructive estimation of glucoraphanin content in broccoli leaves using RGB-D imaging

　　• 提出了一种结构感知的RGB-D图框架，用于无损的葡萄糖异硫氰酸酯（GRA）估算。• 离线图构建将视觉块与局部植物区域对齐。• 节点级别融合整合了RGB外观和深度衍生的几何描述符。• 带有联合读出的图传播能够捕捉局部和全局的植物结构。• NFGTN在GRA预测方面与平均光谱高光谱模型相比表现出竞争力。

引言
精确描述作物品质特征对于现代农业生产、精准栽培和以营养为导向的育种越来越重要。在植物表型分析中，研究逐渐从测量产量和外部形态转向直接与作物品质相关的结构、生理和生化特征的联合分析（Yang等人，2020年）。因此，基于计算机视觉的表型分析已成为高通量作物分析和农业决策支持的重要技术途径（Li等人，2020年）。葡萄糖异硫氰酸酯（GRA）是西兰花中主要的硫氰酸盐，被广泛认为是一种与营养和功能性质量相关的健康促进化合物（Ilahy等人，2020年）。现有的生化研究表明，GRA的分布因基因型和器官而异，其积累受到植物状态和环境条件的影响（Li等人，2021年）。因此，可靠地评估GRA含量对于品种筛选、质量评估和栽培管理非常有价值。特别是在幼苗阶段进行快速且无损的估算，可以支持早期识别高GRA材料，减少不必要的破坏性采样，并为调整后期生长阶段的栽培条件提供及时信息。这些特性使得GRA估算对于以质量为导向的育种和精准作物管理具有重要意义。
然而，目前GRA的定量仍然主要依赖于破坏性的化学测定，尤其是高效液相色谱（HPLC）。相关综述指出，硫氰酸盐的测定通常涉及样品收集、预处理、提取、纯化和色谱分析以及结果校准，因此需要大量的人力、试剂消耗和仪器时间（Redha等人，2024年）。最近关于硫氰酸盐检测的研究也强调了传统实验室协议的高分析成本和有限的通量（Li等人，2024年）。在实际的从图像到标签的工作流程中，考虑到样品准备、提取、色谱测量和实验调度，完成一个受监督的样品至少需要一整天的时间。这种高时间和成本负担使得重复测量变得困难，并减缓了数据集的积累。结果，GRA预测往往不得不从一开始就在标签稀缺和小样本的条件下进行研究。这些限制推动了对基于成像和机器学习的无损估算方法的兴趣日益增加。深度学习已经显示出从植物图像中提取表型相关信息和将可观察特征与潜在生化属性联系起来的强大潜力（Jiang和Li，2020年）。更最新的综述进一步指出，数据驱动的表型分析正成为替代或减少植物科学中破坏性测量的重要途径（Ubbens等人，2025年）。在可用的传感方式中，高光谱成像被广泛用于生化估算，因为密集的光谱测量对化学组成非常敏感（Saric等人，2022年）。对于西兰花，Guo等人使用高光谱成像来评估采后衰老（Guo等人，2022年）。Redha等人进一步结合了中红外光谱和化学计量学来测定西兰花中的硫氰酸盐（Redha等人，2023年）。尽管这些研究表明了光谱方法的化学敏感性，但高光谱系统仍然昂贵，需要仔细校准，并且由于高维光谱数据而引入了复杂的处理过程。当标记样本已经难以获得时，这些负担可能会进一步限制其常规应用。与高光谱系统相比，红-绿-蓝（RGB）成像在实用表型分析平台中更便宜且更容易部署。农业视觉的综述一致显示，基于RGB的分析因其低采集成本和广泛应用性而具有吸引力（Kolhar和Jagtap，2023年）。例如，Lee等人使用无人机成像和深度学习来监测单株西兰花的生长，展示了基于图像的西兰花表型分析在田间条件下的实际价值（Lee等人，2023年）。然而，RGB图像主要描述颜色和纹理，仅提供关于植物几何形状和局部结构的有限明确信息。对于生化预测来说，这是一个重要的限制，因为目标特征可能不仅与可见外观有关，还与叶片排列、重叠模式、冠层异质性和局部高度变化有关。
深度感测通过明确描述形状、空间排列和表面变化，为RGB成像提供了自然的补充。在这项研究中，RGB-D数据指的是配对的RGB图像和对齐的深度测量，从中提取用于结构感知建模的深度衍生几何描述符。Song等人证明了消费级RGB-D传感在动态三维作物表型检测中的有效性（Song等人，2023年）。Cardenas-Gallegos等人进一步表明，RGB-D成像和形态测量描述符可以提高水培生菜的生物量估算（Cardenas-Gallegos等人，2025年）。这些研究表明，深度信息可以提供比单独的RGB更丰富的结构线索。然而，大多数现有的RGB-D学习流程仍然通过相对粗糙的多模态融合策略来整合深度信息。FuseNet引入了一种早期融合策略，将深度融入视觉学习（Hazirbas等人，2017年）。ACNet利用注意力来利用互补的RGB-D特征（Hu等人，2019年）。ESANet强调了高效的RGB-D语义分割（Seichter等人，2021年）。CMX通过基于变换器的设计进一步加强了跨模态交互（Zhang等人，2023年）。最近，DFormerv2引入了几何自注意力，将深度和空间关系先验融入RGB-D表示学习（Yin等人，2025年）。最近的多模态视觉研究也强调，异构特征源不一定需要通过简单的添加或连接来融合。FCMNet学习了频率感知和内容依赖的RGB-D融合（Jin等人，2022a），而MoADNet采用了不对称的RGB和深度流以及轻量级的跨模态融合（Jin等人，2022c）。TriPINet进一步利用引导的跨模态注意力来整合来自不同视觉领域的互补特征源（Jin等人，2024年）。尽管有这些进展，多模态融合仍然经常围绕常规图像网格或全局聚合特征组织，而不是基于表型的局部结构。在小样本条件下，这种表示不匹配可能会降低模型的有效性和泛化能力。这个问题对于顶视图西兰花幼苗尤为重要。在这种情况下，潜在的信息丰富的表型相关线索可能不均匀分布在局部叶片和冠层子区域，而不是集中在单一的全局描述符中。最近的视觉骨干网络如ViT已经证明了强大的图像理解能力（Dosovitskiy等人，2021年）。DINOv2进一步表明，大规模的自监督预训练可以为下游任务提供稳健的视觉特征（Oquab等人，2024年）。相关研究还表明，局部和中间视觉表示可以保持可能被纯全局表示削弱的结构或区域特定信息。MiddleCLIP利用浅层和中间CLIP特征来保持细粒度的局部结构（Jin等人，2026年），而视觉情感建模强调了全局图像信息和区分性局部区域的互补作用（Jin等人，2022b）。然而，常规图像块并不自然对应于生物学上有意义的植物子区域。对于对结构敏感的表型分析任务，许多信息丰富的线索更自然地与区域级组织和相邻结构之间的相互作用相关，而不是与孤立像素或纯粹的全局汇总特征相关。
基于图的建模提供了一种自然的解决方案。Akhtar等人回顾了三维植物表型分析的最新进展，并强调了显式结构表示在植物分析中的日益重要性（Akhtar等人，2024年）。Petti等人使用图神经网络进行轻量级的植物器官跟踪，表明图推理可以有效描述局部植物部分之间的关系（Petti等人，2024年）。除了植物分析，DAN还将基于网格的视觉特征映射到图空间，以推理鱼眼图像校正中的空间区域之间的关系，进一步说明了图表示捕捉非网格关系结构的能力（Yan等人，2025年）。在更广泛的机器学习文献中，GCN为图上的关系传递提供了一个基础框架（Kipf和Welling，2017年），而GIN从图同构性和邻居聚合的角度进一步提高了消息传递图神经网络的表达能力（Xu等人，2019年）。Graphormer也展示了变换器风格建模在图表示学习中的潜力（Ying等人，2021年）。即便如此，对于来自配对RGB-D数据的连续生化回归，仍有几个关键问题没有得到充分探索：如何建立常规ViT块令牌和不规则植物区域节点之间的明确对应关系，如何在节点级别自适应地整合RGB外观线索和深度衍生的几何描述符，以及如何在统一的回归框架内共同捕捉局部植物结构相互作用和整个植物的上下文信息。为了解决这些问题，本文提出了一种节点融合图变换器网络（NFGTN），用于使用配对的RGB-D数据无损估算西兰花叶片中的葡萄糖异硫氰酸酯含量。所提出的框架首先通过将植物区域划分为局部节点并建立图节点和视觉块令牌之间的明确对应关系来构建离线图。然后引入一个节点融合模块，以结构感知的方式自适应地整合RGB外观特征和深度衍生的几何描述符。最后，采用带有联合局部-全局读出的图传播来建模局部结构依赖性和图级上下文信息，以实现连续回归。通过这种方式，所提出的方法在统一的RGB-D框架内桥接了密集的视觉表示学习和基于表型的结构建模，同时也提供了一种更适合成本高昂的标签和小样本生化估算的建模策略。
本研究的主要贡献总结如下：
1. 开发了一种结构感知的RGB-D回归框架，用于无损估算西兰花中的葡萄糖异硫氰酸酯含量。通过将图结构化区域建模引入RGB-D学习，所提出的方法提供了传统全局融合流程的替代方案。
2. 提出了一种离线图构建策略和节点融合机制，以建立视觉块特征和局部植物区域之间的明确对应关系，同时自适应地整合RGB外观线索和深度衍生的几何描述符。这种设计保留了丰富的视觉语义，同时利用了局部形态和空间结构。
3. 引入了一个带有联合局部-全局读出的图传播模块，以捕捉细粒度的局部相互作用和图级上下文信息，用于回归。广泛的比较实验、参数分析和消融研究验证了所提出的结构感知RGB-D框架的有效性。
本文的其余部分组织如下。第2节描述了材料、数据获取程序、生化测定过程、高光谱比较设置、提出的NFGTN以及实验配置。第3节呈现了比较结果、计算复杂性分析、参数敏感性分析和消融研究。第4节讨论了所提出的结构感知图建模策略的有效性，并进一步分析了基于RGB-D的NFGTN框架的实际适用性和部署潜力。最后，第5节总结了本文。

章节摘录
RGB-D数据获取和预处理
在这项研究中，每个实验样本对应一个采样单元，由在相同栽培和采样条件下获取的一批西兰花幼苗组成。对于每个采样单元，首先获取一个RGB-D图像来表征幼苗批次的整体外观和结构表型。然后从同一批次中收集几片叶子进行高光谱测量和随后的化学分析。因此，RGB-D输入、高光谱表示...

与现有RGB和RGB-D方法的比较
为了评估所提出方法的有效性，进行了一系列对比实验，与一系列代表性的骨干网络、多模态融合模型和基于图的基线进行了对比，包括ResNeXt（Xie等人，2017年）、EfficientNet（Tan和Le，2019年）、MPViT（Lee等人，2022年）、SwinV2（Liu等人，2022年）、VanillaNet（H. Chen等人，2023年）、VGGNet（Simonyan和Zisserman，2015年）、FasterNet（J. Chen等人，2023年）、DINOv2（Oquab等人，2024年）、ACNet（Hu等人，2019年）、ESANet（...

结构感知图建模的有效性
所提出的NFGTN的有效性与其对西兰花幼苗的结构感知表示密切相关。如图10所示，离线图构建过程提供了一个直观的例子，说明了如何将局部植物结构转换为基于图的表示。植物前景掩膜首先抑制了不相关的背景区域，如栽培基质和水培容器，从而减少了模型学习到虚假信息的可能性。

结论
本研究提出了一种节点融合图变换器网络（NFGTN），用于从配对的RGB-D数据无损估算西兰花叶片中的葡萄糖异硫氰酸酯含量。所提出的框架结合了离线图构建、残差门控的节点级多模态融合和带有联合局部-全局读出的图传播。通过建立视觉块令牌和植物区域节点之间的明确对应关系，NFGTN将RGB外观线索与深度衍生的几何描述符整合在一起...

CRediT作者贡献声明
Yang Li：撰写 – 原始草稿，方法学。
Lukang Shi：方法学，调查。徐宝：写作——审稿与编辑，资源提供；云旺：写作——审稿与编辑；李毅：监督工作，资源提供；蔡雪飞：数据验证，监督工作；冯莉：数据验证，监督工作。

伦理声明
作者声明本研究未涉及人类受试者或动物实验。

关于手稿准备过程中使用生成式人工智能和人工智能辅助技术的声明
在本次研究的准备过程中，作者使用了ChatGPT来提升手稿的语言表达能力和可读性。作者对ChatGPT生成的文本进行了必要的审阅和编辑，并对最终发表的文章内容承担全部责任。

资金支持
本研究得到了江苏省研究生研究与实践创新计划（项目编号：26CXJH7185）的支持。

利益冲突声明
作者声明他们没有已知的可能影响本论文研究结果的财务利益冲突或个人关系。

作者名单：
杨莉 | 史陆康 | 徐宝 | 云旺 | 李毅 | 蔡雪飞 | 冯莉