自21世纪00年代以来，温室栽培迅速扩展，截至2019年已覆盖至少130万公顷的土地，并且由于对受控环境中稳定作物生产的需求而持续增长（Tong等人，2024年）。与此同时，农业机器人在作物生命周期的各个阶段（包括幼苗培育、移栽、喷洒和收获）的应用也在加速。其中，移栽机器人因其提高劳动效率和操作精度的潜力而受到特别关注。移栽被广泛认为是一个关键的农艺干预措施，因为在这个阶段选择和放置幼苗会显著影响后续的作物生长、资源吸收效率以及最终的产量。传统的手工移栽依赖于农民或农业工人的经验，但这个过程劳动密集、耗时且常常不一致，这凸显了对自动化解决方案的实际需求（Otoya和Gardini，2021年）。幼苗移栽机器人的出现标志着自动化的一个重大进步，大大减少了劳动力需求和操作时间。通过提高机械臂的精度，实现了移栽效率的提升，这突显了此类系统复制精确人类动作的潜力（Zhao等人，2023年）。然而，这些机器人无法评估幼苗的质量，而这可能会影响作物的表现和产量。开发一个能够有效且准确评估幼苗质量的系统仍然是一个具有重大实际意义的挑战。
已经探索了多种评估幼苗质量的方法，包括幼苗压力检测和幼苗健康评估。早期关于幼苗质量分类的研究主要依赖于高光谱和热成像技术（Lowe等人，2017年）。这些技术基于特定波长的光谱特征有效地提取了植物质量指标。尽管这些方法提供了对植物生物化学的细致洞察，但它们面临几个实际限制。高昂的设备成本和复杂的校准程序阻碍了现场的可扩展性，而产生的高维数据需要计算密集型的预处理和降维处理，如PCA和PLSR（Sari?等人，2022年）。这些因素共同限制了它们在动态农业环境中的实时适用性和鲁棒性。随着机器学习的发展，支持向量机和k最近邻等算法越来越多地被应用于处理农业图像数据（Attri等人，2024年）。尽管这些方法比早期的统计方法更高效，但它们在多类分类任务中存在局限性，并且对参数设置敏感，这可能会影响它们在不同条件下的表现。更重要的是，传统方法的准确性严重依赖于精心设计的手工特征描述符，使得从大量提取的特征中选择最佳和最稳健的特征变得具有挑战性。因此，传统机器学习技术在大规模农业生产中的应用有限（Kok等人，2021年）。
随着深度学习的快速发展，特别是卷积神经网络（CNN）的出现，在检测幼苗质量状态方面取得了显著进展。CNN通过增加网络深度和应用各种卷积操作，可以分层表示数据。这种能力使得CNN特别适合学习图像中的局部特征和层次化表示（Alzubaidi等人，2021年）。在各种农业应用中，几种经典的基于CNN的模型已被广泛用于疾病分类和质量评估（Samiei等人，2020年）。然而，CNN架构难以捕捉长距离依赖性和图像的全局结构。在处理特征分散的图像时，CNN难以有效识别全局上下文和空间关系。此外，CNN通常涉及大量参数，尤其是在更深的网络中（Alzubaidi等人，2021年）。
近年来，视觉变换器作为一种有前景的替代方案出现，可以提高准确性和学习能力。这些模型代表了从传统CNN方法的转变，专注于捕捉图像数据中的全局上下文和关系（Han等人，2023年）。基于这一基础，提出了许多高性能模型，如swin transformer（Liu等人，2021年），并在各种计算机视觉任务中取得了优异的表现。然而，尽管它们的准确性有所提高，基于变换器的图像识别模型仍然存在计算量大和架构复杂的缺点。对于小型数据集，如果没有多尺度特征图和稳健的局部特征提取能力，变换器架构的表现较差（Han等人，2023年）。
累积的文献证据表明，基于RGB的方法取得了显著进展；然而，它们的单模态本质本质上限制了所捕获的信息，限制了模型表示全面植物特征的能力（D. Li等人，2020年）。在评估幼苗质量方面，分析幼苗的RGB图像可以帮助确定其健康状况。健康的植物通常呈现鲜艳的绿色，而不健康或受病害影响的植物则呈现黄色或有斑点（Agarwal和Dutta Gupta，2018年）。此外，深度信息可以为分析植物的3D结构提供有价值的尺度线索，包括叶片大小、形状和整体植物形态，这些对于评估幼苗质量同样重要（Z. Li等人，2020年）。多模态数据表现出互补性和一致性，使得各种模态能够相互弥补彼此的局限性和缺陷。因此，多模态信息的感知和解释已成为一个突出的研究焦点。例如，Sun等人（2022年）提出了一个基于注意力的融合模块，有效地整合了RGBD（红绿蓝+深度）信息，减轻了深度噪声的不利影响，并显著提高了检测准确性。在Xu等人（2021年）的研究中，提出了一种新方法，将单通道深度图像重新编码为类似RGB结构的三通道图像。随后将这些重新编码的深度图像与RGB数据结合使用，显著提高了杂草检测的准确性。
尽管最近在植物表型分析和基于视觉的分类方面取得了显著进展，但许多现有方法仍然受到其对单模态数据源依赖的限制。特别是，它们通常使用RGB图像或来自有限光谱带的植被指数。这些方法主要关注可观察的表面特征，如颜色强度、叶面积、植物高度或叶绿素含量。尽管这些特征提供了有价值的视觉线索，但它们未能完全捕捉到对农艺学角度确定移栽准备情况至关重要的微妙生理压力指标或潜在的形态特征。此外，这些参数通常不足以检测早期生理压力、结构异常或内部健康状况，而这些对于预测移栽后的存活至关重要。此外，这些系统通常缺乏联合建模表面纹理和体积线索的能力，这对于评估关键形态指标（如幼苗紧凑度、叶片卷曲、茎秆直度和根系-基质整合）是必不可少的。在自动化移栽场景中，机器人夹具必须能够快速操作和评估单个幼苗，延迟时间在几秒之内。因此，分类模型必须具有实时响应能力，并能够检测在2D RGB图像中通常无法察觉的细微质量变化。虽然高光谱成像和全分辨率3D重建提供了丰富的表型细节，但它们的高设备成本和计算需求使得它们不适用于内存和功率受限的边缘设备。拥有一个轻量级的、多模态的分类框架，在低功耗平台上能够实时运行，并具有稳健的跨模态特征表示和融合能力是非常有益的。
为了满足自动化移栽系统中实时幼苗评估的实际需求，我们提出了一个特定于任务的视觉分类框架，该框架利用CNN–Transformer混合架构来融合RGB和深度模态。我们的方法专门设计用于在适用于边缘设备的嵌入式平台下运行，以实现准确、高效和实时的幼苗压力条件评估。本研究的具体目标如下：（1）为甜椒幼苗收集一个新的压力级别数据集，在移栽过程中实时捕获RGB和深度图像；（2）开发一个优化的CNN–Transformer混合架构，结合卷积特征提取和注意力机制，以提高训练效率、预测性能，并实现适合在资源受限的农业环境中部署的计算效率；（3）提出一个轻量级的交叉注意力（CA）多模态融合模块，有效整合RGBD数据，显著提高分类准确性，同时满足严格的计算限制。
