多尺度时空遥感融合技术在水稻种质资源物候识别中的应用

《Plant Phenomics》：Multi-Scale Spatial-Temporal Remote Sensing Fusion for Phenology Identification in Rice Germplasm Resources

　　王慧民|郭伟|穆月|张阳|王浩洲|杨彦东|徐虎|丁彦峰|周世荣|李刚华|二宫清志
教育部植物表型工程研究中心，由省部和教育部共同资助的现代作物生产协同创新中心，南京农业大学高级跨学科研究学院，中国南京210095

**摘要**
作物物候是预测产量和评估种质资源的关键因素。然而，在大规模水稻育种试验中，由于数百个品种之间存在固有的物候异步性，以及无人机（UAV）遥感在空间分辨率和时间连续性之间的权衡，精确的物候监测面临重大挑战。为了解决这些问题，本研究提出了一种多尺度时间深度学习框架，该框架将高频中分辨率（MR）图像作为时间锚点，稀疏的高分辨率（HR）图像作为空间增强手段。我们引入了一种缺失感知门控融合（MAGF）机制，以动态整合非对齐时间线上的多分辨率特征，从而在采样不规则的情况下实现稳健的建模。该方法在包含约500个水稻品种和超过10万张图像的庞大数据集上进行了验证，这些数据集涵盖了2023年和2024年的生长季节。尽管同一图像中存在多个生长阶段，该方法的性能显著优于单一尺度的基线方法。多尺度融合与LSTM时间建模的结合取得了优异的性能，总体准确率（OA）和F1分数达到了0.873，Kappa系数为0.84。一种混合采样策略（每日MR图像与每周HR图像结合）表明，每周的飞行时间可以从28小时减少到大约6小时，同时保持高精度。值得注意的是，即使HR图像的采集频率降低到每14天一次，融合性能仍然显著优于单独的每日MR监测。该模型表现出强大的泛化能力。当将2024年数据训练的模型直接应用于2023年的数据集时，在3天的误差容忍范围内，其OA为0.774，F1分数为0.738，成熟阶段的召回率始终超过0.96。这一框架为精准育种中的高通量表型分析提供了一种灵活、可扩展且成本效益高的解决方案。

**1. 引言**
作物物候是植物的基本生物学属性，代表了整个生长周期中生理发育的综合结果，反映了遗传背景、环境条件和管理实践的综合作用[1][2]。它不仅是用于产量预测的作物生长模型的关键组成部分[3][4]，也是作物分类和制图的重要参数[5]。在主要粮食作物（如水稻Oryza sativa L.）中，关键的物候阶段，包括分蘖、拔节、抽穗、开花和成熟，不仅影响产量形成并定义了最佳管理窗口，还是种质资源评估和品种改良的重要表型特征[6][7]。准确识别这些物候阶段为施肥、灌溉和害虫控制等农业管理实践提供了决策支持[8]，因此它是精准水稻管理和区域育种的基本问题。
特别是在水稻种质资源试验中，具有不同遗传背景的数百个品种经常表现出显著的物候异步性[9]，这使得传统的单时间观测不足以全面描述群体层面的物候多样性。在大规模的田间种质资源试验中，物候调查长期以来依赖人工现场观测。尽管直观，但人工调查劳动强度大，容易产生较高的累积主观误差，并且在处理众多品种时往往缺乏捕捉快速物候变化所需的时间连续性[10][11][12]。另一方面，作物生长模型（如ORYZA2000、CERES-Rice、APSIM和WOFOST）主要基于气象驱动因素来模拟发育过程[13][14][15][16][17]。然而，这些模型通常需要准确的播种日期和特定品种的参数校准，这对于涉及高遗传多样性的试验来说是不切实际的。此外，它们通常假设冠层均匀性，未能捕捉实际田间条件下的生长动态的空间异质性[18][19]。在具有极端遗传多样性的水稻种质资源试验中，为每个品种单独校准模型在实践中几乎是不可能的，有限的参数集难以充分描述群体规模的物候差异。
随着遥感和高通量表型分析的发展，近地、卫星和空中平台的集成彻底改变了作物物候的监测方式。特别是无人机遥感正在成为育种规模上生长阶段表征的基石技术，其特点是无与伦比的灵活性和空间分辨率[20][21]。无人机提供厘米级的空间分辨率和灵活的飞行计划，能够捕捉精细的冠层结构和颜色动态[22]。通过将无人机多光谱或RGB数据与机器学习技术相结合，最近的研究在田间尺度上取得了显著进展。例如，结合随机森林算法的多时间指数序列已被成功用于估计具体的抽穗日期或进行阶段区分[23][24]。然而，大多数传统方法仍然依赖于图像特征（如植被指数（如NDVI、NDRE）和纹理/颜色指标）以及经验规则或浅层模型。因此，这些方法对特征选择、阈值设置、采样频率和缺失数据非常敏感，导致在复杂背景或不同生长季节下的鲁棒性不足。
物候本质上是一个随时间演变的连续发育过程[25]，关键阶段的识别在关键转变之前和之后模式的改变上依赖于大量依赖。因此，在品种发育不同步的情况下，单日期图像往往无法可靠地区分相邻的生长阶段，更无法稳健地确定转变点（如抽穗或开花）[26]。为了描述这些时间动态，早期研究主要使用基于生长度日（GDD）的生理时间模型或构建的植被指数时间序列（如NDVI、EVI、NDRE）。这些方法通常通过阈值处理、拐点检测或曲线拟合来推断物候阶段[27][28]。然而，它们的性能高度依赖于指数选择、拟合策略、采样频率和数据缺失模式。在涉及复杂背景或多模态曲线的情景中，阶段边界容易发生变化，这限制了它们在不同品种和年份间的可转移性。
最近，深度学习引入了一种新的时空特征挖掘范式。特别是卷积神经网络（CNN）和循环神经网络（RNN）的集成已被证明对于端到端序列建模有效：前端CNN从冠层纹理和器官中提取空间特征[29]，而后端长短期记忆（LSTM）捕捉这些特征的时间演变模式和长期及短期依赖性[30][31]。例如，PhenoNet是一种两阶段的轻量级深度学习框架，通过顺序融合空间和时间特征，实现了冬季小麦物候阶段的实时分类，总体分类准确率超过93%[32]。这些端到端的深度时间模型有效捕捉了特定阶段的特征及其演变[20][25][33]。
尽管深度时间模型取得了成功，但在基于UAV的表型分析中，空间分辨率和时间连续性之间仍然存在根本的权衡[34][35]。低空航空摄影提供了识别细微品种间差异所需的高分辨率（HR）图像；然而，它受到操作效率和成本的固有限制，导致观测结果在时间上稀疏且采样不规则[36]。相反，提高飞行高度可以实现成本效益高的高频覆盖，以构建密集的MR图像时间序列，尽管会牺牲精细的形态细节。从建模的角度来看，这两个尺度表现出显著的互补性：MR图像作为稳定的“时间骨架”，用于捕捉连续的物候轨迹，而稀疏的HR图像提供了在关键发育转变期间解决微观表型差异的不可替代信息[37]。为了利用这种互补性，已经开发了各种多尺度融合策略，主要集中在空间特征融合（如FPN）、多流架构和自适应机制（如交叉注意力）上。然而，专门针对物候识别的多尺度时间融合的研究仍然很少。尽管现有研究已经探索了用于分类或特征估计的空间尺度集成，但它们尚未完全解决高频MR图像和低频HR图像之间的协同作用[38][39]。大多数现有方法假设多源数据在时空上是对齐的（即配对数据），因此无法缓解由高分辨率稀疏性引起的时间不连续性，也无法通过原理性的时间建模捕捉种质的细微物候多样性。因此，在实际操作限制下，迫切需要一个既稳健又可扩展的建模框架，该框架在保持时间连续性的同时优先考虑精细的空间区分能力，从而适应大规模水稻种质资源试验中的显著异质性和不规则采样。
为了解决上述挑战，本研究提出了一种用于大规模水稻育种试验的高通量表型分析的多尺度时间序列深度学习框架。本研究的具体目标如下：
(1) 开发一个稳健的多尺度融合模型。具体来说，构建了一个将高频MR图像与稀疏HR图像相结合的深度学习架构。此外，引入了缺失感知门控融合（MAGF）机制，以解决由于不规则采样和不同种质资源之间的固有物候异步性导致的数据对齐问题。
(2) 验证模型在不同生长季节的泛化能力。该方法在涵盖两年（2023-2024年）的500多个水稻品种的庞大数据集上进行了评估。特别强调了在变化的环境条件和传感器高度下识别关键转变阶段（如抽穗和开花）的模型稳健性和准确性。
(3) 优化监测成本和准确性之间的权衡。系统地量化了UAV采样频率与识别性能之间的关系。基于这一分析，提出了一种灵活且成本效益高的操作策略（如混合采样策略），为在实际的大规模应用中平衡预算限制和精度要求提供了参考。

**2. 材料与方法**
**2.1. 研究地点和实验设计**
实验于2023年和2024年在南京农业大学白马教学研究基地（图S1）进行，位于中国江苏省南京市溧水区（31°37′25″N, 119°9′15″E）。共有520个水稻种质资源，包括来自中国、印度、泰国、菲律宾、斯里兰卡和日本的340个粳稻品种和180个籼稻品种，在相同的环境条件下进行栽培。
2023年，粳稻和籼稻品种各安排了三个区块，每个品种有三个重复地块。2024年，设计进行了优化：大多数品种种植了两个重复地块，而选定的代表性品种保持了三个重复地块，以确保参考稳定性。地块配置因品种类型和年份而异。对于粳稻，地块大小为1.20米×1.20米，地块间距为0.5米，每行五株，每株间距0.3米，株距0.15米。对于籼稻品种，2023年的地块大小为1.20米×1.26米，地块间距为0.5米，每行五株，每株间距0.3米，每行九株，株距0.18米。2024年，地块间距增加到0.8米，以减轻上一季观察到的倒伏现象。田间操作和作物管理遵循季节性计划。2023年，水稻于5月24日播种，6月23日移栽，10月16日至11月17日收获。2024年，播种于5月22日，移栽于6月23日，收获于10月31日至11月18日。施肥管理在两年间保持一致，N:P:K比例为1:0.2:0.4。每个地块都按照当地标准的农艺实践进行统一管理，以确保观察到的差异可归因于遗传背景和实验布局，而非田间管理。

**2.2. 数据描述和预处理**
**2.2.1. UAV图像采集**
时间序列UAV图像是使用DJI Mavic 3M（DJI-Innovations，深圳，中国）获取的。该无人机配备了RTK模块，以实现厘米级的精度和20 MP RGB相机（5280×3956像素）。在本研究中，仅使用RGB图像进行水稻物候识别。UAV调查在2023年和2024年的生长季节进行，采用多高度飞行策略。两年中，20米高度的飞行用于获取正射影像，地面采样距离（GSD）为0.93厘米/像素，飞行速度为1米/秒，80%的前向重叠和70%的侧向重叠。就操作效率而言，在20米高度完成整个田地的UAV调查大约需要20分钟，而在4米高度进行调查时，大约需要4小时，大约拍摄1000个单独的地块。2023年，田间共有1,560个地块。在这种配置下，以4米的高度获取高分辨率图像将显著延长整个调查的持续时间，并增加同一调查中第一个和最后一个地块捕获之间的时间间隔。如此长的采集窗口可能会因光照条件的变化和其他短期环境波动引入额外的变异性。因此，2023年采集的低空图像的高度为6米，使得单张图像能够同时覆盖四个相邻的地块。这种策略提高了采集效率，减少了调查内部的不一致性，并获得了0.26厘米/像素的地面采样距离（GSD）。2024年，地块总数减少到1,040个，由于重复实验次数为两次，因此以4米的高度对单个地块进行成像在操作上是可行的，从而获得了更精细的0.17厘米/像素的GSD。关于时间采样，在8月22日之前，每周收集2-3次20米高度的图像，之后几乎每天收集一次，不包括雨天。在灌浆阶段，每天进行低空飞行；从灌浆后期到成熟期，每周进行2-3次低空飞行。所有无人机飞行都在10:00到14:00之间的晴朗或略微多云的条件下进行，以最小化光照变化。为了确保空间一致性和减少几何失真，在研究区域内均匀分布了九个地面控制点（GCP），并使用高精度GNSS设备进行了测量。图像预处理使用Agisoft Metashape（v2.0.3）进行，包括地理配准、辐射校正、密集点云重建、数字高程模型（DEM）生成和正射镶嵌制作。所有数据均参考了1984年世界大地测量系统（WGS 1984）坐标系。

2.2.2 数据预处理和注释
本研究开发了一个基于无人机的物候数据集，包括在低飞行高度获取的高分辨率RGB图像。原始图像根据Biologische Bundesanstalt, Bundessortenamt和Chemische Industrie（BBCH）的标准[40]被标注为五个不同的物候阶段。所有注释均由具有丰富农学经验的领域专家完成，确保了标签的准确性和生物学一致性。注释过程由一个轻量级的自定义注释工具支持，该工具能够高效地浏览时间序列图像。物候阶段的划分是通过综合考虑时间相邻的图像来进行的，使注释者能够利用作物发育的连续性并减少阶段转换时的不确定性。五个物候阶段被定义为：拔节-抽穗期（JBS）、抽穗-开花期（HFS）、乳熟期（MkS）、糊熟期（DS）和成熟期（MS）。JBS代表从营养生长到生殖生长的转变，其特征是节间快速伸长、穗的分化、植株高度增加以及茎部明显肿胀。由于这些阶段在无人机图像中的形态差异微妙且难以区分，因此拔节期和抽穗期被合并为一个阶段。HFS对应于穗的出现和开花，此时抽穗和开花通常几乎同时发生（在半天到一天之内），并持续大约一周。由于这两个阶段在时间上有很强的重叠，并且在冠层水平上有相似的表型，因此被合并在一起。MkS的特点是谷粒充满乳白色的胚乳且含水量高，同时叶片开始变黄，谷粒填充活跃。在DS阶段，谷粒的水分逐渐减少，胚乳从乳白色变为黄色，植株开始衰老。在MS阶段，谷粒完全成熟、变硬且干燥，此时植株大部分已经枯萎，适合机械收割。为了进一步确保注释的可靠性，将标记的数据集的一部分与60个水稻品种的手动记录的物候观察结果进行了交叉验证（见图S4）。

如图1（a-b）所示，物候时间分布表明，年际间的变异性主要表现为绝对时间的变化，而不是阶段序列的中断。尽管存在这种时间上的偏移，物候阶段在其整体时间分布上仍然相对分离，连续阶段之间有明显的重叠，表明不同品种可能在同一时间点处于不同的物候阶段。高水平的吻合度证实了注释的可靠性，并为水稻物候识别任务提供了可靠的基准。具体来说，最终数据集在2023年涵盖了498个品种（340个粳稻和158个籼稻），共1,485个地块；2024年涵盖了499个品种（338个粳稻和161个籼稻），共1,108个地块。尽管遗传多样性保持一致，但地块数量的变化反映了我们严格的质量控制标准。在数据整理过程中，识别并排除了严重倒伏或生长不良的地块，以防止表型噪声，确保只有高质量的样本被保留用于模型训练和评估。

下载：下载高分辨率图像（322KB）
下载：下载全尺寸图像
图1. 基于低飞行高度（2023年为6米，2024年为4米）获取的高分辨率图像的物候注释的时间分布

2.2.3 多尺度预处理和数据集构建
20米高度的无人机图像进一步处理以支持地块级别的物候分析（见图S2）。使用Agisoft Metashape 2.0.3（Agisoft LLC，圣彼得堡，俄罗斯）对RGB图像进行镶嵌处理，并应用地面控制点（GCP）以最小化风和光照等环境因素引起的位置误差。输出结果是经过地理配准的数字正射影像地图。为了确保地块级别的空间保真度，使用EasyIDP[41]将地块边界反投影到原始无人机图像上，从而避免正射校正或数字表面模型（DSM）重建引入的几何失真。每个20米高的地块样本都被赋予了来自相应4米高度图像的物候标签，确保在不同空间尺度上标签的一致性。我们通过整合在20米高度获取的时间连续图像构建了一个多尺度物候数据集，这些图像被视为MR图像。具体来说，高分辨率图像分别在2023年和2024年以6米和4米的高度获取。该数据集保留了时间连续性，同时捕捉了精细的冠层和穗的特征。为了减少空间和时间信息的泄露风险并获得客观评估，数据集被分为训练集、验证集和测试集，比例为8:1:1，同一地块的所有样本仅被分配到一个数据集中。此外，图S5提供了训练集、验证集和测试集嵌入的UMAP可视化，以说明三个数据集的整体可比性。2023年收集的所有图像专门用于独立的跨年度验证，以便在不同飞行高度和实验条件下评估模型的泛化能力。为了进一步分离空间分辨率与其他年份之间的差异，我们还使用2024年的数据集进行了一个受控的年内实验，其中将原始的4米高度图像下采样到与6米高度图像相当的空间分辨率。

为了进一步表征数据集的多样性，我们检查了5个物候阶段的代表性图像特征，包括GRVI、ExG、亮度和饱和度（见图S3）。这些特征显示出广泛的价值范围和显著的阶段内变化，表明数据集中存在显著的生物学和环境异质性。结合大量的品种、地块和观测日期，这支持了数据集的多样性和代表性。

2.3 多尺度时间序列深度学习框架
本研究提出了一个新颖的作物物候分类框架，该框架将多分辨率无人机图像（MR图像和HR图像）与时间序列深度学习相结合（见图2）。整个工作流程包括数据对齐、多尺度特征提取、时间建模和物候阶段预测。多尺度时间序列框架包括四个关键模块：
（1）时间序列构建：使用MR图像作为时间锚点来构建同步的多分辨率序列。引入了一个缺失数据掩码，以明确表示HR图像的缺失，同时保持时间对齐。
（2）特征提取：采用轻量级的CNN框架[42]从MR和HR图像中独立提取空间特征。MR特征强调时间连续性，而HR特征捕捉精细的纹理和结构信息。
（3）特征融合和缺失感知门控融合（MAGF）：提取的特征被线性投影到一个共享的嵌入空间中，并使用缺失感知门控机制进行组合。这确保了跨模态的自适应融合，并减轻了HR数据缺失的影响。
（4）时间建模：应用LSTM网络来捕捉连续时间步骤之间的时间依赖性，建模物候动态。分类头输出最终的作物物候阶段。

下载：下载高分辨率图像（875KB）
下载：下载全尺寸图像
图2. 多尺度时空深度学习框架的总体流程图。
（a）不同类别（JBS、HFS、MkS、DS和MS）的MR/HR多分辨率时间序列输入。某些时间步骤中的缺失观测用零张量填充，以保持固定的序列长度。
（b）MAGF：MR和HR图像通过MobileNetV3框架+GAP+线性投影进行编码，得到和。门控网络生成一个自适应权重，将两种特征融合成。
（c）融合后的特征序列被输入LSTM进行时间建模，得到的表示用于最终分类/预测。

所提出的设计有两个主要优势：（i）MR图像提供了稳定和长期的时间锚点，确保了序列的连续性；（ii）当HR图像可用时，它们丰富了表示，提供了详细的空间信息。即使在缺乏高分辨率数据的情况下，该框架通过其多尺度设计保持了鲁棒性。

2.3.1 多分辨率时间输入构建
设表示固定长度的物候观测序列的离散时间索引。在每个时间步骤，输入包括广泛可用的MR图像，表示为，以及间歇性可用的高分辨率图像，表示为。为了在不丢弃数据的情况下保持时间对齐，我们采用了零填充策略[43]、[44]来处理缺失的HR观测：
（1）同时，为了防止网络将缺失数据解释为有效特征，生成了一个二进制可用性掩码：
（2）该掩码明确编码了时间稀疏模式，并作为关键的控制信号，允许后续层在数学上区分无效的零填充和实际的黑色图像像素。

2.3.2 特征提取模块
为了捕捉互补的物候线索，和通过两个并行的特征提取分支进行处理。我们采用MobileNetV3作为框架架构，因为它在处理高通量表型数据方面已被证明是高效的[42]。尽管架构相同，但网络不共享权重，使它们能够专门提取特定于分辨率的特征（例如，从MR图像中提取颜色纹理，从HR图像中提取叶片和穗的形态）。在卷积阶段之后，应用全局平均池化（GAP）生成紧凑的特征向量：
（3）
（4）为了将这些表示对齐到一个共同的潜在空间并减少维度，应用线性投影层：
（5）
（6）
其中表示在d维实数向量空间中的投影嵌入。这里有两个关键的设计方面值得注意：（1）统一维度：通过将不同的框架输出投影到固定的维度d，我们确保了维度兼容性，这是融合模块中逐元素操作的前提。
（2）跨时间步骤共享权重：权重矩阵和在所有时间步骤中都是共享的。这种时间分布的设计确保了整个生长季节的特征提取一致性，并防止了参数爆炸。

2.3.3 多模态特征融合：缺失感知门控融合（MAGF）
为了有效合成异构特征并解决高分辨率数据缺失的问题，我们提出了一个缺失感知门控融合（MAGF）机制。该模块采用残差学习范式，将连续的MR特征视为“锚点”，将HR特征视为条件性的细化。与标准的基于掩码的融合不同，MAGF在HR数据缺失时不仅使用HR特征，还结合了缺失感知和不对称融合，根据当前的MR上下文、HR特征表示和模态可用性来适应性地调节HR特征的贡献，同时保持MR特征作为稳定的时间锚点。附录表S1中详细比较了几种传统的基于掩码的融合方法，MAGF始终表现出色。首先，为了确定当前时间步骤中HR特征的相关性，将两个分支的特征向量连接起来形成一个联合的上下文表示：
（7）这个联合向量通过一个可学习的门控网络生成一个自适应的注意力得分。门控网络由一个权重矩阵组成，该矩阵将高维上下文投影到一个标量重要性指标上，以及一个偏置项，用于调整激活阈值：(8)其中 表示Sigmoid激活函数，它将得分规范化到 。为了防止零填充的缺失观测值污染特征空间，明确引入了二进制可用性掩码。融合过程被表述为掩码门控的残差加法：(9)其中 表示元素级乘法。在这种表述中，当有效的高分辨率(HR)数据可用时，HR特征会被 自适应地加权，并添加到MR基线中以增强空间区分度。相反，当HR数据缺失时，融合项完全消失，迫使模型仅依赖于稳健的MR锚点。

2.3.4 基于LSTM的时间建模和分类
融合后的嵌入序列封装了作物的时空特征。为了解码潜在的生长动态，这个序列被输入到一个长短期记忆(LSTM)网络[45]中。LSTM非常适合物候监测，因为其门控记忆机制——包括输入门、遗忘门和输出门——能够有效管理长期依赖性。这使得模型能够在抑制环境变化引起的短期波动的同时，累积生长信息。时间步t的递归更新被表述为：(10)其中 表示编码当前物候状态的隐藏状态，而 表示保持长期上下文的单元状态。最终的隐藏状态汇总了整个监测期间作物的综合物候轨迹，用于分类。它通过全连接层传递，并通过softmax函数进行归一化，以产生物候阶段的预测概率分布：(11)其中 表示分类器权重矩阵， 表示分类器偏置向量。注意， 与门控偏置 不同，用于移动决策边界以实现最佳类别分离。

2.3.5 不同时间间隔的合理性
在多时间尺度建模框架中，MR图像序列被视为时间锚点，而HR图像通过最近邻匹配与之对齐。为了调节HR数据的时间稀疏性，我们引入了一个时间间隔参数，并进行了相关实验。具体来说， 定义了数据频率： 对应于每日序列， 表示每隔一天采样一次（2天间隔）， 表示每隔三天采样一次。
这种设置的合理性基于物候时间尺度和农业观测实践：(a) 小间隔()能够捕捉几天内的细微变化，例如从拔节到抽穗的快速转变。(b) 中等间隔()对应于每周到每两周的节奏，与田间检查和短周期管理实践一致。(c) 较大的间隔()与传统的卫星遥感监测频率相匹配，例如十年一次（10天）和每两周一次（14天）的观测，能够覆盖长期发育动态。给定固定的时间序列长度，时间覆盖范围随着 天数的增加而扩大。例如，当 时，它覆盖4天；而当 时，它覆盖56天。通过从1到7选择连续的整数，我们确保了时间分辨率的单调细化，而添加10和14提供了遥感中常用的“应用尺度”。这种设计在密集和稀疏时间输入之间建立了平衡的探索，并进一步验证了所提出的MAGF机制在不同时间稀疏条件下的稳健性。对于消融实验，所有单尺度和多尺度序列模型都使用相同的序列长度(T=5)、相同的时间间隔(Δ)，因此具有相同的时间覆盖范围和采样密度。

2.3.6 实施细节和模型评估
所有实验都在运行Ubuntu 16.08/4的工作站上进行，配备了Intel Xeon E5 CPU（每个核心2.20 GHz，32 GB RAM）和NVIDIA Tesla V100-DGXS GPU（16 GB内存）。模型使用PyTorch 2.0和CUDA 12.1作为后端实现。采用了AdamW优化器，初始学习率为 ，权重衰减为 。采用了余弦退火学习率调度器来在训练过程中自适应地调整学习率。批量大小固定为64，每个模型训练了100个周期。为了提高计算效率，启用了自动混合精度(AMP)训练。
模型在测试数据集上的性能通过准确性、精确度、召回率、F1分数和Cohen’s Kappa系数进行了全面评估。此外，还计算了真正例(TP)、真负例(TN)、假正例(FP)和假负例(FN)的数量，作为性能评估的基础。这些指标定义如下：(12)(13)(14)(15)此外，为了考虑偶然一致性的可能性，我们还计算了Cohen’s Kappa系数()，定义为：(16)其中 表示观察到的一致性， 表示偶然预期的一致性。Kappa系数的范围是从-1到1，值越接近1表示预测和真实情况之间的一致性越强。

3. 结果
3.1 MobileNetV3在准确性和效率之间取得了最佳平衡
为了选择最佳的物候分类骨干网络，我们使用2024年的UAV图像在MR和HR下评估了MobileNetV3、VGG16、GoogLeNet和ResNet50。所有模型都在相同的实验设置下独立训练。比较不仅关注分类准确性，还关注模型复杂性和不同空间尺度性能之间的权衡，从而确定了后续模型开发最合适的骨干网络。结果显示（表2），物候分类性能同时受到空间分辨率和网络架构的影响。在HR图像上训练的模型一致性地优于在MR图像上训练的模型，表明更高的空间分辨率提供了更多区分物候阶段的视觉信息。同时，在分类准确性和计算效率方面，不同骨干网络之间存在显著差异。在评估的架构中，MobileNetV3在准确性和模型复杂性之间取得了最理想的平衡。当在HR图像上训练时，MobileNetV3实现了最高的整体准确性（OA = 0.856）、F1分数（0.854）和Kappa系数（0.816），同时所需的参数数量显著减少，计算成本也低于VGG16和ResNet50。这些结果表明，MobileNetV3在大幅降低模型复杂性的同时保持了强大的分类性能。

表1. 数据集编号 年份 飞行高度 数据集分割 JBS HFS MkSD SMS 总计
2024 20米 训练 6328 7711 6774 1285 3132 8246 948 验证 7829 6884 7159 4167 8586 9 测试 8119 4286 4163 1162 1586 94米 训练 5765 7017 6292 1033 6623 7356 47 验证 7168 8277 8127 9785 4440 测试 7448 6079 9130 7727 4437 2023 20米 测试 2967 4850 7207 1687 1157 7847 6736米 测试 3745 6419 9057 1718 3159 8452 388

表2. 不同分辨率下不同骨干网络的性能比较
分辨率 模型 OA 精确度 召回率 F1 分数 Kappa 参数 FLOPS 内存
HR图像 VGG16 0.843 0.835 0.854 0.842 0.799 138.36M1 5.47G5 83.01MB
ResNet50 0.833 0.830.842 0.836 0.786 25.56M4.13G1 17.24MB
MobileNetV3 0.856 0.864 0.854 0.857 0.816 5.48M0.23G3 6.74MB
GoogLeNet 0.825 0.823 0.833 0.827 0.776 6.62M1.51G6 6.51MB
MR图像 VGG16 0.829 0.817 0.827 0.821 0.778 138.36M15.47G5 83.01MB
ResNet50 0.819 0.808 0.816 0.811 0.765 25.56M4.13G1 17.24MB
MobileNetV3 0.819 0.807 0.815 0.810 0.764 5.48M0.23G3 6.74MB
GoogLeNet 0.805 0.785 0.797 0.790.747 6.62M1.51G6 6.51MB

我们进一步比较了在不同空间分辨率下使用MobileNetV3作为骨干的物候分类性能（图3）。对于两种分辨率，通过比较仅使用空间特征提取的模型（CASE I）与结合LSTM时间建模的模型（CASE II）来评估性能。总体而言，HR设置下的F1分数高于MR设置，当基线性能已经很高时，时间建模往往提供更大的好处。在MR图像设置下（图3(a)），结合时间建模可以在大多数物候阶段提高性能。F1分数的相对增益在JBS、HFS和MkS阶段最为明显，分别增加了大约2.2%、1.7%和2.4%。相比之下，DS和MS阶段的改进相对较小。在HR分辨率下也观察到了类似的趋势（图3(b)），这种差异可能归因于不同阶段的时间动态差异：在快速发展的JBS/HFS/MkS阶段，LSTM可以利用时间上下文捕捉阶段转换线索和生长轨迹的一致性，从而更好地描述物候演变。而在接近成熟的DS/MS阶段，表型变化趋于平稳/饱和，导致时间区分性较弱，因此改进较小。总体而言，结果表明，MobileNetV3衍生的特征表示在两种空间分辨率下都受益于时间建模，在特征转换较为渐进的阶段观察到更大的性能提升，而在时间动态较强和视觉边界更模糊的阶段，提升更为显著。

下载：下载高分辨率图像（276KB）
下载：下载全尺寸图像
图3. 使用MobileNetV3骨干的时间建模对物候分类的影响。(a) 使用MR图像时，仅使用空间特征提取的MobileNetV3（CASE I）与结合LSTM时间建模的MobileNetV3（CASE II）的每阶段F1分数比较。(b) 基于HR图像的相应比较。虚线表示CASE I和CASE II之间每个物候阶段的F1分数的相对差异（%）。

3.2 学习到的物候表示的时间鲁棒性和生物学一致性
为了评估框架的鲁棒性，我们模拟了2024年收集的MR和HR图像之间的时间错位，使用从1到14天的偏移量（delta）。总体而言，时间偏移量的增加导致所有评估指标的分类性能逐渐下降（图S6）。当时间偏移量较小时（delta1–delta3），模型保持了稳定的高性能，OA和F1分数保持在大约0.85以上。随着偏移量超过delta4，OA、精确度和F1分数出现适度下降。对于更大的偏移量（delta7–delta14），性能指标稳定在较低水平，OA和F1分数收敛到大约0.83–0.84。相比之下，Kappa系数随着时间偏移量的增加而显著下降，从delta1的大约0.84降至较大偏移量时的低于0.80。仅使用MR数据的基线模型的OA为0.819，这低于结合HR图像（Δ = 14）时的性能。这表明，即使在14天的时间滞后下，HR数据提供的高分辨率空间细节仍能显著提升模型性能，从而使融合方法优于仅使用MR的方法。特定阶段的错误模式也随着时间偏移量的变化而变化。在所有测试的Δ值中，大多数预测都集中在对角线上，表明5个物候阶段的识别总体上是稳定的（图4）。然而，随着Δ的增大，相邻阶段之间的错误分类增加，尤其是在HFS和MkS之间以及MkS和DS之间。相比之下，JBS和MS在不同时间偏移量下相对稳定，表明具有更明显视觉特征的阶段对时间错位的敏感性较低。总体而言，这些结果表明时间错位主要影响物候转换阶段，而视觉边界更清晰的阶段则相对稳健。

下载：下载高分辨率图像（856KB）
下载：下载全尺寸图像
图4. 2024年不同时间间隔（Δ）下的混淆矩阵

3.3 特征可视化和表示分析
为了评估所提出模型中不同组件的有效性，使用t-SNE和Grad-CAM进行了特征可视化和表示分析。图5(a)显示了来自最后一个轻量级时间块的输出特征的Grad-CAM可视化。在五个物候阶段中，激活图一致地突出了与物候相关的结构，如冠层纹理模式和穗状结构相关区域。虽然在具有明显视觉特征的阶段注意力保持空间聚焦，但在过渡阶段可以观察到更分散的激活模式，反映了视觉变异性的增加。图5(b)展示了在框架不同阶段提取的特征的t-SNE嵌入。仅从MR图像派生的特征形成了部分重叠的簇，JBS和HFS之间的重叠较为明显。使用HR图像时，相应的特征簇变得更加紧凑和分离得更好，而相邻物候阶段之间的残余重叠仍然存在。经过多尺度特征融合后，类间可分性进一步提高，相邻阶段之间的重叠减少。当结合时间建模时，分离度最为清晰，LSTM处理的融合特征为所有物候阶段形成了定义明确且紧凑的簇。总体而言，可视化结果展示了从单尺度空间特征到多尺度融合特征，再到时间建模表示的逐步增强。

下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像
图5. 用于解释MobileNetV3和LSTM高分类准确性的特征可视化。(a) 最后一个轻量级时间块的输出特征的Grad-CAM可视化。从上到下：原始图像，由Grad-CAM在五个物候阶段生成的注意力图。(b) 学习特征在嵌入空间中的t-SNE可视化，使得在不同空间分辨率和融合策略下表示的可分性可以进行视觉比较。

3.4 输入模态和时间建模的消融分析
为了区分所提出的多尺度时空框架中各个组件的贡献，并验证每个设计选择的必要性，进行了一系列受控的消融实验。在相同的训练设置和数据可用性下，系统地移除了时间建模模块和不同分辨率的空间输入（表3）。当仅使用MR图像和空间特征提取（不使用LSTM）时，模型的OA为0.819，F1分数为0.810，表明仅基于中等分辨率的空间信息区分物候阶段的能力有限。在MR环境下引入基于LSTM的时间建模能够持续提升性能，将OA提高到0.828，F1分数提高到0.822，这表明即使没有高分辨率输入，时间信息也能带来显著益处。当使用没有时间建模的高分辨率（HR）图像时，性能也有显著提升，OA达到0.856，F1分数增加到0.857，这突显了精细空间细节在物候分类中的重要性。当将高分辨率图像与基于LSTM的时间建模结合使用时，模型达到了最高的数值性能（OA = 0.887，F1分数 = 0.888，Kappa = 0.857），证实了高分辨率空间细节的强大区分能力。然而，这种设置假设在每个时间步骤都进行高分辨率采集，因此它更像是一个高成本的基准，而不是所提出框架的实际应用形式。相比之下，所提出的异步MR+HR+LSTM模型在只需要稀疏高分辨率采集的情况下，实现了OA为0.873，F1分数为0.873，Kappa系数为0.840，表明在物候识别性能和操作效率之间有更好的平衡。

表3. 在不同MR和HR配置下输入模式和时间建模的消融分析。

MobileNetv3LSTMMRHROAPrecisionRecallF1Kappa
√√0.8190.8070.8150.810.764
√√√0.8280.820.8270.8220.776
√√√0.8560.8640.8540.8570.816
√√√0.8870.8870.8890.8880.857
√√√√0.8730.8730.8740.8730.84

总体而言，消融结果表明每个组成部分都对物候分类性能有积极贡献，高分辨率图像提供了最大的性能提升，时间建模进一步改进了性能，而所提出的异步多尺度融合框架在大幅减少对高分辨率观测依赖性的同时保持了强大的性能。

3.5. 在多种混淆因素下的跨年独立验证
跨年评估（图S7，图6）是通过将2024年数据集上训练的模型直接应用于独立的2023年数据集来进行的。在Δ = 3时，模型在2023年的OA为0.774。值得注意的是，这两个数据集不仅在年份上有所不同，而且在空间分辨率和田间设计上也存在差异。具体来说，2023年的高分辨率图像是以6米的间距采集的，对应的地面采样距离（GSD）为0.26厘米/像素，而2024年的高分辨率图像是以4米的间距采集的，对应的GSD为0.17厘米/像素。

下载：下载高分辨率图像（279KB）
下载：下载全尺寸图像

图6. 不同空间分辨率和年份设置下水稻物候识别性能的比较。蓝线代表2024年的原始4米+20米图像，橙线代表2024年降采样后的等效6米+20米图像，绿线代表2023年的原始6米+20米图像。(a) 总体准确性。(b) F1分数。(c) Kappa系数。

为了量化空间分辨率的影响，我们进一步使用2024年数据集进行了年度内控制实验，在该实验中，将原始的4米高分辨率图像降采样到等效的6米分辨率，而所有其他条件保持不变。降采样一致地降低了OA、F1分数和Kappa值。在所有三个指标中，2024年的原始4米图像表现最佳，2024年的降采样6米图像表现中等，2023年的原始6米图像表现最差。这些结果表明，空间分辨率的降低导致了跨年性能的下降，但并未完全解释观察到的差距。

3.6. 田间尺度物候映射和跨年比较
使用所提出的框架（HR，Δ = 1，MobileNetV3和LSTM以及MR图像），对2023年和2024年生长季节的HFS和MS物候阶段进行了空间比较（图7）。在每个面板中，各个图表根据估计的物候阶段日期进行颜色编码。对于HFS，2023年和2024年的空间分布模式显示出明显的田间异质性，不同地块之间的变化显著。尽管两年之间的绝对时间有所差异，但整体空间组织保持一致，可以在实验区块中观察到早期和晚期发生的相似区域。这表明模型在保持空间连贯性的同时，能够捕捉到地块级别的精细物候变化。对于MS，两年的物候图（图7b）显示出比HFS更均匀的空间模式，预测日期在田间有更平滑的过渡。后期生长阶段的田间变异性减少，预测的成熟日期在管理单元和地块组内空间上是一致的。年份之间的差异主要体现在绝对成熟时间的改变上，而不是空间模式的变化。总体而言，田间尺度的映射结果表明，所提出的模型能够在不同年份生成空间上连贯且生物学上合理的物候图。2023年和2024年之间观察到的空间一致性模式表明，该模型在不同采集条件下表现稳定，支持其在地块尺度上进行跨年物候监测的适用性。

下载：下载高分辨率图像（2MB）
下载：下载全尺寸图像

图7. 2023年和2024年HFS和MS的田间尺度物候映射结果。2023年（a）和2024年（b）的HFS日期空间分布。2023年（c）和2024年（d）的MS日期空间分布。每个图表根据预测的物候阶段日期进行颜色编码，展示了不同年份之间的地块级物候变异性和空间模式。

4. 讨论
4.1. 时间建模和多尺度空间信息的协同机制
作物物候是一个随时间连续演变的动态过程，各个物候阶段通过形态、生理和结构特征的逐渐变化相互关联，而不是作为孤立的状态存在。因此，仅基于单日期图像的物候阶段分类往往难以准确划定阶段边界，特别是在JBS和HFS等过渡阶段，此时视觉差异微妙且具有时间上的渐进性[46]，[47]。在水稻育种地块的尺度上，品种间的显著遗传多样性和物候不同步性进一步加剧了单时间判别的不确定性[48]。为了解决这些挑战，本研究将显式的时间建模与多尺度空间信息相结合，旨在共同利用时间连续性和空间互补性来提高在复杂田间条件下的物候识别鲁棒性。

从时间建模的角度来看，集成LSTM模块一致地提高了多个关键物候阶段的分类性能，特别是在早期和中期生长阶段观察到了尤为明显的收益（图3）。这一发现表明，物候阶段的区分不仅依赖于瞬时的空间表型线索，还依赖于先前和后续观测中嵌入的生长趋势[49]。

对于JBS和HFS等过渡阶段，单张图像中的冠层颜色和结构差异通常有限；通过显式建模时间依赖性，网络可以整合相邻时间点之间的连续表型变化，从而形成更具区分性的特征表示，并有效减少相邻阶段之间的混淆[22]，[29]。这些结果与PhenoNet在小麦物候监测中的发现一致[32]，进一步支持了显式时间建模在作物物候分类中的普遍适用性。

关于空间信息的利用，高分辨率无人机（HR）图像在捕捉精细尺度表型特征（如穗结构、叶片纹理和局部冠层形态）方面具有明显优势，而磁共振（MR）图像更适合稳定地描述群体层面的整体冠层状况。在水稻育种地块中，即使在同一物候阶段，不同品种之间的植物结构、叶片姿态、穗形态和冠层闭合也存在显著差异[18]。这种高度的视觉异质性使得基于单一空间分辨率的物候分类容易受到局部噪声和非典型样本的影响。为了解决这个问题，所提出的框架使用MR图像构建连续稳定的时间骨架，并在关键时间点引入高分辨率图像作为空间细节的来源，从而在时间连续性和空间可区分性之间取得平衡。消融结果（表3）表明，与单分辨率输入或简单的多尺度融合策略相比，所提出的多尺度方法具有更优的整体性能和更稳定的阶段级性能。尽管仅使用高分辨率的设置获得了最高的OA，但这种配置依赖于密集的高分辨率采集，主要作为一个高成本的基准。相比之下，所提出的HR+MR+LSTM模型在较低的采集时间和操作成本下实现了OA为0.873。因此，准确性的小幅降低应被视为性能和效率之间的实际权衡，而不是MR数据本身的负面影响。值得注意的是，高分辨率图像的好处并不是在所有物候阶段都均匀分布的：其在早期和中期阶段的贡献最为显著，而在后期阶段（如面团和成熟阶段）的性能提升相对有限。这种阶段依赖性模式与水稻发育的生物学特性相符，在后期生长阶段，表型特征变得更加稳定和视觉上更加明显。

时间建模和多尺度空间表示的协同效应进一步通过可视化分析得到证实。Grad-CAM结果（图5a）显示，通过整合多尺度输入和时间建模，网络在早期和中期阶段更一致地关注穗和关键冠层区域，而不是背景或非区分性区域。特征嵌入可视化（图5b）进一步揭示了低维特征空间中物候阶段之间的重叠显著减少，JBS和HFS之间的可区分性显著提高。这些特征空间模式与观察到的阶段特定性能提升之间的强烈对应关系表明，性能提升源于有效利用了互补的时间和空间信息，而不仅仅是偶然效应。

总体而言，结果表明，时间建模和多尺度空间信息在特征学习过程中不是简单的叠加，而是协同作用的。一方面，多尺度空间特征为LSTM提供了跨多个空间层次的稳定和互补的表型输入，降低了时间建模对局部噪声的敏感性。另一方面，时间依赖性建模通过在时间上传播其信息，增强了高分辨率图像在关键物候转换点的区分能力[31]，[32]。所提出的框架无需依赖辅助的气象或管理数据，仅利用基于无人机的时间图像就能稳健地捕捉作物对遗传和环境变化的响应，为大规模育种试验中的准确和可持续物候监测提供了实用且可扩展的解决方案。

4.2. 轻量级CNN在基于无人机的时间物候建模中的优势和设计权衡
在基于无人机的时间物候建模中，空间特征提取网络的选择不仅影响单日期分类的准确性，还直接限制了多时间建模框架的计算效率、稳定性和可扩展性。对包括VGG16、ResNet50和GoogLeNet在内的经典深度卷积神经网络与轻量级架构（表2）的系统性比较表明，更深的网络在物候识别任务中并未展现出与其显著更高的计算复杂性相称的性能提升。相比之下，MobileNetV3 [42]，[50] 在高分辨率条件下实现了稳定且具有竞争力的分类性能，并获得了领先的总体准确性、一致性指标和F1分数。这些结果表明，物候阶段的区分主要依赖于中等和低级别的视觉特征，如冠层纹理、穗结构和颜色变化，而不是高度抽象的深度语义表示，这与对物候表型特征层次结构的现有理解一致[51]。在时间建模框架中，空间特征提取必须在多个时间步骤中重复执行，导致网络参数大小和计算复杂性沿时间维度进一步放大（图2）。在这种条件下，重型网络倾向于引入大量的计算冗余，并在样本量有限和年际变化显著的育种场景中增加过拟合的风险[52]。相比之下，MobileNetV3采用了轻量级架构设计，如深度可分离卷积，大幅减少了参数数量、FLOPs和内存消耗，同时保持了足够的特征表示能力（表2），使其更适合作为多时间物候建模的骨干。

此外，轻量级网络产生的紧凑特征表示有助于抑制冗余信息，并促使模型专注于与物候进展密切相关的表型模式，从而在不同年份和飞行高度下展现出更稳定的泛化性能（图S6；表3）。应当强调，选择MobileNetV3并不意味着在其他计算机视觉应用中排除更深或更复杂的网络，而是反映了针对物候识别任务的特定权衡，其中时间演化、操作效率和可持续性是关键考虑因素。总体而言，MobileNetV3在分类性能和计算效率之间取得了更优的平衡，为后续的多尺度特征融合和时间建模提供了稳定且高效的空间特征基础，并为大规模和可持续的基于无人机的作物物候监测提供了方法论支持。

4.3.异步多尺度融合策略：监测频率与运营效率之间的权衡

鉴于高分辨率（HR）无人机图像的采集时间较长，导致高频物候监测不切实际，本研究在MAGF框架内提出了一种异步多尺度融合方案。与假设不同模态之间严格时间对齐的传统多模态融合方法[53]不同，所提出的方法允许在高分辨率图像以离散间隔（Δ = 1–14）进行采集，并在特征层引入了缺失感知门控模块，以自适应地分配来自高分辨率和多分辨率数据流的贡献。当高分辨率图像不可用时，模型通过整合多分辨率观测的宏观时间趋势与LSTM的历史记忆来推断有用的信息；当高分辨率图像可用时，它们在关键阶段作为周期性校准。从机制上看，这种设计类似于农业实践：频繁的多分辨率观测保持了连续的情境感知，而稀疏的高分辨率观测提供了阶段性细化[54]，[55]。

采样间隔实验揭示了一个明显的运营最优值（图S6；图4）。当高分辨率图像每1-3天采集一次时，分类性能最高；即使间隔延长到5-7天，性能下降也在1.5%以内，仍然显著优于仅使用多分辨率数据的基线。这与使用无人机RGB时间序列进行季节内物候监测的先前研究结果一致[29]，并表明超高空间分辨率的边际收益可能被其时间和后勤成本所抵消[24]。基于2024年的结果，该策略还带来了实际的运营效益：一次完整覆盖的高分辨率飞行大约需要4小时，而多分辨率飞行仅需约20分钟。因此，一种实用的混合协议是每天或每隔一天进行一次多分辨率采集以保持时间连续性，并每隔5-7天进行一次高分辨率飞行以进行空间细化和阶段性校准，将每周总飞行时间从约28小时（每天高分辨率飞行）减少到约6小时，同时保持高物候识别精度。这一估计基于2024年的田间规模（0.53公顷）和飞行配置，并假设在密集监测期间每周有七次可行的采样机会，不包括雨天。尽管确切的时间成本取决于田间规模和当地运营条件，但所提出的混合策略为大规模育种应用提供了一个实用且可扩展的参考。跨年度评估（图6；图S7）通过将2024年训练的模型直接应用于独立的2023年数据集进一步测试了模型的鲁棒性。模型在Δ = 3时仍实现了0.774的准确率；然而，鲁棒性仍然有限，并出现了“性能饱和”现象。值得注意的是，2023年和2024年的结果都显示出对时间偏移的敏感性，当Δ超过7天时，准确率急剧下降。这表明跨年度的误差主要由系统性的领域变化而非采样频率本身引起。年际间的气象变化可能会提前或延迟物候节奏，导致日历时间和实际发育进度之间的错位，从而加剧相邻阶段之间的混淆（例如，抽穗期（JBS）与成熟期（HFS）[56]。

此外，年际间冠层外观和成像条件的变化，以及双重超出分布设置（即，年份和分辨率/采样策略的同时变化）可能会削弱在源领域学到的门控先验的可转移性。因此，仅仅增加采样频率不足以显著减轻这些误差，这与远程 sensing 时间序列任务的跨领域泛化已知限制一致[57]。

4.4. 含义、局限性和未来方向

本研究为水稻种质资源的物候监测建立了一个新的范式，平衡了识别精度与运营成本。从实际角度来看，所提出的异步多尺度融合策略成功解决了大规模育种试验中高分辨率无人机遥感常常存在的时效性差这一关键瓶颈。通过证明时空互补性和协同作用的可行性，本研究为育种者提供了一个可复制且成本效益高的数字表型工具。因此，人工田间调查的时间成本显著降低，筛选优良种质的效率得到加速，促进了从“经验育种”向“精准育种”的转变。然而，本研究仍存在某些局限性。首先，该模型主要是在气候条件正常的年份的数据上训练的。在极端高温或干旱导致快速成熟的情景下，作物外观可能迅速变黄，而内部生理状态仍然不成熟，这对纯视觉模型来说存在误分类的风险[58]。其次，当前研究集中在单一地点的种质库，尚未在跨越不同纬度和生态区的多站点网络上进行大规模泛化验证。未来的研究将致力于构建一个“视觉-环境”多驱动机制。根据[59]的建议，将探索气象因素（如生长度日和光合有效辐射）作为协变量引入LSTM时间模块，利用环境数据来纠正极端气候条件下的视觉偏差。此外，将进一步探索深度特征与基因型之间的关联，旨在构建一个连接基因型-表型-环境（G×P×E）的全面评估模型。从而，可以在更深层次上解码作物发育的遗传和环境交互机制。

5. 结论

在这项研究中，我们提出了一个多尺度时间序列深度学习框架，以应对大规模水稻种质试验中物候异步性和空间分辨率与时间频率之间的权衡挑战。通过将高频多分辨率图像作为时间锚点，并通过MAGF机制与稀疏的高分辨率图像相结合，我们在不规则采样条件下实现了稳健的物候识别。时间建模的整合显著提高了性能，在模糊的过渡阶段，F1分数相比单尺度基线提高了2.3%至4.7%。此外，对2023年数据集（在6米的不同飞行高度采集）的独立跨年度验证显示，总体准确率为0.774，容差为3天，证实了模型对年际环境变化和传感器高度变化的鲁棒性。定量分析进一步确定5至7天的采样间隔是高分辨率图像的最佳平衡点，准确率下降保持在1.5%以内。基于这些发现，我们验证了混合采样策略，将每周飞行时间从28小时减少到大约6小时，效率提高了四倍。最终，这项研究不仅为高通量表型分析提供了一个可扩展的解决方案，还为农业从业者提供了科学参考，以便灵活调整无人机运营策略，以最佳平衡特定的预算限制和精度要求。

作者贡献

Y.M.、S.N.、W.G.和H.M.W.构思了研究并设计了实验。H.M.W.开发并测试了方法，分析了结果，撰写并修订了手稿。H.Z.W.开发了图像处理方法。H.M.W.、Y.Z.、Y.D.Y.和H.X.参与了数据采集。Y.F.D.、S.R.Z.和G.H.L.为田间实验提供了材料和支持。Y.M.、W.G.和S.N.监督了研究并对手稿进行了修订。Y.M.和Y.F.D.负责资金筹集。所有作者都阅读并批准了最终手稿。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：鉴于Seishi Ninomiya担任主编和高级编辑，Yanfeng Ding和Wei Guo没有参与本文的同行评审，也没有访问有关其同行评审的信息。本文的编辑过程的全部责任委托给了另一位期刊编辑。

数据可用性

本研究使用的源代码和测试样本可在以下链接公开获取：https://github.com/gfjiyue/Rice-phenology-identification-by-UAV。如有合理请求，可以提供额外数据。

资金支持

该研究得到了江苏省种子产业振兴项目（JBGS [2021] 007）和中国留学基金委员会项目（项目编号202406850087）的支持。