基于空间布局先验与目标保护的龙门架近地作物田间图像拼接方法NFStitch

《Smart Agricultural Technology》：NFStitch: Near-ground Field Image Stitching of Crops Using Gantry Frames Based on Spatial Layout Priors and Object Protection

　　

在精准农业（precision agriculture）与智能育种中，高质量的近地农田全景图像对于大范围、连续性的作物生长监测至关重要。然而，单幅近地影像视场有限，难以全面评估作物长势；相比之下，全景图像能够整合多幅图像信息，实现对农田的全面覆盖，从而为精准农业与智能育种提供支持。尽管基于龙门架的图像采集方式已在表型研究中得到广泛应用，但近地摄影容易受到纹理相似性高、视差显著以及光照条件变化等因素影响，进而在图像拼接过程中产生重影、结构畸变，甚至拼接失败。为解决上述问题，研究人员提出了一种基于空间布局先验与作物目标保护的近地图像拼接算法，命名为NFStitch。具体而言，首先利用相机平移先验优化特征匹配，使匹配重点集中于稳定地面区域；其次，在尽可能满足平移约束的条件下构建相似变换矩阵，并融合拍摄轨迹保护项的优化求解，以实现全局对齐并保护农田结构；最后，通过SAM2（Segment Anything Model 2）获取植物掩膜，并在能量函数中提高其分割代价，从而引导拼接缝避开作物区域。该方法在覆盖小麦不同生育时期的22组数据集上进行了验证。与主流方法相比，该算法在几何结构保持与作物完整性保护之间实现了更优平衡，为生成高质量农田全景图像提供了有效方案。

该论文发表于《Smart Agricultural Technology》，聚焦近地农田全景图像生成这一精准农业与智能育种中的关键基础问题。植物表型分析依赖高分辨率、连续性和大范围的田间图像数据，而单幅近地影像受限于视场范围，难以支撑对整块试验田作物长势、群体结构及生长动态的综合评估。因此，将多幅近地影像拼接为兼具大视场与高细节的农田全景图像，成为田间高通量表型获取的重要技术环节。现有农业图像拼接研究主要集中于无人机遥感场景，而针对龙门架近地垂直摄影条件下整块试验田图像拼接的研究相对不足。与无人机场景相比，近地农业图像面临更突出的挑战：地表纹理高度重复，导致特征区分性弱、误匹配风险高；作物冠层与地面不共面，造成明显视差；光照不均与生长阶段差异进一步增加了拼接难度。传统全局单应性模型易引起错位和重影，局部形变或网格优化方法虽可改善局部配准，却往往依赖高质量匹配点，且计算代价较高；同时，常规缝合融合策略忽略作物器官完整性，易造成茎、叶、穗被切割，影响后续表型分析。基于此，研究人员开展了面向龙门架采集近地农田图像的专用拼接研究，提出NFStitch算法，将空间布局先验、平移运动约束与作物目标保护机制协同引入拼接流程，以兼顾全局几何结构、局部配准质量和作物形态完整性。研究表明，该方法在22组覆盖小麦全生育期的数据集上，相较GSP、GES-GSP和MegaStitch等代表性方法，在主观视觉效果、配准精度、局部几何变形控制以及作物保护方面均表现更优，能够有效生成大范围、高分辨率、近地农田全景图像，对田间高通量表型监测和智能育种图像基础设施建设具有重要意义。

研究人员主要采用了以下关键技术方法：首先，基于TraitDiscover轨道式高通量植物表型平台采集数据，样本来自中国科学院遗传与发育生物学研究所北郊农场，覆盖小麦7个关键生育时期，共22组数据；其次，利用相机参数与拍摄间距计算相邻图像理论像素位移，并结合GIMDKM深度特征匹配与平移先验筛选可靠地面匹配点；再次，构建近似平移的四参数相似变换模型，并通过局部配准项与拍摄轨迹全局保护项联合优化实现全局对齐；最后，利用SAM2提取小麦掩膜，在最优缝合能量函数中加入掩膜惩罚项，引导缝线避开作物区域。

2. Materials and Methods

2.1. Data Collection
研究数据采集于中国科学院遗传与发育生物学研究所北郊农场，依托TraitDiscover轨道式高通量植物表型平台完成。龙门架系统搭载高精度工业相机，以1.8 m固定高度进行垂直视角成像，按照0.6 m间隔做平移扫描，以保证成像几何稳定。图像分辨率为4924 × 3283像素，横向重叠率为66%，纵向重叠率为49%。数据覆盖小麦完整生长周期中的7个关键生育阶段：苗期、拔节期、孕穗期、抽穗期、开花期、灌浆期和成熟期，共采集22组数据。每个生育阶段采用网格化方式采集，每阶段获取460幅高分辨率图像，排列为46行、每行10幅。为减轻自然光波动影响，采集时间通常安排在18:00至22:00，因此部分图像整体亮度较低。

2.2. Proposed Methods
研究人员指出，近地农业图像主要由不同高度的两个平面构成，即小麦冠层与地面。由于作物与地面不共面，近地拍摄时中心植株在相邻图像中的视角变化明显，形成显著视差。为此，NFStitch从特征匹配、全局对齐和缝合融合三个环节进行改进。

2.2.1. Preliminary— Calculate the pixel distance of adjacent images by camera parameters
研究人员根据已知相机参数和拍摄间距，首先计算地面采样距离（GSD，ground sampling distance）以及任意相邻图像在x、y方向上的理论像素位移Δx、Δy。该理论位移作为后续匹配点筛选与空间布局优化的重要先验，为整个算法引入物理拍摄轨迹约束。

2.2.2. Feature extraction and matching pair optimization based on GIMDKM and translational shooting priors
在特征提取阶段，研究人员采用基于深度学习的GIMDKM模型替代SIFT、SURF等传统方法，以增强在低纹理、高重复农业场景中的特征判别能力。由于初始匹配点分布于地面和作物区域，而作物区域受大视差影响较大，研究人员进一步利用拍摄距离先验对匹配对进行筛选。其核心思想是：使实际匹配点在x、y方向上的像素距离尽量与理论平移位移一致，从而保留更可能来源于地面主导平面的匹配点，并尽量排除由作物高度差导致的异常匹配。实验中阈值ξ_i、ξ_j设为50像素。该策略无需深度信息或复杂三维重建，仅通过运动先验和距离判别即可提升可靠匹配比例。

2.2.3. Fast image global alignment model based on image photo point trajectory protection
为适应龙门架垂直拍摄条件下以平移为主的图像几何关系，研究人员构建了尽可能满足平移约束的相似变换矩阵，将标准8参数单应矩阵简化为4参数模型，并通过a→1、b→0的软约束抑制尺度和旋转扰动，从而在保留少量机械扰动适应性的同时，突出全局平移一致性。
在优化目标上，方法引入局部对齐项E_local与全局轨迹保护项E_global。前者通过相邻图像匹配点重投影误差约束局部配准精度；后者则利用拍摄点已知位置及固定间隔，将物理空间中的等距采样关系映射为拼接结果中的像素空间约束，确保最终全景仍维持原始行列式田间布局，避免“局部对齐但整体弯曲或偏移”的结构畸变。两者通过权重系数α联合构成总目标函数，实验表明α = 2/3时效果最佳。

2.2.4. Optimal seam image fusion guided by the crop mask
考虑到前述对齐主要面向地面主平面，作物因大视差难以完全一致对齐，研究人员将优化重点转向缝合线控制。传统基于颜色差、梯度差和纹理复杂度的最优缝方法容易切穿小麦茎、叶、穗等关键器官，破坏植株完整性。为此，研究人员采用SAM2提取小麦植物掩膜，并将掩膜区域代价项DwheatMask加入缝合能量函数D = D_data + D_smooth + D_wheatMask中。对掩膜区域赋予高权重惩罚λ_mask = 100000，迫使缝线优先绕开作物，仅穿过背景区域。该设计显著改善了拼接后作物形态连续性。

3. Results and Discussion

3.1. Experimental Environment and Model Configuration
实验在高性能服务器上完成，硬件包括Intel(R) Xeon(R) Silver 4210 CPU、4块GeForce RTX 2080 Ti GPU、128 GB内存及4 TB SSD。算法以Python 3.8实现，特征提取采用GIMDKM预训练权重，作物掩膜提取采用SAM2预训练权重。

3.2. Experimental results and discussion

3.2.1. Comparison with representative methods
在主观评价方面，研究人员将NFStitch与GSP、GES-GSP、MegaStitch进行比较。苗期与成熟期示例结果显示，MegaStitch在部分场景中出现严重畸变甚至拼接失败；GSP与GES-GSP虽然在部分情况下维持了苗床结构，但仍存在局部重影、网格扭曲和结构弯曲。相比之下，NFStitch能够更清晰地保持农田几何结构与作物完整性，整体视觉更自然。

在客观评价方面，研究人员首先采用均方根误差（RMSE，root mean square error）衡量匹配点配准误差。22组数据上的结果表明，NFStitch在全部数据集上表现更优，而其他方法则出现不同程度的拼接失败，说明所提方法在对齐精度和稳定性上占优。
其次，研究人员提出基于局部网格面积变化的几何变形均匀性评价，通过均值μ_J与标准差σ_J刻画拼接前后网格面积比的整体尺度变化与局部分布均匀性。结果显示，NFStitch在μ_J接近1.0的同时取得最小σ_J，说明其既能控制整体几何缩放，又能减少局部不均匀形变，更好保持场景中目标原始比例与形状。

在时间效率方面，得益于四参数相似变换约束以及无需复杂网格迭代优化的全局配准流程，NFStitch明显快于GSP与GES-GSP。尽管由于引入深度学习特征匹配，部分数据集拼接耗时略高于MegaStitch，但其在效率与质量之间实现了较佳平衡。

在缝合效果分析方面，传统缝合方法在苗期、拔节期、孕穗期、灌浆期和成熟期均易切穿小麦穗、茎和叶，导致作物形态碎裂。引入掩膜代价后，NFStitch可明显引导缝线绕开植株区域，在保证融合自然性的同时提高作物保护效果。

在掩膜提取与精度验证方面，研究人员随机选取覆盖小麦全生育期的100幅图像，由3名有经验标注者生成真实掩膜，并以交并比（IoU，Intersection over Union）评估SAM2分割效果。结果显示，SAM2平均IoU达到0.8；不同生育期中，苗期为0.93，拔节期0.9，孕穗期0.86，抽穗期0.75，开花期0.74，灌浆期0.72，成熟期0.7，表明即便在低光或成熟期重叠较严重情况下，SAM2仍可较准确识别作物整体轮廓。

在联合有效性分析中，研究人员引入作物切割率（CCR，Crop Cutting Rate）评价缝线穿过作物的程度。传统方法平均CCR高达56.7%，而NFStitch仅为2.3%，从定量上证明了掩膜引导缝合策略在作物形态完整性保护上的显著优势。

3.2.2. Parameter sensitivity analysis
针对平移先验筛选阈值ξ_i、ξ_j，研究人员在30至70像素范围内测试，结果表明50像素在不同生育阶段与采集条件下具有最稳定、最优的综合表现。苗期因裸地较多，30或40像素时局部可获得更低RMSE，但50像素在全局应用中更具工程适应性。
对于局部对齐项与全局轨迹保护项权重α，测试结果显示当α位于0.5至0.8之间时，平均μ_J变化小于5%，说明参数适应性较强；其中α = 2/3时，μ_J最接近1，综合效果最佳。
对于掩膜代价权重λ_mask，研究人员在10³至10⁶范围内分析其影响。当λ_mask < 10⁴时，惩罚不足，缝线仍常穿过作物；当λ_mask > 10⁵时，CCR下降不明显，但缝线会因过度规避细小掩膜误差而出现不自然弯曲。因此，λ_mask = 100000在作物保护与缝线自然性之间达到最佳平衡。

3.2.3. Limitation analysis
研究人员也指出了NFStitch的适用边界。其一，算法依赖具有一定规律的图像采集方式，尤其是平移运动和等距拍摄；若采集过程不满足这些条件，单应矩阵计算精度与稳定性会下降，从而影响拼接效果。其二，随着小麦进入生长后期，植株间重叠和遮挡加剧，在少数作物极度稠密情形下，即便采用基于缝线的保护策略，缝线仍可能穿过作物区域，影响局部完整性。

讨论部分表明，NFStitch的核心优势在于充分利用龙门架平台“已知拍摄轨迹、近似纯平移”的成像先验，将物理采集规律直接嵌入匹配点筛选与全局优化过程中，从而避免了通用拼接算法在近地农业场景中因重复纹理、显著视差和局部形变带来的失稳问题。同时，研究人员将作物完整性这一农业场景特有需求纳入拼接目标，不再仅追求视觉无缝，而是兼顾作物器官保护，为后续表型分析提供了更可靠的图像基础。尽管方法仍受制于规则化采集模式和高密度遮挡场景，但其在几何结构保护、局部融合质量与工程可实施性之间取得了较好平衡。

结论部分可译为：为实现作物生长的精准整体监测，研究人员提出了NFStitch算法，这是一种面向近地农田图像拼接的方法，用于解决近地农田图像拼接过程中作物纹理相似、植株完整性保护以及作物大视差等挑战。通过融合运动先验、空间布局先验约束和语义掩膜信息，该方法实现了大视场、高细节并严格保持作物完整性的农业农田全景图像生成。基于包含22组小麦农田近地图像的数据集的综合实验表明，所提方法在主观视觉评价和客观定量指标上均优于多种代表性拼接算法。在植株目标保护的消融实验中，掩膜引导的拼接算法相较传统缝合融合方法显著降低了作物被误切比例，保护了小麦植株完整性，并验证了所提方法的有效性。