基于语义映射驱动时序颜色一致性校正的时间序列生菜鲜重监测——以设施农业生菜为例

《Smart Agricultural Technology》：Semantic mapping-driven temporal color consistency correction: A case study on lettuce fresh weight monitoring

　　

波动的光照环境严重降低时间序列图像数据集的颜色一致性，阻碍准确的表型颜色表征并损害检测精度。现有光环境控制方案要么成本过高，要么不适合设施农业场景。本研究提出一种高效的、基于语义映射的颜色传递算法用于设施农业，以改善生菜鲜重非破坏性检测效果。该方法采用RoMa（Robust Dense Feature Matching，鲁棒稠密特征匹配）建立跨帧语义对应关系，随后应用多百分位数平均策略提取稳定颜色参考特征。接着应用全局线性变换将待校正帧颜色与参考帧对齐。同时引入历史偏移量加权继承(Historical Offset Weighted Inheritance)机制实现图像序列间的平滑一致性校正，同时保留目标结构与背景的信息完整性。实验结果表明，校正后作物时序图像的颜色标准差(Coefficient of Variation, CV)和变异系数显著从7.542和0.100降至4.980和0.077。在生菜生物量估算任务中，颜色补偿过程抑制了时序图像中的颜色噪声波动，增强了颜色特征与鲜重的相关性，从而普遍提升了各类回归模型的性能。该方法无需依赖标准色卡等硬件辅助即可有效抑制环境光干扰并提升数据可靠性，为非破坏性生菜重量感知提供了高质量数据基础，并为智慧农业中部署轻量化表型设备提供了前景。

论文解读：语义映射驱动时序颜色一致性校正及其在生菜鲜重监测中的应用

一、研究背景与意义

现代生菜育种依赖高精度植物表型分析(Plant Phenotyping)量化生长速率、产量潜力及抗逆性等复杂性状，其中鲜重(Fresh Weight)与多项生理指标耦合，其反演精度可稳健评价其他表型性状检测精度。然而设施农业（如日光温室）中环境光波动严重损害非破坏性传感的数据保真度，此问题在低本传感器部署时尤为突出。动态光照变化产生明显颜色失真，削弱基于特征的模型鲁棒性与预测精度。现有硬件解决方案（暗箱、环境光传感器、标定时辅以标准色卡）存在成本高、难适配温室局部遮阴、依赖有限传感器输入等问题。软件层面的统计颜色映射（全局Lab颜色空间传递、直方图匹配）会破坏源图像固有分布，削弱颜色与鲜重等生理参数的相关性。因此，研究人员开展本研究，提出基于语义映射(Semantic Mapping)的时序颜色特征传递方法，通过算法补偿抑制温室波动光引起的颜色失真，以提升生菜生物量监测精度。该论文发表于《Smart Agricultural Technology》。

二、主要关键技术方法

研究人员于2024年8月在江苏大学试验玻璃温室内采集皱叶生菜水培图像共290帧（Orbbec Gemini 336 L彩色相机，1280×720像素，顶视约100cm，自动曝光，自然光，叠加[-10,10]随机噪声模拟短期波动；验证集含101株生菜911个人工标注轮廓，按图像层级5折交叉验证划分）。关键技术方法包括：(1)基于RoMa-Tiny(RoMa)稠密特征匹配建立相邻帧像素级语义对应，经RANSAC估计单应矩阵剔除误匹配；(2)结合位姿掩码(Pose Mask)与超绿(Excess Green, ExG=2G-R-B)植被指数语义掩码锁定重叠区域作物目标，构建鲁棒颜色参考区，取对应像素30^th、50^th、70^th百分位数均值作为稳定颜色中心(Robust Color Center)；(3)线性颜色偏移补偿(Linear Color Offset Compensation)：计算当前帧与参考帧颜色中心差Δ_n=μ_n-μ_ref，引入历史递归融合得到平滑偏移Δ'_n=(1-ω)·Δ_n+ω·Δ_n-1（ω为历史继承权重），最终校正图像I'=I+(1-α)·Δ'_n（α为颜色传递抑制系数(Color Transfer Suppression Coefficient)防止过校正）；(4)红晕影(Red Vignetting)识别：将当前帧与第一帧转换至CIE Lab*颜色空间，计算各通道均值比τ=μ_n,c/μ_1,c(c∈L,a,b)，若|1-τ|>阈值t（设为0.05）则判定为异常帧予以剔除(Auto Gating)。生菜鲜重回归采用多元非线性回归(Multiple Non-linear Regression, MNLR)及AdaBoost、Bagging、决策树(Decision Tree)、Extra Trees、梯度提升(Gradient Boosting)、K近邻(K-Neighbors)、随机森林(Random Forest)、支持向量回归(Support Vector Regression, SVR)、多层感知机(Multi-Layer Perceptron, MLP)、极端梯度提升(eXtreme Gradient Boosting, XGBoost)共10种模型，输入特征为R/G/B通道均值、株高h、投影面积A_rea，以预测精度(Prediction Accuracy, Acc)、均方根误差(Root Mean Squared Error, RMSE)、平均绝对误差(Mean Absolute Error, MAE)、调整决定系数(Adjusted R², R²_Adjust)评估，并用SHAP(SHapley Additive exPlanations)值分析特征贡献及Wilcoxon符号秩检验验证显著性。

三、研究结果

3.1. Temporal color compensation and red vignetting recognition results（时序颜色补偿与红晕影识别结果）

研究人员对比不同抑制系数α与继承系数ω下补偿图像及原图，发现α=0.3可有效缓解无抑制(α=0,ω=0)导致的过补偿亮度逐帧下降，ω=0.3可平滑短时光照抖动引起帧间亮度跳变。对同一生菜植株跨帧颜色统计表明，未处理原始数据颜色标准差(Std)为7.542、变异系数(CV)为0.100；经所提方法补偿(α=0.5, ω=0.3, 自动剔除异常帧)后降至Std=4.980、CV=0.077，颜色一致性显著提升。红晕影门控机制在Lab空间a*通道比值突变处灵敏检测，设定Δ_Lab阈值t=0.05（兼顾零漏检优先于过检）时，自动剔除与人工标注高度吻合（TP=22, FN=2为过曝帧仍可分析），证明该统计比较法适用于在线预处理。

3.2. Lettuce fresh weight regression model performance（生菜鲜重回归模型性能）

颜色特征与鲜重Pearson相关系数R在未处理组平均为-0.179，补偿+自动剔除组升至-0.386，证实算法提升颜色特征信噪比(Signal-to-Noise Ratio, SNR)。MNLR模型中加入RGB颜色特征使Acc从86.629%升至89.466%。参数优选显示α=0.5, ω=0.3时R²_Adjust最高达0.895；α=0.3, ω=0.3时Acc最高达91.229%；无继承机制(α=0)性能明显下降。对10种回归模型5折交叉验证表明，补偿后数据集普遍降低RMSE与MAE、提升R²_Adjust与Acc；Extra Trees模型补偿后达R²_Adjust=0.989、Acc=98.338%、RMSE=0.898g、MAE=0.375g。AdaBoost与多层感知机(MLP)获益最显著(p<0.05 Wilcoxon检验)，鲁棒集成模型(Random Forest等)因本身抗噪未见统计显著变化，SVR对各颜色通道SHAP值为0故不受补偿影响。SHAP分析显示补偿后颜色通道（尤其C_G在Gradient Boosting中SHAP值由0.136升至0.342）特征贡献度提升，说明算法使模型更好捕捉叶色与生物量积累的生物学关联。

3.3. Algorithm efficiency（算法效率）

在AMD 8845HS+32GB平台纯CPU运行，RoMa默认采样点5000时单帧耗时0.282s（稠密匹配占90.4%）；降至2900采样点时耗时0.161s（降42.9%），单应矩阵投影误差均值0.549像素、RMSE 0.641像素，匹配质量可接受。未启用GPU加速，后续可通过INT8量化与算子剪枝在边缘端进一步加速。

四、讨论与结论

讨论部分指出：(1)生菜鲜重估算依赖多参数，颜色反映营养与水分等生理状态，是生物量间接但重要指标；小样本平均鲜重24.8g放大了相对误差，MAE 2.183g即占8.8%，印证高精度估算难度。(2)算法通过位姿+作物双约束掩码解耦背景、利用作物高时域连续性作自然光谱基线，仅要求帧间重叠与基本作物像素，具跨品种/生长期/栽培环境迁移潜力。(3)与传统统计映射比，全局颜色传递和直方图匹配使颜色-鲜重平均相关系数分别降至-0.261和-0.198，MNLR及各模型R²_Adjust与Acc均下降（如MLP的R²_Adjust从0.751降至0.367），因统计映射消除编码生理差异的细微颜色差别，而语义映射保留同种语义对象自身特征。(4)红晕影由光学横向色差、IR-cut滤除不足及微透镜在斜入射下效率降低共同导致，表现为突发明亮帧后多帧边缘发红失真。(5)局限含超参依当前数据集、未来拟研自适应参数策略、嵌入式部署验证及其他叶菜/表型性状拓展。

结论(Conclusion)翻译浓缩：

针对设施农业复杂光照环境与轻量传感器成像特性，本研究提出一种基于语义映射的高效颜色传递算法。利用RoMa算法构建跨帧语义对应，采用多百分位数鲁棒采样策略生成稳定颜色参考，通过全局线性变换对齐目标与参考帧颜色，并引入历史偏移量加权继承机制保证时序平滑一致性且保留目标结构与背景信息。实验证明该方法提升时序图像中作物的颜色一致性——颜色补偿减小了序列图像内同种作物的颜色差异，增强了作物颜色特征与鲜重的相关性，且补偿后数据集普遍提升各类回归模型预测性能，对噪声敏感架构效果更显著。研究表明基于时序图像的作物颜色一致性补偿可有较抑制颜色属性噪声、提升数据质量。本研究通过创新算法设计在不依赖额外硬件前提下有效减轻环境光变化干扰，增强图像数据时序一致性和可靠性，为生菜鲜重非破坏性监测提供高质量数据基础，并为开发轻量化表型监测系统、推进智慧农业奠定坚实基础。