《Smart Agricultural Technology》:An Integrated Computer Vision and RAG-Based Decision Support System for Stage-Specific Environmental Control in Strawberry Greenhouses
编辑推荐:
草莓是具有重要经济价值的主要园艺作物。然而,由于其对环境变化敏感且具有分阶段特定需求,其栽培具有挑战性。本研究提出一种用于草莓温室的智能环境控制决策支持系统,其中集成了实时生长阶段识别与基于知识的控制指导。构建了包含1307张生长阶段特异性草莓图像的数据集用于
草莓是具有重要经济价值的主要园艺作物。然而,由于其对环境变化敏感且具有分阶段特定需求,其栽培具有挑战性。本研究提出一种用于草莓温室的智能环境控制决策支持系统,其中集成了实时生长阶段识别与基于知识的控制指导。构建了包含1307张生长阶段特异性草莓图像的数据集用于模型开发。基于YOLOv11目标检测的分类系统达到了92.17%的准确率,优于传统的基于分类的模型。此外,设计了一个检索增强生成(RAG)系统以实现基于草莓栽培手册和控制器手册的检索,提供最佳温度条件、定制化栽培建议以及分阶段特定的控制器操作指导。该系统表现出较高的推理性能,在使用GPT-4o-mini作为底层大语言模型(LLM)时,在栽培建议生成方面取得了0.80、0.79和0.97的RAGAS分数,在控制器操作指南生成方面取得了0.80的指令完整性(IC)分数。开发了一个基于Web的界面以实现在真实温室环境中的部署。通过计算机视觉与基于语言的决策支持的有效集成,所提出的系统为草莓温室的分阶段栽培指导和控制器操作提供了一个实用框架。
该研究发表于《Smart Agricultural Technology》。现代农业生产正向智能温室等受控环境栽培模式转型,以应对气候变化导致的不稳定生长条件。草莓(Fragaria × ananassa)作为全球重要高经济价值园艺作物,其糖度、淀粉及总碳水化合物积累与果实产量高度依赖最优环境条件维持,而不同生长阶段对温度的优化需求存在差异,如营养生长期日间约30°C、夜间12°C–15°C,果实发育期日间约25°C、夜间6°C–8°C且需显著昼夜温差。现有生长阶段分类研究多聚焦果实成熟度,缺乏营养生长和花芽萌发阶段研究,且分类过程解释性差,难以转化为实用栽培建议;现有智能温室环境控制器界面复杂、参数设置繁琐,对从业者尤其老龄化农业人口使用门槛高;传统决策支持系统(Decision Support System, DSS)依赖专家知识选模与参数设置,日常决策应用障碍显著;近期大语言模型(Large Language Model, LLM)与多模态人工智能(Artificial Intelligence, AI)农业研究多聚焦病害诊断而非全周期综合管理,缺乏从幼苗到收获的连续分阶段集成决策支持。为此,研究人员开展集成高精度草莓生长阶段分类与基于知识的决策支持框架的温室管理系统研究,以实现全栽培周期监测管理,该系统通过计算机视觉与RAG/LLM基决策支持框架将生长阶段识别直接关联环境控制指导,实现从感知到可执行环境决策的转化,在田间温室部署验证中可有效维持各阶段目标温区并联动执行设备,为智能温室分阶段精准管理提供实用集成框架。
研究人员采用几个主要关键技术方法:图像数据来源于2024年9月23日至2025年1月16日韩国Kyung Hee大学园艺研究温室(270张)与AI-Hub公共数据集(1037张),共1307张涵盖5个生长阶段草莓图像,独立测试集253张;文本数据来源于韩国农村发展厅与忠南农业技术院雪香草莓栽培手册及NEO1000环境控制器手册,后者经PyPDF2提取与GPT-4o视觉解析为JSON结构化数据并构建意图映射文件;生长阶段分类采用基于检测的YOLOv8-L与YOLOv11-L模型,定义花芽、花、落花、未熟果、熟果5类器官并标注,通过分层算法映射5阶段(S1营养生长至S5采收),对比ResNet50、InceptionV3、DenseNet、EfficientNetV2四类分类模型,均基于ImageNet预训练权重训练100轮;决策支持采用检索增强生成(Retrieval-Augmented Generation, RAG)架构,栽培手册分段嵌入为向量库,控制器手册存结构化JSON,双路径分别生成栽培建议与目标温度及控制器操作指南,提示工程定义三类模板,大语言模型(LLM)选用GPT-4o-mini、Claude-3.7-Sonnet、Llama-3.1-8B并以RAGAS框架评估faithfulness(FF)、answer relevancy(AR)、context precision(CP)及指令完整性(Instruction Completeness, IC);系统以React与FastAPI构建Web平台,部署于LattePanda Alpha边缘计算模块与HU205 V2.0+相机实地运行。
研究结果如下:
3.1. Detection-based Model Training Results:评估基于检测模型性能显示YOLOv11在草莓器官检测具显著优势,YOLOv11花芽检测mAP50达0.773,较YOLOv8提升45.8%,花开与熟果检测二者相当,YOLOv8在未熟果检测略优但YOLOv11各类别检测能力一致。
3.2. Growth-stage Classification Results:3.2.1. Comparison of Classification Accuracy:YOLOv11准确率达92.17±1.82%,YOLOv8为90.51±1.77%,最优分类模型EfficientNetV2为80.87±2.38%,YOLOv11与EfficientNetV2准确率差11.3个百分点具统计显著性(p=0.003),Kappa分别为0.8865±0.0265与0.0.7274±0.0352(p=0.003),检测基方法优于分类基方法。3.2.2. Per-Stage Performance Analysis:混淆矩阵显示两类模型S1对角值最高(0.97与0.99),S2最低(0.44与0.51),EfficientNetV2将53% S2判为S1,YOLOv11分散判为S1(20%)与S3(29%);YOLOv11在S3与S4对角值达0.95与0.96,优于EfficientNetV2的0.65与0.73;S2为所有模型最弱阶段,召回率0.44–0.56,检测模型S2精度更高(YOLOv11为0.98),S3与S4的F1-score YOLOv11(0.83)远超EfficientNetV2(0.58)。
3.3. RAG-based Decision Support Results:3.3.1. Comparison of Model Performance:栽培助手模型中GPT-4o-mini表现最优,FF为0.80、AR为0.79、CP为0.97;控制助手模型评估显示各模型IC均≥0.75,Claude-3.7-Sonnet CP达0.72、IC为0.88,Llama-3.1-8B AR最高0.80,GPT-4o-mini IC为0.80、CP为0.32,最终选用GPT-4o-mini兼顾栽培任务最优与控制任务竞争表现及约束检索空间下IC更直接反映操作充分性。3.3.2. Growth-stage-based Target Temperature and Cultivation Advice:系统依检测器官与阶段生成对应温区与建议,S1无生殖器官推荐昼30°C夜13.5°C,S2单花芽昼26.5°C夜10°C,S3一朵花昼25°C夜10°C,S4五未熟果昼25°C夜7°C,S5三未熟一熟果昼25°C夜6.5°C,夜间温度随阶段推进逐步降低。3.3.3. Controller Operation Guide:指南将目标温度转为可执行步骤,区分昼(08:00–20:00)夜(20:00–08:00)周期,利用控制器6时段剖面设00:00、04:00、08:00、12:00、16:00、20:00精确值(如S1为13.5°C、19.0°C、24.5°C、30.0°C、24.5°C、19.0°C),按菜单导航→周期激活与起始时间→目标温度设置→保存验证序列生成步骤,附核查清单减误。
3.4. Online Platform for Strawberry Cultivation:3.4.1. System Integration:系统以React前端与FastAPI后端实现Web平台,YOLOv11处理上传图像识别器官与阶段,输入RAG生成建议与温度并转为控制器指令,模块化API集成各组件便于维护扩展。3.4.2. Greenhouse Deployment:系统在Kyung Hee大学研究温室部署,YOLOv11识别与GPT-4o-mini生成建议,2025年10月6日至14日监测显示营养生长期室内昼近30°C夜13.5°C目标区间稳定,侧窗、顶窗与帘幕依温自动调节,系统在真实环境按设计运行。
讨论部分总结:准确生长阶段判定与分阶段环境调整是智能温室作物生理理解与管理的核心,草莓各阶段温度需求明确且对环境敏感,需精准监测与决策支持;现有研究多聚焦成熟度或病害诊断,传统决策支持系统使用门槛高,缺乏全周期实时识别与各阶段管理指南系统。对象检测法分类准确率达92.17%,较最优分类模型高11.3个百分点,因检测法定位专家判据的生殖器官而非分类法从整体特征推断,YOLOv11通过C3k2与C2PSA块增强空间注意力提升小花芽检测(mAP50 0.773 vs YOLOv8 0.530),Grad-CAM显示CNN高激活区与器官对应,检测法符合专家推理具更高准确与可解释性。RAG框架克服单任务局限,集成生长阶段栽培管理与环境控制,栽培手册向量化与控制器手册结构化JSON配对提示生成双输出,定义IC量化步骤遗漏,强调未来农业AI系统多维评估;现有RAG农业应用多单任务或仅管理某方面,本系统以视觉感知为入口依RGB图像识别阶段 conditioning检索生成,输出含按钮级操作序列,耦合视觉识别与双手册检索从文本决策辅助走向感知到执行工作流。系统集成预训练YOLO、API基LLM、低成本相机与紧凑PC于温室,模块化架构易维护更新,补单用途系统之不足助智能农作落地。局限在于S2阶段所有模型表现低(对角0.44–0.51),源于冠部花芽遮挡、光照异质与S2样本少尺度小,YOLOv11有29% S2判S3系半开或逆光难分晚花芽与早花;未来需冠部多视角、控光采集与S2重平衡,引入多光谱与视觉语言模型(Vision-Language Model, VLM)提升小早期器官识别;知识管理端手册更新需多模态信息抽取处理异构文档,控制助手现配单一控制器映射未来扩更多型号,目标温度线性插值六时段可扩农艺优化设定,现场验证仅单点营养期无全周期与商业环境对照及与草莓专用检测器头对头基准,LLM控制助手优于基于规则生成器未消融验证,未来需全物候周期跨商业温室综合验证效用与经济效益。
结论部分翻译:研究人员开发了一种集成智能温室系统,用于草莓生长阶段自动识别与栽培管理支持。基于目标检测的方法实现了92.17%的分类准确率,较基于分类的模型提升约11.3个百分点。集成的检索增强生成(RAG)技术以GPT-4o-mini作为底层大语言模型(LLM)部署,提供分阶段特定栽培建议、温度推荐与控制器操作指南,栽培建议的上下文精度(Context Precision, CP)得分达0.97,控制器操作指南的指令完整性(Instruction Completeness, IC)得分为0.80。本研究主要贡献如下:(1)通过基于检测的直接器官识别提升生长阶段分类性能,能以比传统基于分类方法更高的可解释性识别五个不同生长阶段。(2)通过基于RAG的知识检索有效集成栽培与控制器手册,提供分阶段特定环境建议与温室控制器实用操作指令。(3)通过具标准化接口的基于Web平台实际实现,包括在温室环境中部署与初步验证。局限性包括因在公共留出集而非部署温室评估导致泛化性受限、缺乏与草莓专用检测器的头对头基准以及在早期生长阶段检测不佳。未来工作将聚焦于扩展数据多样性、实施视觉语言模型(Vision-Language Model, VLM)以改善检测,并在完整生长周期跨越各类温室环境开展全面现场验证。
需要我帮你把这篇论文解读里的关键专业术语(如RAGAS、mAP50、C3k2等)整理成一个带简要解释的术语表吗?