基于幻觉缓解的多模态提示微调技术在大豆早期栽培智能决策中的应用研究

本文提出了一种创新的多模态提示微调方法（MLLMs），通过整合文本提示（context-aware prompt）和视觉提示（FG-SoyNet），有效缓解多模态大语言模型在农业决策中的幻觉现象（hallucination rate降低54.17%），为大豆早期生长阶段（VE-V6）的水培、杂草控制和害虫管理提供精准决策支持。

　　

Highlight
多模态大语言模型(MLLMs)与幻觉缓解
近期MLLMs的突破性进展（如GPT-4o-mini和InternVL2）通过跨模态注意力机制，将作物表型组学（phenotyping）与土壤报告等文本数据动态对齐。但在大豆管理决策中仍存在三类典型幻觉：事实性错误（如推荐对大豆幼苗有毒性的氨基甲酸酯类杀虫剂）、情境错配（如在干旱敏感期VE-V2阶段错误建议V4期追氮肥）、逻辑矛盾（如高密度种植与深耕措施并存建议）。

大豆数据集
数据采集自安徽农业大学农业传感器重点实验室，包含18m²温室内控条件（温度10-40°C，湿度55-90% RH，光强300μmol/m²·s）和田间种植场景。通过FG-SoyNet模型提取大豆空间形态特征，建立生长阶段与农艺措施的映射关系。

实验与结果
在NVIDIA RTX 4090平台测试表明：上下文感知提示使开源模型InternVL2在除草剂推荐准确率提升37.2%，视觉提示将早期生长阶段（VE-V3）识别误差降低至<5%。多模态协作策略显著减少"建议40株/m²密植同时每周深耕"等逻辑矛盾案例。

讨论
本研究开创性地将链式思考（CoT）机制融入农业决策流程，使MLLMs能像经验丰富的农艺师那样，综合考虑根系发育、生物量分配等动态因素。特别值得注意的是，视觉-文本交叉验证机制成功将铁缺乏萎黄症（IDC）与除草剂药害的误判率从28.7%降至6.3%。

Conclusion
该多模态提示微调框架为农业大模型落地提供了可复用的技术路径，在不增加训练成本的前提下，使开源模型达到闭源模型（如GPT-4系列）的决策水平。未来可扩展至玉米、小麦等主粮作物的全生育期智能管理。