编辑推荐:
针对水产养殖病害文本术语密集、症状多样、疾病进展复杂,传统分类方法存在的问题,研究人员开展深度学习与大模型微调结合(TABEM)的研究。实验表明,该方法 F1得分达 98.75%,微调 ChatGLM4-9B 多项指标出色,为病害预警和诊断知识库建设提供支持。
水产养殖病害文本具有专业术语使用密集、症状描述多样以及疾病进展阶段复杂等特点。传统的分类方法在处理这类文本时,往往会出现特征提取不完整和领域知识利用不充分的情况。本研究提出了一种将深度学习与大模型微调相结合的混合方法(TABEM)。
该方法运用增强的深度学习模型进行初步的文本分类,并融入动态自适应多头注意力(DAMHA)机制,有效减少长序列文本中语义信息的丢失。此外,还集成了特征融合模块,进一步提升模型解读复杂文本的能力。当出现错误结果时,会使用大语言模型进行纠正,并构建针对该模型的微调数据集。通过低秩适应(LoRA)技术对 ChatGLM4-9B 进行微调,优化其在水产养殖领域的性能。
实验结果显示,通过特征融合模块和 DAMHA 机制的协同作用,该模型的 F1得分达到 98.75%,超越了其他对比模型。经过微调的 ChatGLM4-9B 在 BLEU-4、ROUGE-1、ROUGE-2 和 ROUGE-L 等指标上表现优异,得分分别为 99.52、99.23、99.24 和 99.46,展现出卓越的文本分类准确率。TABEM 显著增强了对水产养殖病害文本的细粒度分类能力,为早期病害预警和精准诊断知识库的开发提供了关键的技术支持。