基于Qwen 2.5-3B-Instruct模型与GRPO及LoRA技术的二进制垃圾信息检测

《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》：Binary Spam Detection Using GRPO and LoRA on Qwen 2.5-3B-Instruct

　　

摘要

本文提出了一种新的二分类邮件分类方法（垃圾邮件与正常邮件），通过使用群相对策略优化技术对Qwen 2.5-3B-Instruct生成式语言模型进行微调。针对传统微调方法的局限性——它们往往会产生冗长、多句的输出，且对提示词的变化极为敏感，仅依靠提示词设计无法可靠地得到仅包含标签的预测结果——我们结合群相对策略优化与低秩适配技术，优化模型以实现简洁准确的分类。这是首次探索在分类任务中应用群相对策略优化技术，为多个学术领域带来了创新方法。实验使用了四种不同的数据集，包括不平衡数据集和平衡数据集。经过群相对策略优化改进后的模型性能有了显著提升。在SpamClassify数据集上，其准确率可达94.17%，F1分数为79.50%；在SpamDetection数据集上，准确率为93.94%，F1分数为93.91%；在LingSpam数据集上，准确率为96.55%，F1分数为89.47%；在SpamAssassin数据集上，准确率为80.60%，F1分数为77.99%。这些结果表明，与未采用群相对策略优化的基础Qwen 2.5-3B-Instruct模型相比，该模型在所有测试数据集上的性能都有显著提升。此外，该模型在单字响应方面的准确率始终很高（在所有数据集上均超过96%），这表明生成式大型语言模型被有效限制为分类器而非冗长的文本生成器，且相比无限制的生成式方法，推理效率提升了约40%。群相对策略优化后的模型推理延迟降低了77.42%，处理速度提升了338.89%，因此更适用于实时处理和资源受限的分类系统。在性能、效率与模型规模之间的权衡体现了群相对策略优化技术在将生成式大型语言模型应用于分类任务方面的有效性，它为改进垃圾邮件过滤系统提供了可靠的方法，同时也为其他低延迟文本分类任务，如情感分析，提供了有前景的解决方案。