基于图像多特征融合与ResTNet模型的猕猴桃品质分级新方法

本文创新性地提出结合图像多特征融合（HSV/YIQ色彩空间S/Y分量、RGB颜色矩、LBP纹理）与新型混合神经网络ResTNet的猕猴桃品质分级方法。通过优化特征提取（缺陷区域阈值分割、Hu矩形状量化）与模型架构（融合ResNet残差连接与ViT注意力机制），实现99%的分类准确率，显著优于传统机器学习（SVM/RF等）及主流深度学习模型（ResNet50/ViT-B/16），为水果采后智能分选提供技术突破。

　　

Highlight

我们的贡献

本研究针对"翠香"猕猴桃提出基于图像多特征融合与神经网络的自动分级方法。创新点包括：(1) 提出新型多特征提取方案：对比RGB/HSV/YIQ色彩空间后，采用S分量（HSV）与Y分量（YIQ）的二进制图像位或运算优化分割效果，结合形态学处理显著提升前景提取精度。在此基础上，通过HSV-S颜色矩、等效模式LBP（Local Binary Pattern）直方图、Hu矩（面积/周长/长短轴）及缺陷区域阈值分割实现颜色、纹理、形状、缺陷四类特征提取。(2) 设计多特征融合分类策略：通过置换重要性（Permutation Importance）分析发现四类特征互补性强（相关系数低），进而为SVM/RF/DT/LR/NB/KNN六种机器学习模型定制最优特征组合，其中逻辑回归（LR）表现最佳。(3) 构建混合模型ResTNet：融合ResNet50前半部分（将7×7卷积拆分为双3×3）与ViT-B/16后半部分（合并全连接层），采用ReLU激活函数。实验表明其分级准确率（>99%）超越ResNet50/ViT-B/16，与SOTA模型相当，且具有最佳可解释性。

Materials

"翠香"猕猴桃（原代号"西猕9号"）选自秦岭野生种质，以果肉细腻、耐储运著称。实验数据集包含多角度采集的猕猴桃图像，通过专业分级师标注质量等级（具体数据已开源）。

Experiment setting and evaluation indicators

硬件配置为Core? i7-7700 CPU与NVIDIA RTX 2080 GPU，采用Python 3.12.7+Pytorch 2.6.0框架。按8:2划分训练集/验证集，以准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1值（F1-score）作为核心评估指标。

Conclusion and future work

当前基于灰度分割的方法存在局限性，而多色彩通道融合显著改善分割效果。未来将探索三维形态特征与近红外光谱的融合，并优化ResTNet在移动端的部署效率。

Data

完整数据集与人工评级结果已上传至GitHub仓库。