《Journal of Food Composition and Analysis》:SHT-CNv2: An enhanced ConvNeXtV2 framework for fine-grained defect classification of hickory kernels
编辑推荐:
准确的山核桃仁检测对于质量分级与食品安全至关重要,然而人工分选具有主观性且在高通量生产中难以持续。细粒度缺陷分类仍然具有挑战性,因为视觉上相似的类别往往仅在细微纹理或颜色线索上存在差异,而缺陷区域在尺度和形态上变化显著。为解决这些问题,研究人员提出了SHT-C
准确的山核桃仁检测对于质量分级与食品安全至关重要,然而人工分选具有主观性且在高通量生产中难以持续。细粒度缺陷分类仍然具有挑战性,因为视觉上相似的类别往往仅在细微纹理或颜色线索上存在差异,而缺陷区域在尺度和形态上变化显著。为解决这些问题,研究人员提出了SHT-CNv2,一种面向工业山核桃仁缺陷分类的增强型ConvNeXtV2框架。该模型集成了挤压激励(Squeeze-and-Excitation,SE)注意力以进行通道级特征重标定,动态卷积(Dynamic Convolution)以对不规则缺陷进行输入自适应表征,以及基于路径聚合网络(Path Aggregation Network,PANet)的多尺度融合头以结合浅层纹理细节与深层语义信息。研究人员在工业成像条件下构建了一个包含14,400张图像的六分类数据集。SHT-CNv2取得了98.72%的测试准确率与宏F1(macro-F1)值,推理速度为133.62 FPS(Frames Per Second),优于代表性的基于CNN、基于Transformer、混合注意力及轻量级架构。消融研究与混淆矩阵分析证实了性能提升,同时梯度加权的类激活映射(Gradient-weighted Class Activation Mapping,Grad-CAM)与t分布随机邻域嵌入(t-Distributed Stochastic Neighbor Embedding,t-SNE)可视化展示了改进的缺陷定位与类别可分性。这些结果证明了SHT-CNv2在准确、高效且实时的山核桃仁分选中具有潜力。
该研究发表于《Journal of Food Composition and Analysis》。研究背景方面,中国山核桃仁在经济上具有重要地位,但在采收、脱壳、运输与储存过程中易产生表面斑点、皱缩、异常变色、霉变污染及壳残留等质量缺陷,这不仅降低商品等级与消费者接受度,还可能带来食品安全风险。目前工业加工中的缺陷检测仍主要依赖人工分选,该方法劳动密集、主观性强且在连续高通量生产下难以维持稳定,因此开发自动、准确且稳定的基于视觉的检测方法对智能化山核桃仁分选具有重要实际意义。机器视觉结合深度学习已成为农食产品质量评估与缺陷识别的有效手段,但山核桃仁的细粒度缺陷分类仍具挑战性,不同缺陷类别常表现出高度相似的色调与表面纹理,且缺陷区域在大小、形状与位置上差异显著,常规单尺度特征提取可能在层级传播中削弱细微局部线索导致相似类别混淆。研究人员基于此开展了面向工业成像条件的增强型ConvNeXtV2框架SHT-CNv2的研究,得出该框架在准确率、宏F1值与推理速度上均优于多种代表性架构的结论,其通过集成SE注意力、动态卷积与PANet多尺度融合提升了细粒度特征判别能力、缺陷定位与类别可分性,对工业实时分选具有重要意义。
作者为开展研究用到的主要关键技术方法包括:样本来源于中国浙江省杭州市临安区清凉峰镇的中国山核桃仁,由三位专家基于表面完整性、颜色异常、皱缩、霉变黑化及壳残留进行视觉评估与共识标注,分为正常仁、斑点仁、皱缩仁、深色仁、霉黑仁与带壳仁六类,共采集14,400张图像且每类2,400张,按3比1比1划分为训练集、验证集与测试集;采用MER-500-14GC工业相机与环形漫射光源的自建机器视觉系统采集图像,分辨率为2592×1944,采集时随机调整放置角度以模拟实际工况;以ConvNeXtV2为基线骨干,在其每个块的深度卷积后插入SE模块,在Stage 3与Stage 4引入动态深度卷积(K=4个专家核),采用PANet对Backbone Stage 2、Stage 3、Stage 4输出进行自顶向下与自底向上多尺度融合并辅以全局SE与分类头;训练采用两阶段优化,前5轮冻结主干前部,后解冻全参数联合微调,使用AdamW优化器与余弦学习率调度,输入尺寸224×224,批次32,训练30轮,采用Mixup与Random Erasing等在线增强,测试时采用水平翻转平均概率,在Intel Core i7-12700F与NVIDIA GeForce RTX 3070环境下以PyTorch自动混合精度测量推理速度;对比模型包括ResNet-50、EfficientNet、ConvNeXt、EfficientNetV2、Swin Transformer-T、MaxViT-Tiny、RepViT-M1.5、YOLO11s-cls与ConvNeXtV2,通过测试准确率、宏F1、参数量(Params)、浮点运算数(FLOPs)、推理速度及混淆矩阵、Grad-CAM、t-SNE进行评估,部分模型以五随机种子重复实验报告均值±标准差。
研究结果部分保留小标题并简述如下:
3.1. Comparison with representative methods 研究人员通过在相同条件下与多种代表性及近期图像分类模型对比,发现RepViT-M1.5与EfficientNet的宏F1较低,分别为91.04%与92.77%,EfficientNetV2、ConvNeXt、MaxViT-Tiny、ResNet-50依次为95.59%、95.62%、96.23%、96.49%,基线ConvNeXtV2为97.23%,Swin Transformer-T为98.51%,而SHT-CNv2达到最高的98.72%;五随机种子下SHT-CNv2宏F1为98.70±0.05%,高于Swin Transformer-T的98.47±0.08%与ConvNeXtV2的97.21±0.11%;类别级F1显示SHT-CNv2在斑点仁、皱缩仁、深色仁与正常仁等视觉相似类别上提升更明显,表明集成SE、动态卷积与PANet有效增强了细粒度判别并减少混淆。
3.2. Accuracy–efficiency and stability comparison among model variants 研究人员对比各ConvNeXtV2变体的验证准确率、宏F1、复杂度与推理速度,基线ConvNeXtV2为27.87 M参数、4.45 G FLOPs、177.93 FPS、验证准确率97.22±0.10%;加入SE后准确率升至97.64%且复杂度几乎不变;单独加入DynamicConv升至97.89%;ConvNeXtV2+PANet达98.16%,ConvNeXtV2+PANet+DynamicConv达98.31%,ConvNeXtV2+SE+PANet达98.44%,完整SHT-CNv2达98.72±0.05%,推理速度133.62 FPS;SHT-CNv2在准确率、稳定性与可接受复杂度间取得较优平衡,满足实时或近实时工业分选需求。
3.3. Ablation analysis of SE attention, PANet, and DynamicConv 研究人员从基线开始逐步引入组件,SE将准确率从97.22%提至97.64%,DynamicConv单独提至97.89%,PANet替换原生头提至98.16%,PANet+DynamicConv提至98.31%,SE+PANet提至98.44%且略优于SE+FPN的98.33%,完整SHT-CNv2达98.72%;结果表明性能提升来自SE通道重标定、PANet多尺度融合与DynamicConv自适应卷积的互补效应,而非单一修改,且SHT-CNv2在重复实验中均值最高、标准差最小,可靠性更好。
3.4. Fine-grained class-wise and visual attention analysis 研究人员计算测试集每类精确率、召回率、F1与支持数并分析混淆矩阵,六类各480样本,带壳仁精确率、召回率、F1均为1.0000,霉黑仁为0.9979、0.9917、0.9948,深色仁F1最低为0.9739;基线ConvNeXtV2在斑点仁与深色仁、皱缩仁与深色仁、正常仁与深色仁间混淆较高,SHT-CNv2显著减少此类误分类;Grad-CAM显示基线激活局部或分散,SE更集中于缺陷纹理,PANet覆盖更广结构与多尺度线索,SHT-CNv2生成更完整且与语义一致的激活图,预测置信度普遍提升,并在不同阶段融合层对正常、斑点、皱缩、深色、霉黑、带壳区域产生对应响应,表明模型学到类别相关视觉线索。
3.5. Feature distribution visualization and interpretability 研究人员采用t-SNE将高维特征投影至二维,基线ConvNeXtV2形成可区分但较分散的簇且近邻类别有样本靠近,SE使类内分布更紧凑,PANet扩大类间间隔,SHT-CNv2产生最紧凑类内簇与最清晰类间分离且相似类别混合样本更少;对SHT-CNv2内部各阶段特征进行t-SNE,Backbone Stage 2主要保留浅层纹理与局部外观但有部分重叠,Stage 4具更强语义判别但部分细粒度细节减弱,最终融合层集成Stage 2、3、4多尺度特征后聚类更清晰、重叠减少,表明PANet融合头有效结合浅层细节与深层语义,提升类内紧凑性与类间可分性;Grad-CAM与t-SNE共同验证模型能识别细微差异并减少相似缺陷特征混淆。
3.6. Discussion 研究人员讨论认为SHT-CNv2从通道重标定、自适应卷积建模与多尺度融合三方面提升细粒度山核桃仁缺陷分类的特征表示,SE提高对缺陷相关通道的敏感性,PANet增强浅层细节与深层语义交互,动态卷积提升对多样形态与空间分布缺陷的适应性;以往坚果缺陷检测研究因产品、缺陷定义、成像与协议差异不宜直接数值比较,而在本研究统一设置下SHT-CNv2优于EfficientNetV2、Swin Transformer-T等,表明对强卷积骨干的任务导向增强有利于处理细微纹理差异与不规则形态;该框架基于普通RGB工业相机与可控光照,具备成本优势,可减少对人工分选依赖、提高缺陷去除一致性、降低劣质仁流通,有助于减少浪费与提升消费者保护;局限性在于数据集源于同一产区与时期且成像条件相对受控,未来需跨场景验证、轻量化部署与多传感融合以提升鲁棒性。
结论部分翻译总结为:研究人员提出SHT-CNv2,一种面向工业成像条件下山核桃仁细粒度缺陷分类的增强型ConvNeXtV2框架;通过集成SE注意力、动态卷积与基于PANet的多尺度特征融合,该模型在保持实用推理效率的同时改善了细微缺陷线索与多样形态的表示;实验结果显示SHT-CNv2在所有对比模型中取得最佳整体性能,测试准确率98.72%,宏平均F1值98.72%,推理速度133.62 FPS;与包括ResNet-50、EfficientNet、ConvNeXt、EfficientNetV2、Swin Transformer-T、MaxViT-Tiny、RepViT-M1.5与ConvNeXtV2在内的代表性及近期模型相比,SHT-CNv2在保持实用计算效率的同时展现出更强的细粒度缺陷判别能力;消融与可视化分析进一步证实其在特征判别、缺陷定位与类别可分性上的改进;总体而言,SHT-CNv2为智能山核桃仁缺陷检测提供了一种准确高效的方案,具备潜在成本优势;由于该框架可采用常规RGB成像系统与原生PyTorch推理实现,其对工业分选线与寻求在不引入昂贵传感设备情况下提高分级一致性的中小型企业具有潜在价值;更广泛地,准确缺陷分选有助于减少不必要产品浪费、加强食品安全管控并支持坚果加工产业的可持续质量管理;未来工作将聚焦于提升跨场景鲁棒性、记录更详细部署指标如内存占用与单图延迟,并增强在实际工业环境中的部署灵活性。