《Foods》：A Deep Learning-Based System for Prawn Hepatopancreas Identification Based on Image Classification with Interpretability
编辑推荐：
肝胰腺的准确识别对于虾品质评估和自动化水产加工至关重要。本研究提出了一种可解释的深度学习框架，用于将虾图像二分类为“有肝胰腺”和“无肝胰腺”两类。研究人员开发了一个自定义卷积神经网络（CNN），使用了包含252张标注图像的数据集。为从有限数据集中提升特征提取能
肝胰腺的准确识别对于虾品质评估和自动化水产加工至关重要。本研究提出了一种可解释的深度学习框架，用于将虾图像二分类为“有肝胰腺”和“无肝胰腺”两类。研究人员开发了一个自定义卷积神经网络（CNN），使用了包含252张标注图像的数据集。为从有限数据集中提升特征提取能力，研究采用了一种包含基于轮廓的自动裁剪、对比度增强和数据扩充的图像预处理流程。所提出模型在测试集上达到了97.37%的准确率，校准后的全数据集准确率为97.22%。五折交叉验证的平均准确率为96.83% ± 1.94%，表明模型在不同数据划分下性能稳定。受试者工作特征（ROC）分析表明其判别能力良好，AUC > 0.99。梯度加权类激活映射（Grad-CAM）显示模型主要聚焦于生物学相关的肝胰腺区域，提升了分类结果的可解释性。研究还开发了一个图形用户界面，支持快速图像分析并提供可视化反馈。尽管仍需在更大规模、更多样化的数据集上进一步验证，但所提出的框架展示了可解释深度学习在自动化虾品质评估中的潜力，并为智能水产检测应用提供了实用基础。
**研究背景与问题**
罗氏沼虾（*Macrobrachium rosenbergii*）是热带和亚热带地区水产养殖的重要物种，其肝胰腺（hepatopancreas）位于头胸部，积累脂质、类胡萝卜素和必需营养物质，是商业分级的重要品质指标。在亚洲烹饪传统中，肝胰腺（俗称“膏”）的发育程度和状态直接决定产品等级和市场价格。然而，传统的水产品品质评估依赖于人工目视检查和称重，耗时费力且易受主观因素影响，尤其在活体甲壳类中，由于外骨骼的不透明性，内部组织的非破坏性评估存在天然限制。此外，人工评估的观察者间一致性常低于商业分级可接受阈值，导致细微的颜色和质构差异在变化光照或色素异常条件下难以被准确捕捉。因此，亟需自动化、客观且快速的评估方法。
近年来，计算机视觉和深度学习已在食品质量评估中展现出变革性潜力。卷积神经网络（CNN）能够从原始像素中提取层级化视觉特征，已成功应用于食品分类、分级、缺陷检测和新鲜度评估等任务。例如，深度学习模型已用于冻融虾新鲜度分类、虾亲本卵巢成熟度预测以及肝胰腺健康监测。然而，肝胰腺识别任务仍面临显著瓶颈：高质量标注数据集的构建成本高昂且耗时；CNN模型的“黑箱”特性使其决策依据难以理解，限制了在食品安全系统中的信任度。梯度加权类激活映射（Grad-CAM）通过突出模型决策中最具影响力的输入区域，提供了可视化解释，已在果实成熟度分级、鱼类新鲜度预测和食用燕窝分类中得到应用。然而，目前尚无研究利用标准RGB成像和深度学习对完整虾个体中肝胰腺的存在与否进行自动化识别。
**研究目的与贡献**
本研究旨在开发并评估一个完整的基于CNN的系统，以解决虾图像中肝胰腺存在性自动识别的可行性。主要贡献包括：(1) 设计并实现了一个端到端的流程，包含自定义预处理和数据扩充策略，以克服小规模数据集的限制；(2) 使用验证集和测试集对模型性能进行了严格评估；(3) 集成Grad-CAM实现模型可解释性，提供视觉证据表明模型决策基于生物学相关特征。该研究的总体目标是提供一个实用、准确且可解释的自动化虾品质评估工具。
**研究内容与结论**
研究人员开发了一个自定义CNN模型，使用252张标注图像（157张有可见肝胰腺，95张无可见肝胰腺）进行训练。图像采集采用定制机器视觉系统，包括顶部LED照明面板、背光LED平台和高分辨率工业相机，在受控光照条件下获取标准图像。预处理流程包括自动轮廓裁剪、对比度增强、饱和度调整和锐化。在线数据扩充策略应用了随机水平/垂直翻转、旋转、仿射变换、颜色扰动和随机擦除，有效扩大了训练数据多样性。模型架构包含卷积层、批归一化、ReLU激活和最大池化层，最终通过softmax输出二分类概率。决策阈值通过验证集优化为0.68，以平衡敏感性和特异性。
在独立测试集上，模型达到了97.37%的准确率，召回率为100%，特异性为93.33%，F1分数为0.979，Matthews相关系数为0.9458。五折交叉验证的平均准确率为96.83% ± 1.94%，表明性能稳定。ROC分析显示全数据集、验证集和测试集的AUC值分别为0.9946、0.9940和0.9942，表明判别能力优异。Grad-CAM可视化显示，模型正确分类样本的注意力主要集中在头胸部区域（肝胰腺的解剖位置），而在错误分类样本中，注意力部分指向纹理变化、阴影、镜面反射等干扰区域，提示了潜在误差来源。与ResNet-18、EfficientNet-B0、MobileNetV3、DenseNet-121和VGG-16等基准架构相比，所提出的CNN在测试准确率（97.37%）、召回率（100%）和F1分数上表现最优或相当，同时保持轻量级结构。
此外，研究开发了一个图形用户界面（GUI），集成了图像上传、预处理可视化、分类输出和Grad-CAM解释模块，支持操作人员快速进行图像分析并直观验证模型决策依据。
**主要技术方法**
本研究采用以下关键技术方法：(1) 定制机器视觉系统结合背光LED照明增强肝胰腺与外骨骼的对比度；(2) 自动轮廓检测裁剪提取感兴趣区域（ROI）；(3) 在线数据扩充策略（随机几何变换、颜色扰动、随机擦除）；(4) 自定义CNN架构（PyTorch 2.7.1实现）；(5) Grad-CAM可解释性分析；(6) 五折交叉验证与多种评估指标（准确率、精确率、召回率、特异性、F1分数、MCC、ROC-AUC）。样本来源为当地市场购买的完整规格虾（12.31 ± 1.59 g），实验方案经浙江省农业科学院机构动物护理和使用委员会批准（协议号25ZALAS24）。
**研究结果**
*训练性能*：训练准确率从初始约65%稳步提升至最终97.72%，验证准确率在第49个epoch达到峰值92.11%，验证损失最小值为0.1938，表明模型收敛良好且未出现显著过拟合。
*预测性能分析*：概率分布图显示正负类样本的置信度得分呈现清晰的分离（正类大多高于0.80，负类大多低于0.40）。校准阈值0.68使验证集和测试集准确率分别维持在92.11%和97.37%。全数据集混淆矩阵显示245个正确分类和7个错误分类，校准准确率为97.22%。测试集混淆矩阵中，15个“无肝胰腺”样本中14个正确分类（1个假阳性），23个“有肝胰腺”样本全部正确识别。
*综合性能指标*：测试集准确率97.37%（95%置信区间86.51–99.53%），召回率100%，特异性93.33%，F1分数0.979，MCC 0.9458。五折交叉验证平均准确率96.83% ± 1.94%。三条ROC曲线（全数据集、验证集、测试集）均集中于左上角，AUC值分别为0.9946、0.9940和0.9942。
*可解释性*：Grad-CAM热图显示，无论虾的朝向和位置如何变化，正确分类样本的激活区域始终聚焦于头胸部（肝胰腺位置），而天线、腹肢和背景区域几乎没有激活。错误分类样本的注意力部分指向纹理变化、阴影或反射区域，或由于肝胰腺本身发育不良、部分遮挡导致视觉线索微弱。
*与基准架构比较*：所提出的CNN测试准确率97.37%，召回率100%，F1分数0.979，优于ResNet-18（94.74%）、MobileNetV3（92.11%）、DenseNet-121（94.74%）和VGG-16（92.11%），与EfficientNet-B0（97.37%）持平，但召回率更高。
*图形用户界面*：GUI包含四个集成模块，支持图像上传、预处理可视化、分类输出和Grad-CAM解释，提供用户友好的实际操作平台。
**讨论与结论**
讨论部分指出，小样本高精度的实现可归因于任务特性（二分类、肝胰腺具有独特的颜色和解剖特征）、标准化成像协议和严格的方法学。在线扩充虽能覆盖特征空间，但不引入新的生物学信息，因此未来需通过独立样本验证泛化能力。预处理和扩充的有效性在于自动裁剪消除了背景干扰，对比度增强放大了肝胰腺与外骨骼的细微色差，这与先前研究中壳色参数与肝胰腺类胡萝卜素含量显著相关的结论一致。训练过程中的损失波动归因于在线扩充的随机性、小批量梯度下降的固有变异性以及边界样本的存在，但未影响整体收敛。阈值校准（0.68）反映了商业应用中假阳性成本高于假阴性的风险偏好。Grad-CAM验证了模型决策的生物学基础，增强了操作者信任。与以往局限于生理功能或组织学分析的研究不同，本研究首次实现了从完整虾RGB图像中直接进行肝胰腺状态分类。局限性包括数据集规模较小、成像条件受控、二分类未覆盖中间状态，以及实际工业环境中的光照、运动模糊等挑战。未来工作需扩展多来源数据集、使用多光照条件训练、采用域适应技术，并探索光谱成像与深度学习的结合。
研究结论指出，所提出的可解释深度学习框架在受控成像条件下，通过自动裁剪、对比度增强和数据扩充，尽管数据集相对较小，仍能提供准确的分类。Grad-CAM的集成提高了模型透明度，图形用户界面支持快速图像分析。该研究为自动化肝胰腺分类提供了实用且可解释的框架，为水产养殖中基于图像的质量评估系统奠定了基础。未来将扩展数据集至更多虾种、更多样化的成像条件和具有挑战性的样本（如部分遮挡或未成熟肝胰腺），进行独立外部验证，并探索更先进的网络架构（如Transformer）和迁移学习策略，以增强模型的鲁棒性和泛化能力。
该论文发表在《Foods》期刊，展示了可解释深度学习在自动化虾品质评估中的实际应用潜力，为智能水产检测提供了可操作的技术路径。
