《Electronics》：Four-Channel CIEL*a*b*-Infrared Image Representation for CNN-Based Oil Palm Fresh Fruit Bunch Ripeness Classification
编辑推荐：
油棕鲜果串（FFB）成熟度分类对于提高出油率、油品质和工厂加工效率至关重要。然而，基于RGB的分类常因暗色未熟果核及果串表面阴影区域的颜色信息不足而受限。本研究评估了图像输入表示对基于卷积神经网络（CNN）的FFB成熟度分类的影响。研究人员比较了四种具有相同C
油棕鲜果串（FFB）成熟度分类对于提高出油率、油品质和工厂加工效率至关重要。然而，基于RGB的分类常因暗色未熟果核及果串表面阴影区域的颜色信息不足而受限。本研究评估了图像输入表示对基于卷积神经网络（CNN）的FFB成熟度分类的影响。研究人员比较了四种具有相同CNN架构的模型，分别使用RGB、RGB + 红外（IR）、CIEL*a*b*和CIEL*a*b* + IR输入。RGB和IR图像通过双相机设置采集，相机距FFB样本3米。CIEL*a*b* + IR模型取得了最佳总体性能，加权平均精度、召回率和F1分数分别为0.84、0.81和0.81，而仅用RGB模型分别为0.79、0.76和0.76。IR的加入通过提供互补的近红外反射信息改善了模型性能，而CIEL*a*b*颜色空间变换提供了更具区分性的颜色表示。类别激活热图显示，模型主要关注果核区域，其中CIEL*a*b* + IR模型在成熟度相关区域上产生了更显著的激活。这些发现表明，所提出的四通道CIEL*a*b* + IR图像表示通过结合亮度分离的颜色信息与近红外反射特征，改善了基于CNN的FFB成熟度分类，尽管未熟FFB仍具挑战性，因其过渡性和异质性特征导致最高误报率。
**论文解读：基于四通道CIEL*a*b*与红外图像表示的油棕鲜果串成熟度分类研究**
**研究背景与问题**
油棕鲜果串（FFB）成熟度分类是棕榈油工业中关键的质量控制环节，直接影响出油率（OER）、油品质、游离脂肪酸（FFA）含量以及工厂加工效率。然而，传统基于视觉的成熟度分级主观性强，易受光照、阴影、果核排列和果串形态变异影响。RGB成像虽简便低成本，但图像中暗色未熟果核及阴影区域的颜色信息不足，导致基于卷积神经网络（CNN）的分类可靠性下降。红外（IR）成像（700–1100 nm）可捕获近红外反射信息，对成熟度相关物理变化（如叶绿素降解、水分变化）敏感；CIEL*a*b*颜色空间则通过分离亮度（L*）与色度（a*、b*）通道，提供更均匀的颜色表示，减少光照影响。然而，针对相同CNN架构下不同图像输入表示（包括RGB、IR、CIEL*a*b*及其组合）的系统比较研究尚缺乏。本研究旨在评估图像输入表示对CNN-based FFB成熟度分类的影响，并提出一种四通道CIEL*a*b* + IR图像表示，以结合互补的色度与红外信息，提升分类性能。该论文发表在《Electronics》。
**主要研究方法**
研究人员采用双相机系统（RGB相机和单色IR相机，配备700–1100 nm带通滤光片）在距离FFB样本3米处同步采集图像，共获取279对RGB-IR图像（50个过熟、65个成熟、84个未熟透、80个未熟）。所有FFB由马来西亚棕榈油委员会（MPOB）两名经验丰富的分级员根据视觉成熟度特征进行标注。研究人员构建了相同的轻量CNN架构（RipenessCNN），包含三个卷积块（卷积、批归一化、ReLU激活、最大池化），后接自适应全局平均池化、全连接层（64单元，Dropout 0.5）和4类输出层。对比四种输入格式：RGB、RGB+IR、CIEL*a*b*、CIEL*a*b*+IR（四通道：L*、a*、b*、单通道IR）。训练采用Adam优化器（学习率0.001），100个epoch，早停策略（patience=15），数据增强（随机水平/垂直翻转，±15°旋转）。使用10次独立随机80:20分层训练-测试分割评估性能，统计加权平均精度、召回率、F1分数及标准差。
**研究结果**
**3.1 油棕果核光谱特性**：未熟、未熟透和成熟果核在700–780 nm近红外区域存在明显光谱差异，对应红边过渡区，叶绿素吸收随成熟度降低，反射率差异增强，为IR成像提供物理依据。
**3.2 代表性RGB和IR图像**：RGB图像显示未熟/未熟透果串颜色较暗且不均匀，成熟/过熟果串呈红橙色；IR图像则突出反射强度差异，与果核表面特性、水分和生理变化相关。
**3.3 类别激活热图分析**：Grad-CAM热图显示，所有模型主要关注果核区域，但CIEL*a*b* + IR模型在成熟度相关区域产生更集中、更清晰的激活，表明其能更有效利用色度与IR互补信息。
**3.4 分类性能**：CIEL*a*b* + IR模型取得最佳总体性能：加权平均精度0.84、召回率0.81、F1分数0.81，标准差±0.02（最稳定）。相比RGB-only（0.79/0.76/0.76），精度/召回率/F1均提升0.05。过熟类召回率从0.67（RGB）升至0.95（CIEL*a*b*+IR）；未熟类F1从0.73升至0.79；未熟透类仍最难（精度0.65–0.68），因过渡性和异质性特征导致高误报率。
**3.5 归一化混淆矩阵与分类误差模式**：IR通道显著减少了过熟与成熟类边界混淆，过熟正确率从RGB的67%升至CIEL*a*b*+IR的95%；未熟与未熟透间误差仍存，但IR将未熟正确率从64.38%提升至71.88%。CIEL*a*b*+IR模型在各类别上取得最均衡的混淆矩阵，且成熟类完全消除了非相邻类误差。
**3.6 统计显著性分析**：对10次分割的加权平均精度进行配对t检验（Shapiro-Wilk正态性检验p=0.652），CIEL*a*b*+IR模型显著优于RGB-only（p<0.001），平均差异+0.05 SD=0.01。
**3.7 计算效率与训练时长**：CIEL*a*b*+IR模型平均训练时长最短（约112秒），较RGB-only（约138秒）缩短19%，表明IR信息增强了特征可分性，加速收敛。
**讨论与结论**
讨论部分指出，本研究存在数据集规模有限（279对图像，单一种植园）和环境范围狭窄（自然午后阳光，静态单果串）的限制，未来需扩展至多种品种、不同季节和动态田间场景，并集成更先进模型（如Vision Transformers、YOLOv26等）和定量理化指标（如中果皮油含量）。结论部分总结：本研究使用相同CNN架构比较了RGB、RGB+IR、CIEL*a*b*和CIEL*a*b*+IR四种图像输入表示，证明所提出的四通道CIEL*a*b*+IR表示是最有效的输入格式，其提升归因于CIEL*a*b*颜色空间变换提供更可区分的颜色表示且降低亮度依赖，而IR反射捕获了可见光无法完全体现的成熟度相关物理变化。尽管总体分类性能提升，未熟透FFB仍因过渡性和异质性特征成为最具挑战性类别，产生最高误报率。
