《Frontiers in Plant Science》：Deep spectral–spatial learning for robust bruise detection and internal damage estimation in apples using visible/near-infrared hyperspectral imaging
编辑推荐：
：
瘀伤是苹果采后常见的缺陷，其外观随表面位置、冲击强度和冲击后时间而变化，这使视觉检测复杂化，尤其是在瘀伤早期阶段。为解决这一挑战，研究人员比较了四种用于从可见/近红外（Vis/NIR）高光谱图像检测瘀伤的三维（3D）U-Net光谱-空间编码器变体。此外，研
：
瘀伤是苹果采后常见的缺陷，其外观随表面位置、冲击强度和冲击后时间而变化，这使视觉检测复杂化，尤其是在瘀伤早期阶段。为解决这一挑战，研究人员比较了四种用于从可见/近红外（Vis/NIR）高光谱图像检测瘀伤的三维（3D）U-Net光谱-空间编码器变体。此外，研究人员复用瘀伤检测器学到的特征，对冲击水平进行分类并估计内部横截面瘀伤面积。研究人员在87个富士苹果上以三种冲击水平和多个表面位置诱导了受控瘀伤。在18天储存期内从六个视角采集高光谱图像，共获得870个图像立方体，包含1,676个标注的瘀伤实例。瘀伤深度和褐变组织的内部横截面积通过破坏性切片测量。在四个模型中，混合3D-2D U-Net取得了最高的测试边界框F1分数0.98和掩膜Dice分数0.86。该模型优于使用由主成分和波段比值变换导出的三通道输入的基线检测器，尤其是在早期、轻微和边缘瘀伤方面，保持F1分数高于0.98。半精度推理在87.63帧/秒下保持了两种精度指标。对于瘀伤严重程度估计，结合瘀伤检测模型预训练编码器特征的模型在冲击水平分类中取得了0.83的测试宏平均F1分数，在内部横截面瘀伤面积估计中取得了0.82的测试皮尔逊r值，优于基于平均反射光谱的基线模型。这些结果表明，深度光谱-空间学习支持稳健的瘀伤检测，同时将高光谱评估从瘀伤定位扩展到内部损伤严重程度的估计。
论文解读文章
一、研究背景与问题
瘀伤是苹果采后处理过程中最常见的机械损伤形式之一，也是供应链中品质损失的主要原因。苹果在采收、运输和分选过程中受到的冲击会损伤皮下果肉组织，受损组织通过多酚氧化酶对酚类化合物的氧化作用而发生褐变和软化。受损组织还更容易受到微生物感染，且酶促褐变区域在储存期间会持续扩大。在冲击后第一天内形成的瘀伤通常表现为内部褐变而果皮外观无明显变化，因此难以通过肉眼检查或常规RGB图像识别。高光谱成像技术因能同时获取空间和光谱信息，已被广泛用于水果品质的无损检测。然而，以往基于高光谱成像的苹果瘀伤检测研究通常将高光谱立方体降维为少数二维表示，如主成分分析图像和波段比值图像，再通过阈值分割定位瘀伤区域。这种方法存在若干问题：果实曲率引起的反射信号变化会干扰果实边缘区域的瘀伤检测；果梗和花萼等表面特征与缺陷相似，使全果检测复杂化；瘀伤组织的光谱响应随冲击严重程度和冲击后时间而变化，使用固定阈值难以在不同条件下保持分割一致性。近年来，深度学习方法被引入瘀伤检测，但多数研究仅进行图像级分类或区域级检测，未能在像素级区分瘀伤与健康组织，限制了进一步分析瘀伤区域损伤严重程度的可能性。此外，内部瘀伤范围虽可通过破坏性切片或X射线计算机断层扫描量化，但这些方法不适用于快速在线检测。因此，尚不清楚用于瘀伤定位的空间分辨光谱特征能否在瘀伤位置和经过时间同时变化的情况下，对冲击水平进行分类并估计测量的内部损伤。
二、研究目的与意义
本研究旨在开发一种深度光谱-空间框架，用于从可见/近红外高光谱图像中实现稳健的瘀伤分割，并进一步估计瘀伤的内部损伤。具体目标包括：比较四种具有光谱-空间编码器的3D U-Net变体用于直接从高光谱反射立方体预测瘀伤掩膜；将检测性能与多个径向位置、冲击水平和储存期的YOLO11s基线进行比较；复用3D U-Net模型的编码器特征，评估冲击水平分类和内部横截面瘀伤面积估计，并与基于平均光谱的基线进行比较。该研究的创新意义在于将高光谱评估从单纯的瘀伤定位扩展到内部损伤严重程度的估计，为采后品质控制提供了一种更全面的无损检测方案。
三、关键技术与方法
研究人员使用了87个富士苹果，通过钢球自由落体方式在三种冲击能量水平下诱导受控瘀伤。高光谱图像通过线扫描高光谱传感器（FX10e，覆盖400-1,000 nm，224个光谱波段）采集，每个苹果绕果梗-花萼轴旋转采集六个视角。内部褐变通过破坏性切片后RGB成像测量。数据集共870个图像立方体，含1,676个标注瘀伤实例，按苹果级别以3:1:1比例划分训练、验证和测试子集。四种3D U-Net变体（基础3D U-Net、混合3D-2D U-Net、紧凑3D U-Net和紧凑SE 3D U-Net）接收600-900 nm范围内降维为28个波段、空间尺寸320×320像素的输入。基线检测器包括YOLO11s和YOLO11s-seg，使用三通道变换图像或28个光谱波段。冲击水平分类和面积回归使用预训练编码器特征、显式光谱-空间统计和平均反射光谱三类特征，分别通过岭分类器、岭回归、偏最小二乘判别分析、支持向量机、一维卷积神经网络等模型实现。
四、研究结果
4.1 瘀伤组织的光谱特征
研究人员比较了不同径向观察位置、冲击水平和储存期下瘀伤区域的反射光谱。未归一化时，反射幅度从中心区域R1到边缘区域R3单调递减，这归因于果实表面曲率导致的几何效应。经过样本级最小-最大归一化后，区域间差异基本消除，表明径向反射差异源于亮度效应而非光谱形状变化。在抑制亮度效应后，冲击水平越高、储存时间越长，700 nm附近反射率越低，该区域与叶绿素吸收带和红边过渡区重叠，与酶促褐变引起的色素积累和细胞结构破坏导致的光散射改变一致。
4.2 瘀伤严重程度与冲击水平和储存期的关系
横截面瘀伤面积随冲击水平增加而增大，水平3始终显示最大褐变组织面积，水平1最小。Tukey检验确认在储存期各时间点，水平3的面积显著大于水平1，而水平2的差异随储存日变化。在1至18天储存期内，各冲击水平内面积随储存日的单调变化难以识别。瘀伤深度显示类似的冲击水平排序但相对范围较小。瘀伤深度与横截面面积之间存在正线性关系（皮尔逊r = 0.76），表明较深的瘀伤通常对应较大的横截面褐变范围。
4.3 瘀伤检测模型性能比较
四种3D U-Net变体在光谱分辨立方体上训练后均达到比使用三通道缩减图像的YOLO基线更高的检测精度。其中混合3D-2D U-Net最为准确且速度最快，测试掩膜Dice分数为0.8607，边界框F1分数为0.9806，FP32推理速度为43.35帧/秒，FP16推理速度为87.63帧/秒。该模型优于使用主成分和波段比值变换三通道输入的基线检测器，尤其在早期、轻微和边缘瘀伤方面，保持F1分数高于0.98。YOLO11s基线虽然推理速度更快，但检测精度显著低于混合3D-2D U-Net。
4.4 冲击水平分类与面积回归
结合瘀伤检测模型预训练编码器特征的模型在冲击水平分类中取得0.83的测试宏平均F1分数，在内部横截面瘀伤面积估计中取得0.82的测试皮尔逊r值，均优于基于平均反射光谱的基线模型。结果表明，空间分辨光谱特征比一维光谱能更有效地捕捉瘀伤严重程度相关信息。
五、讨论与结论
本研究表明，深度光谱-空间学习框架能够从Vis/NIR高光谱图像中实现稳健的苹果瘀伤检测，并将评估从瘀伤定位扩展到内部损伤严重程度估计。混合3D-2D U-Net架构在精度和速度之间取得了良好平衡，半精度推理下达到87.63帧/秒的处理速度，满足实际分选环境的需求。样本级最小-最大归一化有效抑制了果实曲率引起的亮度效应，无需额外传感硬件即可校正边缘区域的光谱畸变。复用瘀伤检测器的编码器特征成功实现了冲击水平分类和内部损伤面积估计，证明瘀伤定位任务中学到的光谱-空间特征具有可迁移性。该研究为采后苹果品质的无损在线检测提供了一种综合方案，能够同时实现瘀伤定位和严重程度评估，对减少采后损失和保障水果品质具有重要意义。
