基于RGB图像重建高光谱图像用于食品质量评估的研究进展

《JOURNAL OF FOOD SCIENCE》：Advances in Hyperspectral Image Reconstruction From RGB Images for Food Quality Evaluation

　　

摘要专业翻译 高光谱成像（HSI）提供了详细的 spectral 和空间数据，使其成为农产品质量属性无损、快速评估的重要工具。尽管高光谱成像技术在食品工业中有着众多应用，但传统高光谱成像系统的高成本和复杂性限制了其广泛推广。为应对这些挑战，从RGB图像进行高光谱重建已成为一种有前景的解决方案。RGB图像/数据可通过更简单、更廉价的传感器（如手机内置传感器）获取。随着深度学习方法的近期进展，目前已经能够从RGB图像重建高光谱图像，从而弥合了RGB图像的高空间分辨率与HSI的 spectral 深度之间的差距。尽管已有 promising 结果证明了这一新兴技术的可行性，但在跨多样食品基质泛化以及将 spectral 覆盖范围扩展至全可见光和近红外区域方面仍存在挑战。此外，重建数据在固有化学计量学（chemometrics）能力方面存在局限，这限制了定量分析的准确性。重建过程还需要较高的计算能力。因此，本综述批判性地评估了当前方法，识别并拓展了现有空白，并提出了未来研究方向，以增强该技术在食品领域的实际应用。通过解决与该方法相关的各种局限性，该技术可为食品质量监测和安全保障提供经济高效、便携式的解决方案，为工业和消费应用中经济实惠、可及、实时、无损的检测铺平道路。

论文主体内容学术总结

1 引言

高光谱成像（HSI）是一种结合传统光谱学与成像技术优势的无损分析工具，能够同时捕获二维空间信息和一维光谱信息，生成与分子振动（如N─H、O─H、C─H基团）相关的光谱特征。与仅限三个宽波段的RGB成像相比，HSI可记录数十至数百个窄光谱波段，形成三维数据集（超立方体）。尽管HSI在食品质量评估中展现出强大能力，但其设备成本高、采集速度慢、依赖机械扫描等局限性阻碍了在线实时工业应用。近年来，深度学习技术的进展为从标准RGB图像重建高光谱信息提供了新途径，有望以低成本方式扩展HSI在食品工业中的可及性。

2 食品质量评估中的高光谱成像概述

2.1 高光谱成像原理

高光谱成像（HSI）概念由Goetz等人于1985年首次提出，最初主要用于遥感领域。HSI系统输出为三维数据结构（超立方体），包含两个空间维度（X和Y轴）和一个光谱维度（λ），每个像素位置具有独特的光谱指纹。常用的采集几何方式包括点扫描（whiskbroom）、线扫描（pushbroom）、面扫描和快照成像。典型的推扫式系统由照明光源、物镜、成像光谱仪、二维探测器、平移台和采集软件组成。可测量光谱范围主要取决于探测器材料，硅探测器覆盖约350–1050 nm，而InGaAs和PbS探测器可延伸至短波红外。图像采集前需通过白参考和暗参考进行辐射定标，将原始信号转换为反射率。

2.2 高光谱成像在食品质量评估中的应用

HSI结合化学计量学已广泛应用于多种农产品的质量与安全评估。在肉类及肉制品方面，用于评估牛肉的色泽、pH值和嫩度，猪肉的色泽、pH值和滴水损失，以及预测TVB-N含量和检测TVC以评估微生物腐败。在果蔬方面，用于检测内部和外部属性，如可溶性固形物含量（SSC）、硬度、冷害、瘀伤和腐烂。在谷物和种子方面，用于检测玉米籽粒中的黄曲霉毒素B1（AFB1）、小麦中的黑曲霉，以及预测蛋白质、水分和淀粉含量。在乳制品方面，用于检测奶粉中的三聚氰胺掺假和奶酪中的脂肪含量。

2.3 高光谱成像的优势与局限性

HSI提供快速、无损的评估，同时捕获空间和光谱信息，可绘制化学成分的空间分布，识别局部缺陷和成分梯度。然而，其广泛应用受限于设备成本高、扫描机制含移动部件、数据量大、计算需求高、实时处理困难等问题。成像环境中的照明变化、表面光泽、粗糙度和样品几何形状差异也会引入与化学成分无关的光谱变化，降低测量精度。

3 计算机视觉与RGB成像在食品工业中的应用

3.1 计算机视觉概述

计算机视觉（CV）是一种使机器能够通过分析和解释数字图像来复制人类视觉感知方面的技术。典型CV系统由照明系统、相机（图像采集设备）、图像采集卡和计算机硬件组成。软件组件应用算法识别和量化物体的颜色、形状、尺寸和纹理等特征。CV系统涵盖图像采集、处理、特征提取和决策的完整工作流程，而RGB成像仅指一种图像采集方式。

3.2 RGB成像系统

RGB成像系统利用RGB彩色相机，通过三个对应RGB波长的滤光片捕获图像，模拟人类视觉。系统产生包含颜色和纹理信息的RGB图像，像素以8位整数存储RGB分量值（0–255）。RGB成像因成本低、空间分辨率高、硬件设计简单而广泛应用于食品质量评估，包括肉类颜色评估、果蔬分级分选、蘑菇外观分级以及水产品新鲜度监测。然而，RGB值具有设备依赖性，需转换为设备无关的色彩空间（如CIE Lab*）。

3.3 RGB成像系统的局限性及RGB到HSI重建的动机

RGB成像的主要局限在于仅捕获三个宽光谱波段的反射率，丢失了化学表征所需的精细光谱信息，因此适合评估外部属性但难以评估化学成分和内部缺陷。光谱重建（SR）通过从常规RGB图像估计高光谱信息，提供了一种经济有效的替代方案，利用自然材料反射光谱的约束特性，使深度学习模型能够从仅三个RGB通道推断合理光谱。

4 RGB到HSI重建的技术进展

4.1 基于先验的RGB图像高光谱重建方法

从RGB图像重建高光谱图像是一个具有挑战性的逆问题。早期方法依赖手工设计的统计约束，即基于先验的方法，利用稀疏性、空间结构相似性和光谱相关性等先验知识约束逆问题的解空间。主要方法包括字典学习、流形学习和高斯过程。基于先验方法的主要缺点是对人工定义先验的依赖导致特征表示能力弱于深度学习方法，且当相机光谱灵敏度函数未知时性能下降。

4.2 基于深度学习的RGB图像高光谱重建方法

约2015年起，深度学习方法成为光谱重建（SR）的主导方法。HSCNN引入了统一的深度学习框架，但初始版本需要已知相机光谱响应函数；HSCNN-U通过卷积层替代显式光谱上采样解决了这一限制。后续发展包括引入残差和密集连接的HSCNN-R和HSCNN-D，在NTIRE 2018挑战赛中取得前两名。生成对抗网络（GANs）也被应用于图像到图像转换任务。Transformer架构因其自注意力机制在捕获全局空间关系方面的优势而受到探索，但计算复杂度仍是高分辨率重建的挑战。此外，压缩和快照光谱成像领域的创新如MAUN和SPECAT等架构也适用于RGB到HSI重建。

5 基于数据驱动的RGB图像高光谱重建工作流程

5.1 数据采集

RGB-HSI配对数据集的获取是重建的基础步骤。通常使用标准色匹配函数（如CIE-1931或CIE-1964）从地面真实高光谱数据合成伪RGB图像，以确保空间对应和像素级对齐；部分研究直接使用常规RGB相机采集RGB数据以反映更真实的场景。

5.2 HSI和RGB图像预处理

高光谱参考图像在受控照明下采集，首先使用白参考和暗参考进行反射率定标。随后通过手动标注或自动阈值方法（如Otsu算法）隔离感兴趣区域（ROI）。光谱数据可选用标准正态变量（SNV）或多元散射校正（MSC）等预处理方法。为降低数据维度，常采用竞争性自适应重加权采样（CARS）、遗传算法等方法选择特征波长。

5.3 重建数据集开发

配对图像被组织为数据集并划分训练、验证和测试集。非食品应用常使用ICVL、CAVE、Harvard和NTIRE等公开基准数据集。食品应用中，通用数据集因不包含食品材料的光谱特征而不适用，通常需训练商品特定数据集，这限制了模型的跨食品类型泛化能力。

5.4 重建模型训练

选择数据驱动的深度学习模型，以监督方式使用配对RGB-HSI数据集进行训练。RGB图像作为模型输入，对应高光谱图像作为训练标签。常用架构包括CNN和Transformer模型，通过最小化像素级或光谱域损失函数（如L1/L2损失、光谱角损失）学习端到端映射。训练通常在ROI提取的图像块上进行，优化直至损失指标收敛。

5.5 重建模型验证

重建的高光谱图像使用RMSE、MRAE、PSNR、SSIM和SAM等标准指标与定标地面真实HSI进行比较。在食品应用中，评估还延伸至重建光谱对目标质量属性预测的准确性，因为低重建误差不一定保证准确的质量属性预测。

5.6 使用重建光谱预测食品质量属性

重建质量验证后，重建的HSI直接用于下游回归或分类任务，遵循与真实HSI相同的光谱预处理步骤。在多数基于ROI的工作流程中，重建后不重复ROI选择。

6 RGB数据高光谱重建的评估指标

6.1 平均绝对误差（MAE）

MAE（L1范数）量化预测值与实际值之间差异的平均幅度，对异常值不敏感。

6.2 均方误差（MSE）

MSE计算预测值与实际值之间平方差的平均值，因平方操作放大较大误差的影响。

6.3 均方根误差（RMSE）

RMSE为MSE的平方根，衡量每个像素重建光谱数据与真实值之间的差异。

6.4 峰值信噪比（PSNR）

PSNR通过比较重建图像与原始图像评估重建质量，值越高表示失真越小、重建越准确，与MSE成反比。

6.5 平均相对绝对误差（MRAE）

MRAE测量重建光谱值与原始光谱值之间的平均相对差异，值越低表示重建越准确，是NTIRE挑战赛的主要评估指标。

6.6 光谱角制图（SAM）

SAM将重建图像和真实值的谱视为向量并计算夹角，夹角越小表示光谱相似度越高。

6.7 结构相似性指数（SSIM）

SSIM通过考虑结构信息、亮度和对比度评估两幅图像间的相似性，值范围为?1至1，1表示完全相似。

7 高光谱重建在食品安全与质量中的应用

高光谱重建（HSR）从RGB图像提供了一种创新方法，通过缓解传统HSI的高成本和复杂性来改善食品安全和质量评估。该技术将易获取的RGB图像转换为详细光谱数据，为农业和食品领域提供更经济、便携和高效的替代方案。