《Infrared Physics & Technology》：Multimodal optical fusion with deep learning for early kiwifruit bruise detection
编辑推荐：
摘要猕猴桃对采后瘀伤高度敏感，亟需早期无损检测方法。本研究突破了单传感器成像的局限性，开发了融合RGB、短波近红外（SWIR）、偏振（POL）和高光谱图像（HSI）数据的多模态融合框架。我们提出了多模态融合网络（MMFNet），并配备专用的通道权重分配模块（DCWA）实现特征
摘要
猕猴桃对采后瘀伤高度敏感，亟需早期无损检测方法。本研究突破了单传感器成像的局限性，开发了融合RGB、短波近红外（SWIR）、偏振（POL）和高光谱图像（HSI）数据的多模态融合框架。我们提出了多模态融合网络（MMFNet），并配备专用的通道权重分配模块（DCWA）实现特征级融合。在跨越72小时进展的240个样本上进行评估，最优的RGB + SWIR + POL融合取得了令人瞩目的准确率：健康/瘀伤分类达99.6%，时间分期达91.6%，严重度分级达94.4%。此外，尽管四模态组合达到了相当的准确率，但RGB + SWIR + POL三模态框架被确定为工业应用中最实用的解决方案，因为它在检测性能、采集效率和数据量之间取得了平衡。本研究证明，互补的多模态信息能够实现稳健的早期瘀伤检测，为无损水果质量评估提供了一种高效的基于深度学习的解决方案。
引言
猕猴桃因其丰富的营养成分而备受重视[1]，[2]，但其薄皮和软化果肉使其在采后处理过程中极易受到瘀伤[3]，[4]。这种皮下损伤表现为表皮保持完整但内部组织受损，会加速水果腐烂，促进病原体感染[5]，并导致严重的经济损失[6]，[7]。因此，早期准确检测此类瘀伤对于维持水果质量和减少供应链中的浪费至关重要。
传统瘀伤检测依赖于人工检查，主观且效率低下。自动机器视觉系统已被广泛应用于水果缺陷检测[8]，但其效果在很大程度上取决于所采用的成像技术。常规RGB成像虽然高效且具备实时能力，但当瘀伤颜色与健康组织非常相似时则力不从心[9]，[10]。为克服这些局限性，人们探索了各种无损成像技术。高级技术如热成像[11]、荧光成像[12]、磁共振成像[13]和X射线成像[14]提供了更深入的洞察，但存在成本高、采集慢或对环境敏感等缺陷[15]，[16]。近期的研究转向了SWIR、HSI和POL图像。SWIR技术通过测量特定化合物对光的吸收来检测瘀伤，具有强穿透力和不依赖表面特征的优点[17]。HSI结合了光谱和空间信息，能够实现详细的组织分析[18]，并在苹果时间分类中达到了高准确率[19]，但其大数据量和长时间采集限制了在线应用。POL利用散射光的偏振状态来减少眩光干扰[20]，并在香蕉[21]和油桃[22]的瘀伤检测中显示出应用前景。
每种成像模态都提供了独特的优势，但在水果瘀伤检测方面也面临特定的局限性。与其选择单一最佳技术，更有前景的方法是结合多种模态以利用互补信息，从而克服单传感器数据的约束。多模态融合已在遥感[23]，[24]、自动驾驶[25]，[26]和医学诊断[27]中成功应用，可以通过整合跨模态特征[28]来缓解各个模态的弱点。在水果质量评估中，特征级融合使模态之间能够进行更深层的交互，通常比像素级或决策级融合产生更优的性能[28]，[29]，[30]。然而，对于猕猴桃瘀伤检测的最佳模态组合，以及高效地动态集成它们的框架，仍有待进一步探索。
为克服单模态检测的局限性并利用多模态成像的互补优势，本研究提出了一种新颖的MMFNet用于猕猴桃早期瘀伤检测。主要目标如下：
- (1)
调查水果瘀伤检测中四种广泛使用的成像模态的最优组合——RGB、SWIR、POL和HSI成像；
- (2)
开发配备DCWA的专用网络，能够在特征级有效整合跨模态特征，从而增强瘀伤相关信息的表征能力和区分能力；
- (3)
系统评估不同模态组合在分类准确率、鲁棒性和早期敏感性方面的检测性能。
各节摘要
水果样品
本研究从中国陕西省咸阳市杨凌当地一家超市随机购买了两个猕猴桃品种——'翠香'和'金福'。这两个品种在表面颜色、光泽、质感和硬度方面表现出不同的特征。实验共选择了240个无缺陷且无病害的样本（每个品种120个）。测试前，所有样本均统一储存在20°C的冰箱中，以确保一致的初始温度。在整个实验过程中……
多模态图像配准
为整合来自多种成像模态的互补信息，本研究采用了同步多相机系统来捕获同一猕猴桃样本的数据。然而，各相机拍摄角度和位置的变化会在同一物体的图像之间引入空间错位。为实现跨模态的逐像素对应以进行后续融合分析，图像配准是不可或缺的。在本研究中，HSI凭借其丰富的光谱……
光谱反射率分析
本节通过分析光谱反射率曲线，调查与猕猴桃瘀伤相关的光谱变化。两个品种（'翠香'和'金福'）猕猴桃的健康样本和瘀伤样本的兴趣区域（ROI）——定义为覆盖瘀伤区域的矩形区域——的平均光谱反射率曲线，经多元散射校正（MSC）预处理[40]后如图7(a)和(b)所示。两个品种的反射率曲线呈现出相似的系统性……
结论
本研究提出了一种基于多模态光学成像与深度学习融合的猕猴桃瘀伤检测方法。在三种瘀伤严重度等级诱导后，针对两个猕猴桃品种在五个时间点收集了四种模态的图像——RGB、SWIR、POL和HSI。为处理这些多模态输入，我们提出了MMFNet，一个专用网络，其架构支持根据实际应用需求动态调整输入模态的数量……
CRediT作者贡献声明
李文阳：写作–审阅与编辑，写作–原稿撰写，软件，方法学，形式化分析，概念化。魏立诚：软件，方法学，数据管理。崔明哲：写作–审阅与编辑，调查，形式化分析，数据管理。张瑞：写作–审阅与编辑，监督，项目管理，资金获取。陈世玉：验证，软件。徐碧格：数据管理。盛天一：验证，软件。杜延震：调查，形式化分析。
资助
本工作得到以下项目支持：陕西数学与物理基础研究计划（23JSY-013）；陕西省重点研发计划（2024NC-YBXM-215）；陕西省自然科学基础研究计划（2024JC-YBQN-0051）；云南省重大科技专项（202402AE090005）；陕西秦创原产业创新集群"四链"融合项目（2025CY-JJQ-21）；陕西省重点产业创新链项目（
利益冲突声明
作者声明不存在已知的可能影响本文所报告工作的竞争财务利益或个人关系。
李文阳|魏立诚|崔明哲|张瑞|陈世玉|徐碧格|盛天一|杜延震|李耀祖|李加旋|张文博|任文怡|卢少jun
西北农林科技大学理学院，陕西咸阳杨凌 712100，中国
