用于番茄质量评估的视觉优先触发的视觉-触觉融合框架

《Food Control》：Visual-first triggered visuo-tactile fusion framework for tomato quality assessment

　　

摘要

对西红柿等易损水果进行无损评估对于确保准确的质量分级至关重要。本研究提出了一种视觉优先触发的视觉 - 触觉融合（VFT-VTF）策略，模拟人类评估水果质量的认知过程。在抓取之前，首先利用视觉模块提取颜色和尺寸特征，并确定是否触发触觉检测干预。在触觉模块内，开发了一种具有“柔性皮肤 - 海绵”结构的可变刚度夹爪，并将制备的柔性电化学传感器集成在抓取表面上。触觉激活后，为了消除水果尺寸对测量电信号的影响，建立了一个尺寸校正的电化学阻抗 - 硬度预测模型。结果显示，VFT-VTF 模型的分类任务准确率为 76.19%，比单独视觉模态高出 4.76 个百分点，比单独触觉模态高出 40.48 个百分点。尺寸误差控制在 5% 左右。VFT-VTF 模型使用阻抗信息对西红柿尺寸和硬度分类的准确率分别为 85% 和 88%。提出的用于西红柿质量评估的 VFT-VTF 框架为视觉 - 触觉双模态融合研究提供了新视角。

引言

智能农业的发展对水果质量分级和处理提出了更严格的要求（Karunathilake 等人，2023；Luo 等人，2024；Zhang, Trautman, et al., 2024）。对于西红柿等易损水果，分级质量对后续运输、储存和销售具有决定性影响。水果颜色、尺寸和硬度是质量确定的核心参数。传统检测主要依赖人工感官评估，其中检验员通过视觉观察和物理按压来判断质量（Santana 等人，2025；Xu 等人，2026；Zhang, Qin, et al. 2024）。然而，这种方法容易受主观经验影响，难以满足工业生产中大批量测试的需求。因此，快速的水果质量无损检测技术已成为关键的实践需求。

视觉检测方法可以高效识别表面缺陷、尺寸变化和颜色变化（Ma 等人，2024；Tabernik 等人，2020）。凭借其无损、快速和高通量的优势，它们已成为西红柿外部质量评估的主流技术。Ahmad 等人（2024）利用深度相机收集红绿蓝 - 深度（RGB-D）信息，并建立了基于区域的快速卷积神经网络（Fast R-CNN）模型，以实现西红柿尺寸、体积和重量的精确非接触估算。Ferrer-Ferrer 等人（2023）开发了一个多任务深度神经网络框架，以同时执行目标检测和尺寸估算。Wang 等人（2024）提出了一种适合自然环境的智能测量系统；通过集成改进的单次检测第 5 版 - 循环生成对抗网络（YOLOv5-GAN），他们有效克服了成熟度分级和尺寸测量中光照和复杂背景的干扰。然而，视觉检测仅捕捉成熟度和尺寸以间接推断质量，容易产生“外好内坏”的误判。此外，其检测准确性容易受到光照条件和水果遮挡等环境因素的干扰。

触觉传感技术可以精确捕捉硬度和内部生理信号，为内部质量评估提供可靠依据。Zhang 等人（2021）利用触觉阵列传感器在抓取水果期间收集原始序列，使用主成分分析 - 支持向量机模型，实现了水果硬度（例如苹果和西红柿）90% 的在线识别准确率。为了增强传感灵活性，Mohsan 等人（2025）开发了一种可穿戴的视觉 - 触觉传感设备。该设备模拟人类指尖的压力感觉，并采用卷积神经网络 - 长短期记忆（CNN-LSTM）模型分析弹性体变形图像，从而能够通过单次按压精确估算猕猴桃硬度。关于软抓取需求。Lin 等人（2023）设计了一种基于 Fin-Ray 效应的仿生软夹爪。通过捕捉手指变形视频并使用基于注意力的 CNN-LSTM 算法处理特征，他们实现了西红柿和油桃的成熟度分级以及无损抓取。

虽然触觉传感器可以捕捉抓取力和滑动，但它们仍然无法有效量化水果本身的内部生理信号。Sui 等人（2025）和 Cao 等人（2025）使用柔性电极和电化学阻抗谱（EIS）研究了南果梨和猕猴桃。他们的工作表明，EIS 可以探索内部生理信号并表征水果硬度与阻抗之间的关系。然而，这些研究没有考虑水果尺寸对电气参数的影响。水果尺寸和硬度都会影响测量的电化学阻抗值，导致单模态触觉模型在预测阻抗时的可靠性降低（Yu 等人，2025；B. Zhang 等人，2025）。

为了在果蔬收获和筛选场景中实现快速无损的质量分拣，本研究提出了一种模拟人类行为、“先看不摸”的筛选方法，过程如图 1(a) 所示。采用视觉优先触发的分级决策架构：(1) 视觉模块用于初始成熟度筛选；(2) 一旦达到成熟度决策阈值，触发触觉模块收集生物阻抗信息；(3) 通过多模态数据融合建立融合的硬度检测模型。本研究提出的评估框架能够实现成熟度、尺寸和硬度的综合分级，为农业分拣设备的智能化提供了创新解决方案。

章节片段

材料与方法

提出了一种用于西红柿无损质量感知的视觉触发跨模态 VFT-VTF 框架，如图 1(b) 所示。该框架由三个层级组成：L1，用于成熟度和尺寸确定的视觉感知阶段；L2，基于接触的触觉电气参数感知阶段，利用柔性电极捕捉 EIS 信号；以及 L3，融合层，集成视觉 - 触觉信息。

L1 采用基于 YOLOv5 的视觉识别模型来

西红柿成熟度分类

如图 3(a) 所示，视觉模型表现出优越的特征提取能力。在测试集上，模型达到了 95.5% 的平均平均精度（mAP@0.5），关于成熟度类别，成熟水果达到了最高精度（mAP = 96.4%），因为红色果实与绿色叶片之间颜色对比鲜明。未成熟水果尽管与背景相似，但也达到了 96.0% 的准确率，而半成熟水果达到了 94.5%。这些结果表明

检测机制与特征融合

本研究构建的 VFT-VTF 框架模拟了人类水果质量评估的认知过程。通过视觉优先触发，西红柿在抓取前进行预筛选以过滤非目标水果，显著提高了系统效率。如果西红柿质量视觉分类的置信度大于或等于 0.6，则完成分级过程并拾起西红柿，从而提高系统效率；否则，触觉

结论

本研究通过提出基于 VFT-VTF 的西红柿质量无损感知框架，解决了传统单模态水果检测的局限性。通过建立表面信息（成熟度、尺寸）与内部特征 EIS、硬度之间的关联映射，该框架克服了复杂环境中单模态方法固有的信息丢失和感知歧义。

在物理层面，一种集成软抓取和软感知的仿生末端执行器

作者贡献声明 (CRediT)

Wei Zezhi：撰写 - 原稿，软件，资源，项目管理。Gong Minghao：可视化，验证，项目管理，方法论，调查。Gao Jiale：撰写 - 原稿，可视化，数据整理。Hou Mingyang：撰写 - 原稿，可视化，构思。Cao Qiang：可视化，项目管理，方法论，形式分析，数据整理，构思。Weng Tianhao：撰写 - 审查与编辑，撰写 - 原稿，

未引用参考文献

Sui 等人，2025a；Zhang 等人，2025；Zhang 等人，2025。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文报告的工作。

名词缩写

VFT-VTF

视觉优先触发的视觉 - 触觉融合

EIS

电化学阻抗谱

LSTM

长短期记忆

RGB-D

红绿蓝 - 深度

YOLOv5

单次检测第 5 版

TPU

热塑性聚氨酯

MAE

平均绝对误差

mAP

平均平均精度

MAPE

平均绝对百分比误差

CNN-LSTM

卷积神经网络 - 长短期记忆

WPU

水性聚氨酯

MLP

多层感知器

BN

批归一化

t-SNE

t 分布随机邻域嵌入

Tianhao Weng|Qiang Cao|Minghao Gong|Zezhi Wei|Mingyang Hou|Jiale Gao|Xunan Sui|Longlong Feng|Junling Wang

沈阳农业大学工学院，中国沈阳 110866