MCAFNet：一种多模态视听交叉注意力融合网络，用于枝头榴莲（Durio zibethinus L.）果实成熟度评估

《Computers and Electronics in Agriculture》：MCAFNet: A multimodal audio-visual cross-attention fusion network for on-the-branch durian ( Durio zibethinus L.) fruit maturity assessment

　　

# 在枝榴莲果实成熟度评估的多模态音视频数据特征融合模型

## 主要贡献
- 针对在枝榴莲果实成熟度评估，开发了一种多模态音视频数据特征融合模型。
- 提出MCAFNet模型，集成了由改进的SG-YOLO模型提取的敲击音频、果实和果柄视觉模态。
- MCAFNet模型结合多交叉注意力机制，聚焦于模态内特征感知和模态间特征融合。
- 集成果实、果柄和音频特征的MCAFNet模型显著提升了整体分类性能。
- 部署了一套实时多模态应用系统工具，用于田间榴莲采收决策支持。

## 引言

榴莲（Durio zibethinus L.），被誉为"热带水果之王"，以其丰富的营养价值、独特的风味和可观的经济价值而备受珍视（Subhadrabandhu and Ketsa, 2001, Yew and Wee, 2026）。近年来，在全球贸易扩张和市场需求增长的推动下，榴莲产业快速发展。然而，采收成熟度仍然是榴莲生产中的关键挑战：过早采收会导致营养积累不足和风味品质下降，而过迟采收则增加了果实开裂和腐烂的风险（Yongyut et al., 2025）。过早和过迟采收都会给种植者带来经济损失。因此，准确、快速地评估榴莲果实成熟度，对于确保果实质量和提高果实生产的盈利能力至关重要。

传统上，榴莲成熟度评估主要依赖经验丰富的种植者，他们通过倾听敲击声音（Kharamat et al., 2020）、观察果皮颜色（Phuangsombut et al., 2018）、评估果柄外观（Imai et al., 2025）和评价果实香气（Wattanasan et al., 2024）来判断果实成熟度。虽然这些经验方法被广泛采用，但它们劳动密集、主观性强且可重复性差，与现代标准化生产不相容。此外，现有的榴莲成熟度评估研究主要集中在果后管理上，无法直接应用于复杂的果园环境，也难以有效指导实时采收决策（Nguyen et al., 2024, Thipsrirach et al., 2023）。由于现有方法无法满足对精准在枝成熟度评估日益增长的需求，因此需要开发一种准确、快速且非破坏性的检测方法。

"Monthong"榴莲品种是最受欢迎的品种之一（Posom et al., 2025）。果实外皮在早期呈绿色，随着果实成熟逐渐变为黄绿色或浅棕色。果实表面覆盖着短而钝的刺，而粗壮的果柄在成熟自然脱落前会进行逐步木质化。榴莲成熟度评估涉及多个指标，包括开花后天数（DAA）、果柄强度、果皮颜色以及敲击果实产生的声学特征（Ketsa et al., 2020, Siriphanich, 2011）。除了DAA外，其他所有指标都可以由经验丰富的工人可靠地解读。因此，开发一种能够获取视觉和声学信息的系统，为传统人工成熟度评估提供了一种切实可行的替代方案。

随着深度学习的快速发展，基于计算机视觉的方法在提取颜色、纹理和形态特征方面展现了卓越的能力（Liu et al., 2021）。这些技术已成功应用于热带果实的成熟度分类任务（Zhang et al., 2025a）。然而，基于视觉的榴莲成熟度评估面临两个根本性挑战：（1）外部特征滞后：外部颜色/纹理变化通常滞后于内部生理成熟；（2）环境敏感性：果园中变化的光照和遮挡会降低特征的稳定性。这些局限性表明，单一视觉模态不足以实现对在枝榴莲成熟度的可靠评估。

与视觉信息相辅相成的是，基于声学的检测技术通过分析机械激励产生的声音响应来推断内部结构特性（Kharamat et al., 2020, Nguyen et al., 2024）。先前的研究表明，声学特征（如共振频率、衰减行为、频谱模式）与内部属性（包括硬度、空腔形成和组织退化）之间存在强相关性（Ding et al., 2021）。对于榴莲果实而言，成熟过程中的内部变化（如果肉软化和气腔扩大）会显著改变其声学响应，为非破坏性成熟度评估提供了坚实的理论基础。虽然声学方法能揭示内部特性，但它们容易受到环境噪声（如风、机器）的影响，且在田间部署较为困难。

与单模态方法相比，多模态检测整合了来自异构来源的互补信息，在准确性和鲁棒性方面均有提升。然而，现有针对榴莲成熟度评估的多模态研究主要依赖于将单一模态转换为不同的数据表示进行融合（Phapatanaburi et al., 2025），这仍然限制了提取特征的表现力。此外，大多数研究仍局限于果后管理操作（Cheepsomsong et al., 2025），限制了其在果园采收指导中的适用性。音视频融合的一个关键挑战在于解决异构特征空间中的弱类间区分度和不足的类内紧密度问题。克服这些挑战对于实现可靠的成熟度分类至关重要。因此，需要一种新颖的融合策略，以充分利用模态特定特征，同时显式建模深层模态间交互。

针对这些挑战，本研究旨在开发一种新颖的多模态交叉注意力融合网络（MCAFNet）用于在枝榴莲成熟度评估，并配套实际应用系统。通过将敲击音频信号中的内部信息与果实和果柄图像中的外部信息相结合，MCAFNet建立了一个全面的多模态成熟度评估框架。

主要贡献总结如下：

- **新颖的多模态融合网络**：开发了一种音视频MCAFNet模型，用于整合同一在枝榴莲样品的敲击音频、果实图像和果柄图像，实现准确的成熟度级别评估。
- **多交叉注意力融合机制**：设计了一种基于Transformer的多交叉注意力模块，增强模态内特征表示和模态间深层交互，有效克服单模态评估的局限性并提高分类准确率。
- **田间多模态数据集与优化预处理**：构建了一个包含不同成熟度级别榴莲敲击音频和图像数据的真实果园数据集。开发了一种改进的轻量级SG-YOLO模型，以准确提取果实和果柄区域，并进行了全面实验验证所提出的方法。
- **实际应用系统部署**：通过部署所提出的多模态模型，开发了一个智能成熟度评估系统，为果园环境中的精准采收和决策提供实用可靠的工具。

本文其余部分组织如下：第2节回顾了基于视觉和基于音频的果实成熟度评估以及多模态信息融合的相关工作。第3节描述了材料与方法，包括数据采集、基于SG-YOLO的果实-果柄提取、声学特征表示、MCAFNet开发和模型评估。第4节呈现了实验结果和讨论。第5节讨论了局限性和未来方向，第6节总结了主要结论。

## 相关工作

为实现复杂果园环境下准确的在枝榴莲成熟度分类，本节系统回顾了现有的果实成熟度评估和多模态信息融合研究，特别关注基于视觉和基于音频的检测方法。通过分析现有方法的优点和局限性，为所提出的音视频多模态交叉注意力融合框架奠定了理论基础和动机。

### 综述

整合视觉和声学信息是提高分类准确率的有效策略。然而，由于图像和音频数据之间固有的异构性，简单的操作（如逐元素相加或拼接）往往无法实现有效融合。这些操作直接组合异构特征，但未显式建模模态间依赖关系，从而限制了其利用互补跨模态信息的能力。

### 消融实验

为评估所提出的SG-YOLO模型改进的有效性和可行性，使用不同的修改策略进行了全面的消融实验（表1）。主要改进策略包括：用StarNet替换YOLOv11n的骨干网络，创建指定为S-YOLO的模型；用GhostConv替换YOLOv11n颈部网络中的标准卷积，形成G-YOLO；以及同时采用两种策略以获得……

## 局限性与未来方向

当多模态样本有限时，跨模态特征组合的多样性可能无法得到充分体现，这可能影响多模态联合学习的综合评估。为改善数据利用和评估可靠性，本研究采用了果实级别的分层五折交叉验证，并在每个训练折内进行数据增强。交叉验证结果表明，MCAFNet在当前条件下维持了可靠的分类性能……

## 结论

本研究开发了MCAFNet，这是一个通过交叉注意力融合集成果实图像、果柄图像和敲击果实声学信号的多模态框架，用于在枝榴莲成熟度评估。建立了面向田间的数据采集方案和基于SG-YOLO的果实与果柄提取方法，以支持互补成熟度相关信息的协同采集和处理。

所提出的SG-YOLO提高了果实和果柄识别能力，同时增加了推理……

## CRediT作者贡献声明

- **Jianping Jing**：写作—审稿与编辑，写作—原稿撰写，验证，软件，方法论，调查研究，数据管理，概念化。
- **Zhao Zhang**：写作—审稿与编辑，指导，资源，项目管理，资金支持获取。
- **C. Igathinathane**：写作—审稿与编辑。
- **Yiwei Zhang**：写作—审稿与编辑，指导。
- **Fuwang Yang**：写作—原稿撰写，指导。
- **Fazeel Abid**：写作—审稿与编辑。
- **Zhaoxi Zhou**：写作—审稿与编辑。

## 利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文所述的工作。

## 致谢

本研究得到三亚市科技专项资金（2024KJFX006）和海南国际合作重点研发计划（GHYF2026035）的资助。

**作者**：Jianping Jing | Zhao Zhang | C. Igathinathane | Yiwei Zhang | Fuwang Yang | Fazeel Abid | Zhaoxi Zhou | Mahmoud A. Abdelhamid