《AgriEngineering》:Non-Destructive Coconut Maturity Classification from Tapping Sounds Using Frozen CLAP Embeddings and Multi-Event Aggregation
编辑推荐:
声学传感是非破坏性水果品质评估的一种有价值的方法。对于椰子成熟度的判定,由敲击引发的声学响应可能传递相关信息;然而,记录级别的分析可能无法充分利用单个敲击观测值或每个果实可获得的重复测量数据。本研究开发了一个用于候选敲击事件级别和果实级别分类的分层框架。研究人
声学传感是非破坏性水果品质评估的一种有价值的方法。对于椰子成熟度的判定,由敲击引发的声学响应可能传递相关信息;然而,记录级别的分析可能无法充分利用单个敲击观测值或每个果实可获得的重复测量数据。本研究开发了一个用于候选敲击事件级别和果实级别分类的分层框架。研究人员分析了一个公开数据集,该数据集包含未成熟、成熟和过熟三个类别,并在三个棱脊位置记录了这些椰子。研究人员使用带限能量准则选取了候选敲击事件片段,并使用传统的梅尔频谱表示或从预训练的对比语言-音频预训练(CLAP)模型中提取的冻结嵌入来表示这些片段。在此表示框架内,研究人员评估了多种传统机器学习与深度学习配置。采用果实不相交划分法,防止来自同一椰子的观测值出现在不同的模型开发和评估子集中。事件级别的预测通过多数投票法在敲击事件和棱脊位置间进行聚合。结合CLAP嵌入和正则化多层感知器(MLP)的配置在评估的配置中取得了最高的平衡准确率,在事件级别达到64.72%,在果实级别达到93.06%。当下游MLP保持不变时,CLAP在事件级别比梅尔频谱对照组高出8.89到10.18个百分点,在果实级别高出34.73到38.89个百分点。对于CLAP-MLP配置,果实级别的平衡准确率比事件级别高出28.34个百分点(93.06%对比64.72%)。这些结果表明,通用预训练音频嵌入保留了与椰子成熟度判别相关的信息,并且当事件级别的预测足够有效时,组合重复观测可以显著改善果实级别的决策。
论文解读文章
研究背景与问题
可靠的采后评估对于维持农产品质量、减少损耗以及支持高效分级至关重要。其中,成熟度是一个关键属性,它直接影响果实的理化性质、感官品质、货架期和加工适宜性。传统的成熟度评估常依赖人工视觉检查、触觉检验或经验判断,这种方法虽简便廉价,但易受主观因素影响,导致可重复性和通量受限。对于椰子而言,其商业用途高度依赖于成熟阶段:嫩椰主要用于水和嫩胚乳,而老椰则用于固体胚乳、椰奶和油脂等加工产品。因此,可靠的成熟度评估对于将果实导向合适的市场和加工环节至关重要。尽管通过敲击椰子并听辨声音是一种传统评估方法,但手动解释需要丰富经验,且易受敲击力度、位置和环境噪声的影响,难以标准化和规模化。现有的声学传感研究虽然证明了敲击声中包含可判别的成熟度信息,但其采用的表示方法多为针对特定任务设计的特征或深度学习架构,性能高度依赖于作物特定的特征工程和标记数据的可用性。此外,以往的研究多侧重于记录级别的分析,未能充分利用每次敲击事件的独立信息和每个果实上的多次重复测量数据。因此,有必要探索一种更通用、鲁棒性更强的非破坏性椰子成熟度评估方法。
研究内容与结论
为解决上述问题,本研究提出了一种分层框架,旨在利用敲击声学信号实现非破坏性的椰子成熟度分类。研究人员使用了Caladcad和Piedad公开发布的数据集,该数据集包含来自菲律宾高种椰子的127个果实,分为未成熟、成熟和过熟三类,每个果实在三个中央侧棱脊位置被分别记录。研究的核心目标是:1)评估通用预训练音频模型CLAP的嵌入表示在农业声学这一专门领域的迁移能力;2)比较这种通用预训练表示与传统梅尔频谱表示的性能差异;3)分析多事件聚合策略对果实级别成熟度分类的有效性。最终得出的结论是,结合冻结CLAP嵌入和下游正则化MLP的分类器在事件级和果实级均取得了最优性能,特别是果实级平衡准确率达到93.06%,表明通过多数投票聚合多个敲击事件可以显著提升决策的可靠性。这证明CLAP嵌入作为一种通用表示,能够成功迁移至短促、领域特定的农业声学信号分类任务中。
关键技术方法
为实现上述目标,研究人员采用了以下几个关键技术方法:
- 1.
果实不相交数据划分:以果实为基本分组单位,将所有来自同一椰子的录音数据严格分配到训练、验证或测试子集中,防止数据泄露,确保评估的公正性。
- 2.
基于能量的候选事件选择:对每个3秒长的棱脊录音进行分析,计算5-15kHz频带的帧能量。通过设定基于该录音自身能量分布的动态阈值(第90和第50百分位数),自动筛选出高能量的100毫秒片段作为候选敲击事件段,排除了低能量的背景噪声。
- 3.
两种声学表示方法:
- •
传统梅尔频谱表示:包括梅尔带特征和梅尔频率倒谱系数(MFCCs),作为性能对照基准。
- •
冻结CLAP嵌入:使用预训练的LAION-CLAP模型的音频编码器,提取每个候选片段的512维嵌入向量,且保持编码器参数冻结,仅训练下游分类器。
- 4.
下游分类器与多事件聚合:训练了多种分类器(如LightGBM、支持向量机SVM、正则化多层感知器MLP等)对上述表示进行分类,得到事件级预测。随后,对同一果实所有候选事件和棱脊位置的硬预测结果进行无权重多数投票,获得最终的果实级成熟度判定。
研究结果
3.1 敲击录音的示例性频谱图
通过展示不同成熟度和不同棱脊位置的完整录音频谱图,直观地说明了敲击响应表现为短时宽带结构,其幅度、带宽在不同果实及同一果实的不同棱脊间均存在差异。这定性地证实了单次声学观测会受到冲击和记录条件变化的影响,也解释了为何需要聚合多个事件来提高决策的鲁棒性。
3.2 候选敲击事件段的分布
经过能量选择程序,共获得4747个候选事件段。由于果实级划分,所有片段被分配到训练集(3772个)、验证集(237个)和测试集(738个)。初始的127个果实中,有5个因未产生任何候选事件而被排除,最终用于分析的果实为122个(训练72个,验证12个,测试38个)。
3.3 基于验证集的常规参考模型选择
在使用12维梅尔带特征的条件下,对五种常规分类器进行评估。根据验证集上的平衡准确率,LightGBM表现最佳(0.6778),因此被选作常规参考配置,用于后续的最终测试评估。
3.4 事件级和果实级的最终测试性能
在包含38个果实、738个候选事件的测试集上进行评估。结果显示,冻结CLAP嵌入结合正则化MLP(CLAP-MLP)配置在所有评估方案中性能最高,事件级平衡准确率为64.72%,果实级平衡准确率高达93.06%。其果实级混淆矩阵显示,错误主要集中在成熟和过熟的边界上,而未成熟的两个果实均被正确分类。
3.5 声学表示和多事件聚合的影响
通过控制下游MLP分类器不变,比较不同声学表示的实验发现,CLAP嵌入在事件级比梅尔带和MFCC表示分别高出8.89和10.18个百分点,在果实级则高出34.73和38.89个百分点。这表明冻结的CLAP嵌入提供了更丰富的信息。同时,多数投票的聚合效果并非对所有配置都有益。对于CLAP-MLP配置,聚合使平衡准确率提升了28.34个百分点;而对于CLAP-RBF-SVM和MFCC-MLP配置,聚合反而导致了性能下降。这说明聚合的有效性取决于事件级预测的信息含量和误差结构。
3.6 与先前研究的关系及局限性
本研究通过评估冻结的通用音频表示、强制实施果实不相交划分以及明确区分事件级和果实级性能,扩展了先前的工作。研究指出,多数投票的配置依赖性具有实际意义,即聚合只有在底层事件预测包含足够一致信息时才有效。此外,CLAP分支的计算成本远高于梅尔频谱分支,其部署需要考虑模型压缩或离线计算。研究还发现,CLAP-MLP的性能对短输入信号的适配方式(补零 vs. 波形重复)敏感,当前的结论是基于补零策略的。最后,研究强调其局限性在于数据集规模有限、类别不平衡(尤其是未成熟果实样本极少),且缺乏对果实物理特性和敲击力度的精确测量,因此结果的普适性有待进一步验证。
讨论总结与结论翻译
讨论总结:
研究表明,CLAP嵌入作为一种通用音频表示,在与适当的下游分类器(如MLP)结合并通过多事件聚合后,能够在特定实验条件下有效地完成椰子成熟度分类任务。然而,该方法的效果高度依赖于表示与分类器的组合、事件预测的质量以及输入适配策略。未来工作需要在更大、更均衡的数据集上进行验证,并应记录果实的几何、质量和内部组成等详细信息,以建立结构-声学关系并评估模型的鲁棒性。
结论部分翻译:
本研究调查了从预训练音频基础模型中提取的冻结嵌入,向使用椰子敲击产生的声学记录进行非破坏性果实成熟度分类任务的迁移能力。候选敲击事件片段使用传统的梅尔频谱表示或冻结的CLAP嵌入来表示,并在事件级别进行分类。随后,通过多数投票法将得到的预测结果在敲击事件和棱脊位置间进行聚合,从而为每个果实获得一个成熟度判定。在评估的各种配置中,冻结CLAP嵌入与下游正则化MLP的组合产生了最高的事件级和果实级平衡准确率。对于此配置,在多数投票后观察到的更高果实级平衡准确率表明,重复的敲击观测可能为果实级分类提供互补的证据。这些结果表明,尽管CLAP嵌入是从异构的通用音频数据中学习而来,但它保留了能够迁移至来自完全不同应用领域的短促脉冲信号的声学信息。现有数据集的有限规模和显著的类别不平衡,特别是未成熟果实数量少,限制了所报告估计值的泛化能力和精度。因此,未来的研究应使用更大、更均衡的数据集,涵盖更多椰子品种和独立的采集条件,来评估该方法,并比较将短敲击事件片段适配至CLAP输入时长的替代策略,包括保留其自然声学背景的更长时间片段。总体而言,这些发现支持继续探索将音频基础模型作为可迁移的表示,用于农产品的非破坏性声学评估。由于CLAP编码器在规模和计算需求上远超梅尔频谱替代方案,嵌入式部署将需要模型压缩或离线计算;未来的工作还应记录果实的几何形状、质量、敲击力和内部成分。