多模态时空感知融合：基于迭代膨胀卷积图时序神经网络的鱼类应激智能分类系统

《Computers and Electronics in Agriculture》：Multimodal spatiotemporal perception fusion: An intelligent classification system for fish stress using iterated dilated convolutional graph temporal neural network

　　一个针对多模态鱼类压力分类的新型时空融合混合模型被提出。该模型通过特征级和决策级融合有效地整合了多模态数据。图神经网络显式捕获了多模态传感器特征之间的非线性相互作用。所提出的方法以94.29%的准确率实现了最先进的性能。该系统实现了实时监测，并在活鱼运输场景中提供了实际应用。鱼类压力反应是水产养殖过程中重要的监测指标，快速准确地识别鱼类压力状态对于减少经济损失具有重要意义（Bortoletti等人，2023）。传统方法主要依赖人工观察、生化指标分析或单传感器数据分析，难以全面捕获与鱼类压力相关的复杂生理变化（Huang等人，2025a，Wu等人，2015）。近年来，深度学习技术在生物信号处理领域展现了巨大潜力，但仍面临多源时间序列数据融合和特征间非线性关系建模等挑战（Sun等人，2025）。鱼类压力反应涉及呼吸、阻抗和环境因素等多维度生理信号的变化（Mukherjee、Moniruzzaman、Chakraborty、Lek及Ray，2017）。这些信号既具有时间依赖性，又表现出复杂的特征相互作用。现有研究主要采用单一网络结构（LSTM或CNN）来处理此类问题，未能充分利用时空特征的协同效应（Feng等人，2022）。从多模态数据处理的一般角度来看，Okmi等人构建了多源传感数据融合流水线的系统分类（Okmi、Por、Ang、Al-Hussein及Ku，2023），为梳理本研究采用的异构生理信号分层融合逻辑提供了标准化的分析范式。例如，温度突然升高可能导致呼吸频率加快，但这种关系并非简单的线性关系，而是受多种因素影响（Mukherjee等人，2017）。Ku等人验证了基于LSTM的框架在复杂金融时间序列上的稳定序列学习能力（Ku等人，2023），为我们采用BiLSTM来建模长时程慢性压力生理序列提供了坚实的理论支持。此外，鱼类压力反应涉及自身生理指标的动态调控，由于涉及的复杂非线性耦合机制，传统线性模型难以捕获这一点（Wang、Zhang、Liu、Adányi及Zhang，2020）。在生物医学序列信号检测领域，He等人提出了注意力增强的trans-LSTM用于癫痫脑电图分析，证明了将结构建模与时间循环单元相结合来挖掘隐含跨特征相关性的巨大潜力（He、Yang、Alroobaea及Por，2024）。因此，迫切需要开发能够同时建模时间动态和特征相互作用的新型深度学习框架，以实现更准确的压力状态识别。在此背景下，GNN为表征多模态鱼类压力信号提供了合适的机制，因为它们可以显式建模异构生理和环境变量之间的结构依赖关系。与主要将传感器通道视为独立或简单拼接输入的传统CNN或LSTM模型不同，GNN可以将温度（T）、相对湿度（RH）、呼吸频率（RF）、呼吸强度（RI）、阻抗幅值（IM）和相位角（P）视为图节点，而边表示这些变量之间的潜在跨模态相互作用。这种基于图的表征对于鱼类压力表征特别有用，因为在不同的压力阶段，呼吸抑制、阻抗波动和环境变化可能以非线性方式相互作用。Taherinavid等人采用深度强化学习融合智能手机多传感器数据以实现交通方式识别，证明了多模态联合建模可以显著增强分类模型的判别能力（Taherinavid等人，2023）。因此，在提出的框架中引入GNN使模型能够捕获时间模式以及变量间的生理耦合，从而提高多模态压力分类的可解释性和鲁棒性。目前在鱼类压力监测中面临的主要挑战包括：首先，传感器数据的高噪声水平是限制监测精度的主要瓶颈（Simon等人，2017）。现有过滤和插值方法在复杂工作条件下往往效果不佳，需要开发更鲁棒的特征提取算法（Hu、Zhao、Zhang、Zhou及Chen，2021）。其次，不同监测特征对分类的贡献差异显著。研究表明，不同的压力指标与标准鱼类压力指标的关联性不同。传统的等权重特征融合方法难以适应这种异质性，需要建立动态特征交互机制（Owen及Emma，2024）。最后，压力反应的时间动态性表现出多尺度特征（Petitjean等人，2019）。实验数据表明，急性压力在秒级尺度上表现，而慢性压力需要数小时才能可靠检测。这种时变特性对模型感受野的设计提出了特殊要求，因为单一时间窗口无法容纳具有不同响应速度的压力模式。综上所述，本文提出了一种结合IDCNN、GNN和BiLSTM的混合深度学习模型，通过多层次特征融合来提高鱼类压力分类的准确性和鲁棒性。本文的主要贡献包括：（1）提出了一种新颖的IDCNN-GNN-BiLSTM混合架构，首次将图神经网络引入鱼类压力分类；（2）设计了用于特征的全连接图结构，以显式建模多源传感器数据中的非线性关系；（3）通过系统消融实验验证了每个模块的必要性；（4）提出了一种鱼类压力分类的决策支持系统，为实际模型应用提供了切实可行的途径。早期鱼类压力监测主要依赖传统机器学习方法，如支持向量机（SVM）和随机森林（Feng、Zhang、Zhang、Chen及Zhang，2021）。这些方法通常需要手动特征工程和选择，例如提取时域统计量（均值、方差）或频域特征（FFT系数）（Petitjean等人，2019）。然而，此类方法难以处理高维时间序列数据，且特征...适当的特征选择是检测和分类鱼类压力的基础。呼吸、生理阻抗和环境数据可以提供互补信息。呼吸参数（RF、RI）直接反映鱼类的即时生理状态变化，对急性压力特别敏感。生理阻抗特征（包括IM和P）表征细胞膜完整性和组织含水量，是评估慢性...所有实验均在Windows 10操作系统上进行，使用配备Intel? Wi-Fi 6E AX211 160 MHz和NVIDIA RTX 4060笔记本GPU的训练平台。网络构建和训练使用PyTorch和Python 3.11完成。数据预处理和数据增强过程如图6所示。多模态数据由六个变量组成，包括T、RH、RF、RI、IM和P。为了减少异构传感器变量之间的维度差异，每个...本研究通过提出一种集成IDCNN、GNN和BiLSTM的混合深度学习模型来解决鱼类压力分类任务。通过多阶段特征融合，该模型实现了对多源传感器数据的高效建模，包括鱼类RF、RI、IM、P、T和RH。该模型创新性地采用IDCNN提取局部时间特征，利用GNN显式建模六个特征节点之间的非线性关系，并最终融合时空信息...**Wentao Huang：** 撰写——初稿，软件，方法学，调查研究，概念化。**Haoyu Wen：** 撰写——初稿，软件，方法学，形式分析，概念化。**Yingsheng Li：** 形式分析，概念化。**Xiaoshuan Zhang：** 指导，资金获取。作者声明他们不存在已知的可能影响本文所述工作的竞争性财务利益或个人关系。作者衷心感谢海南省自然科学基金创新研究团队（项目编号：323CXTD380）以及国家自然科学基金委员会的资助（项目编号：62276267）。Wentao Huang|Haoyu Wen|Yingsheng Li|Xiaoshuan Zhang