基于红外相机图像的MWAC野生动物多模态识别方法

《Integrative Zoology》：A Wildlife Multi-Modal Recognition Method Based on Infrared Camera Images Using MWAC

　　

如今，红外相机技术已成为大规模监测与评估野生动物的重要工具，并产生了海量图像数据，但如何快速识别野生动物物种已成为当前的一大难题。为解决这一问题，本研究提出了MWAC，一种通过整合图像与文本描述实现对红外相机图像中野生动物物种精确分类的模型。首先，研究人员提出了小波KAN模块（WDS-KAN），用于野生动物图像的多尺度特征提取，使模型能够更准确地捕捉动物图像中的细微变化。其次，提出了标签关联文本提取模块（LC-BERT），以捕捉数据集中的标签共现模式与层级关系，从而增强模型的泛化能力。最后，提出了多策略长鼻浣熊优化算法（MSCOA），该算法增强了全局搜索最优解的能力，有效避免了陷入局部最优，并加快了模型训练速度。为验证模型的有效性，研究人员构建了一个包含10种野生动物的数据集。实验结果表明，MWAC模型的准确率（Accuracy）达97.53%，精确率（Precision）达97.33%，召回率（Recall）达95.84%，F1值（F1）达97.51%，均优于现有模型，表明该模型在野生动物快速识别等方面具有良好的效果，可应用于大规模野生动物监测与评估。

一、研究背景与问题

野生动物作为生态系统的重要组成部分，在维持生态平衡和促进生物多样性方面具有不可替代的作用。随着全球环境变化和人类活动的加剧，野生动物的保护与监测已成为生态学研究和自然保护的核心任务之一。红外相机技术已成为大规模监测和评估野生动物的重要工具，并产生了海量图像数据，但如何快速识别野生动物物种仍是当前面临的重大挑战。深度学习的引入为野生动物图像识别带来了革命性突破，能够高效处理和分析大规模图像数据，并以较高精度完成分类识别任务，减少人工负担的同时提升监测的准确性和实时性。

然而，现有研究仍面临三大主要挑战：第一，复杂的拍摄环境（如植被、阴影和光照变化）会造成背景干扰，影响模型对动物主体的特征提取能力；许多野生动物外观相似，尤其在局部纹理和边界上难以通过传统特征提取方法有效区分；在高维特征提取中，如何在保留关键特征的同时减少冗余信息并保证计算效率也是难题。第二，存在标签相关性利用不足、标签噪声不一致和标签分布不平衡等问题，复杂的标签关系（如野生动物层级或共现模式）难以建模，导致模型难以准确捕捉标签间依赖关系，尤其在低频野生动物分类和未知野生动物处理上表现不佳。第三，学习率的设置对训练效果和收敛速度至关重要，学习率过大易导致训练不稳定，过小则训练缓慢，固定学习率难以适应不同阶段的动态需求，不合理的多模态数据学习率还可能加剧梯度爆炸、消失或过拟合等问题。

二、研究内容与结论

针对上述挑战，研究人员提出了MWAC，一种面向红外相机图像的多模态野生动物分类框架。该框架通过整合野生动物图像的视觉信息与图像配对的文本描述，利用文本作为辅助语义来源，增强多模态表示学习并提升物种级分类性能。实验结果表明，MWAC模型在自建数据集上取得了97.53%的准确率、97.33%的精确率、95.84%的召回率和97.51%的F1值，均优于现有模型，表明该模型在野生动物快速识别方面效果良好，可应用于大规模野生动物监测与评估。

三、关键技术方法

研究人员构建了包含9115幅红外相机图像的自建数据集，数据来源于中国广东车八岭国家级自然保护区，涵盖10种野生动物物种，并对每幅图像标注了详细的文本描述。研究中主要采用了三项关键技术：一是提出了小波KAN模块（WDS-KAN），创新性地结合了哈尔小波下采样模块（WDS）和图KAN（GPK）图像特征提取层，通过多尺度无损分解保留关键边界与纹理信息，并利用KAN网络增强对野生动物图像细微特征差异的建模能力；二是提出了标签关联文本提取模块（LC-BERT），通过捕捉数据集中的标签共现模式和层级关系增强模型泛化能力；三是提出了多策略长鼻浣熊优化算法（MSCOA），将佳点集方法和黄金正弦算法集成到长鼻浣熊优化算法（COA）中，提高种群初始化均匀性、增强全局搜索效率并加速收敛。

四、研究结果

MWAC性能分析： 通过与基准模型ResNet50的对比，MWAC模型展现出更小的训练损失和更稳定的收敛表现，训练损失与验证损失之间的差异更小，最终收敛点更低且更稳定，表明MWAC更契合野生动物数据的特征。

模块有效性实验： 在WDS-KAN模块评估中，WDS-KAN在准确率、精确率、召回率和F1值上均优于VMamba、ResNet50、Twins-SVT-L、DenseNet、T2T-24和Swin-B等主流特征提取网络。在LC-BERT模块评估中，LC-BERT相比BERT、TinyBert、BERT-CNN和TextConvo等文本特征提取模块，在准确率、精确率和F1值上均有所提升。在MSCOA算法评估中，MSCOA相比COA、DBO、GWO、WOA和PSO等优化算法，显著提升了网络结构的性能，且收敛速度更快、结果分布更集中稳定。

统计分析与消融实验： 通过五折交叉验证评估了模型性能，K-S检验和Mann-Whitney U检验均表明预测值与实际值无显著差异。消融实验采用控制变量法依次引入WDS-KAN、LC-BERT和MSCOA三个模块，结果表明WDS-KAN模块平均提升准确率11.14%，LC-BERT和MSCOA分别带来5.6%和5.88%的准确率提升，三个模块均对模型性能产生积极影响。

对比实验： 在单模态与多模态方法对比中，多模态方法一致优于单模态方法，其中WK-LC-BERT取得了95.50%的准确率和95.34%的F1值。在与MobileNetV3、Swin-Transformer-S、ViT-BERT、FHTW-Net、DINOv2、CLIP和HCA-MFFNet等先进模型的对比中，MWAC取得了最佳综合性能，准确率97.53%、精确率97.33%、召回率95.84%、F1值97.51%。

可视化结果对比： 利用Grad-CAM算法生成热力图，对比MWAC、HCA-MFFNet、DINOv2和FHTW-Net的感兴趣区域可视化结果。MWAC在10种野生动物识别中具有最高的识别准确度，受无关背景影响最小，即使在复杂环境中也能识别出野生动物出现的大致位置。

泛化实验： 在番茄叶部病害光谱（TLDS）数据集上，MWAC取得了98.57%的准确率、98.59%的精确率、96.76%的召回率和97.89%的F1值；在Snapshot Serengeti数据集上取得了90.12%的准确率、90.65%的精确率、88.93%的召回率和89.78%的F1值，且均未进行数据集特定的微调，展现了良好的跨域泛化能力。

五、结论

研究结果表明，多模态方法一致优于单模态方法，凸显了在野生动物分类任务中整合图像与文本信息的价值。在相同评估条件下，MWAC在对比方法中取得了最强的综合分类性能，证实了所提框架在野生动物红外相机图像识别中的有效性。该多模态分类模型能够直接从红外相机图像和文本中自动化分类野生动物，不仅减少了人工工作量，还增强了监测系统的实时性和全面性，为野生动物保护和生态研究提供了新的技术工具。