《Global Ecology and Conservation》：A multimodal learning approach for automated detection of wildlife trade on social media
编辑推荐：
社交媒体数据和用于自动内容分析的机器学习方法正越来越多地被用于生态学和保护科学。目前的局限性是缺乏用于文本和视觉内容以及其他数据模态的自动多模态分析方法。在这项研究中，研究人员介绍了一种多模态内容分析方法，应用于YouTube上野生动物贸易的调查。该方法包括通
社交媒体数据和用于自动内容分析的机器学习方法正越来越多地被用于生态学和保护科学。目前的局限性是缺乏用于文本和视觉内容以及其他数据模态的自动多模态分析方法。在这项研究中，研究人员介绍了一种多模态内容分析方法，应用于YouTube上野生动物贸易的调查。该方法包括通过基于Transformer的神经网络（Transformer）分析文本，以及使用卷积神经网络（CNN）分析视频关键帧，作为多模态过滤的一部分，然后通过一个基于规则的逻辑模块进行分类，识别野生动物贸易的实例。决策融合模块在贸易检测的文本分类器中达到了0.72的F分数（F-score），在物种识别的视觉分类器中达到了0.77。这种多模态分类帮助在86,321个过滤后的YouTube帖子中检测到3,517个野生动物贸易，涉及226个物种出售，包括51个极危（Critically Endangered）物种、62个濒危（Endangered）物种、60个易危（Vulnerable）物种、25个近危（Near Threatened）物种和28个无危（Least Concern）物种。所提出的多模态学习方法可以更广泛地用于其他生态和生物多样性保护应用。
**研究背景与问题**
全球生物多样性急剧下降，野生动物的不可持续贸易是主要驱动因素之一，威胁着生命之树上的数千个物种。虽然在线平台，特别是社交媒体，已成为广告和销售野生动物及异域宠物的流行场所，但监测这些平台极其困难。传统监控方法无法规模化，现有自动化工具通常仅聚焦于文本或图像分析中的单一模态，缺乏同时处理文本和视觉内容的多模态方法。因此，亟需开发能够整合多种数据模态的自动化检测方法，以提高对社交媒体上野生动物贸易的识别准确率。本研究旨在填补这一空白，通过引入多模态学习框架，在YouTube上自动检测潜在的野生动物贸易内容。该论文发表在《Global Ecology and Conservation》。
**研究内容与结论**
研究人员提出了一种多模态内容分析方法，结合文本分析与视频关键帧分析，用于检测YouTube上的野生动物贸易。该方法通过多模态过滤（先文本过滤后视频过滤）去除无关内容，随后利用决策融合模块整合文本和视觉分类器的输出，最终识别出野生动物贸易实例。研究结果表明，该多模态方法显著优于单模态方法，在86,321个过滤后的YouTube帖子中检测到3,517个潜在野生动物贸易，涉及226个物种，其中包括51个极危（Critically Endangered）物种、62个濒危（Endangered）物种、60个易危（Vulnerable）物种、25个近危（Near Threatened）物种和28个无危（Least Concern）物种。该研究首次展示了多模态学习在保护科学中的应用，为生态和生物多样性保护提供了可扩展的自动化监测工具。
**主要关键技术方法**
研究使用YouTube数据应用程序编程接口（API）收集基于CITES附录I物种名称和贸易相关关键词的帖子，初始数据集包含3,281,207条记录。关键技术方法包括：(i) 多模态过滤：文本过滤通过计算帖子文本与正负模板句的余弦相似度得到相关性分数，并设定阈值（0.13）筛选；视频过滤提取关键帧，使用基于iNaturalist 2021数据集微调的卷积神经网络（CNN）模型（EfficientNetv2）预测物种存在概率，并设定阈值（0.02）筛选。(ii) 多模态分类：文本分类采用基于Transformer的All-MPNet-Base-v2模型（与LSTM对比），视觉分类采用EfficientNetv2（与DarkNet53、Inception-ResNet-v2对比），均通过手动标注的3,437条记录进行训练和评估。(iii) 决策融合：基于规则逻辑模块，当文本分类器检测到贸易且视觉分类器检测到物种时，帖子被标记为“Positive”。
**研究结果**
**3. Results**
**过滤效果评估**：通过手动标注随机子样本，原始数据集中“Explicit Wildlife Trade”类别占1.12%；应用文本过滤后，该比例升至2.93%；进一步应用最高相关性分数文本过滤后升至5.79%；最后结合视频过滤后升至8.61%。同时，无关内容（Irrelevant）比例从66.29%大幅下降至3.54%，表明多模态过滤有效降低了噪声。
**文本分类性能**：All-MPNet-Base-v2模型在文本分类中优于LSTM，灵敏度（Sensitivity）为0.69，特异度（Specificity）为0.98，F-measure为0.72。
**视觉分类性能**：EfficientNetv2在视觉物种检测中表现最佳，灵敏度为0.77，特异度为1.00，F-measure为0.77。
**多模态分类结果**：决策融合模块在测试数据中正确识别出77.42%的“Explicit Wildlife Trade”帖子为“Positive”，仅2.40%被误分类为“Uncertain”，3.85%被误分类为“Negative”，且无任何“Irrelevant”帖子被误判为“Positive”。在86,321个过滤后的帖子中，共检测到3,517个潜在野生动物贸易实例，涉及226个物种，其中鸟类、爬行动物和哺乳动物占主导，包括51个极危物种（鸟722例、爬行164例、哺乳19例）、62个濒危物种（鸟401例、哺乳185例、爬行117例）、60个易危物种（鸟559例）、25个近危物种（鸟801例）和28个无危物种（鸟418例）。
**讨论与结论**
讨论部分指出，该多模态方法通过整合文本与视觉信息，克服了单模态分析的局限性，比单纯物种识别更有效地检测贸易内容。然而，存在若干局限性：决策融合采用简单规则，可能丢失模态间复杂关系；流程优先精度（Precision）而可能牺牲召回率（Recall）；阈值选择基于经验，未进行敏感性分析；关键帧聚类数（k=5）采用启发式选择；数据集仅基于英文关键词，可能遗漏其他语言内容；数据收集为单时间点，缺乏时间动态分析。未来工作应改进手动标注以区分合法与非法贸易，扩展多语言搜索，并引入时间序列监测。
**结论**：本研究首次展示了多模态学习在保护科学中的应用。该方法可进一步通过改进手动标注来增强，例如加入合法与非法野生动物贸易内容的细微差别。所提出的方法还可用于iEcology，从照片和文本中识别和计数物种。同时分析图像和文本描述可能比单独分析图像或文本更有助于评估社交媒体帖子的情感倾向。文本描述可能提供关于物种或活动的详细信息，而计算机视觉模型可能仅识别它们所属的更大类别。
