我们到了吗?基于AI标记的相机陷阱数据的可靠占用建模

《Conservation Science and Practice》:Are we there yet? Reliable occupancy modeling from AI-labeled trail camera data

【字体: 大 中 小 】 时间:2026年08月07日 来源:Conservation Science and Practice 2.9

编辑推荐:

  计算机视觉日益被用于自动化野生动物图像分类,但其生态可靠性在很大程度上仍未经过测试。研究人员评估了SpeciesNet——一种全球野生动物分类器,针对美国佛罗里达州广泛分布的哺乳动物物种:白尾鹿(Odocoileus virginianus)、野猪(Sus s

  
计算机视觉日益被用于自动化野生动物图像分类,但其生态可靠性在很大程度上仍未经过测试。研究人员评估了SpeciesNet——一种全球野生动物分类器,针对美国佛罗里达州广泛分布的哺乳动物物种:白尾鹿(Odocoileus virginianus)、野猪(Sus scrofa)、郊狼(Canis latrans)和短尾猫(Lynx rufus)。虽然传统的计算机视觉评估得分很高(例如,白尾鹿的F1=98.2%),但这些得分掩盖了物种特异性的假阳性率(FPR),后者在下游占用估计中驱动了偏差。假阳性率为0.14%的白尾鹿产生了与人工标记数据最大的偏差,而假阳性率为0.01%、F1得分较低(94.5%)的短尾猫则产生了几乎一致的估计。研究人员表明,当使用标准模型时,假阳性率而非F1得分等传统指标是占用估计准确性的关键因素。研究结果凸显了在评估用于生态应用的AI工具时传统性能指标的局限性,以及随着AI分类器的普及,采用考虑假阳性的方法的必要性。分析表明,随着假阳性率的增加,考虑假阳性的占用模型迅速优于标准模型。在低假阳性率(在模拟条件下<0.35%)时,标准模型仍保持优势,尤其是在检测概率较低的情况下。假阳性占用模型对于低占用率(ψ=0.3)的物种收益最大,因为在这些物种中,假阳性更可能随机出现在未占用位点。鉴于目前可用的物种分类器可能产生高于0.34%的假阳性率,分析表明,在使用部分人工验证的AI标记数据的分析中,考虑假阳性的占用模型将优于标准占用模型。
**论文解读:AI标记相机陷阱数据在占用建模中的可靠性——以SpeciesNet为例**

**1. 研究背景与问题**

生态学研究历来依赖人类观察者在野外的直接参与,导致数据收集耗时费力。尽管运动触发相机和自动声学记录器等自动采集设备的商业化显著缓解了这一限制,但处理这些设备产生的高通量数据造成了数据收集、解释与决策之间的滞后。目前,依赖这些设备的野生动物研究主要受限于实验室中专家人工查看图像或聆听录音以识别物种并将原始媒体转化为可解释数据集所需的人力时间。随着基于人工智能(AI)的工具的进步,多个计算机视觉模型被提出用于辅助生态数据处理(如BirdNet、MLWIC2、CameraTrapDetectoR等)。然而,当前技术会以不同的比率引入假阳性(物种不存在时的检测)和假阴性(物种存在时的漏检),引发对数据保真度的担忧,以及这些误差对生态推断的影响和缓解策略的不确定性,尤其是在旨在减少或消除人工验证的工作流程中。

占用模型是应用于相机陷阱数据最常见的分析框架之一。MacKenzie等人(2002)提出的标准占用模型虽能处理检测概率小于1(即假阴性)的情况,但假设所有检测均为真实。人类观察者在标记相机图像时通常采用保守策略,仅在确定时才分配物种标签,否则分配较大的分类群标签,这虽可能增加假阴性,但有效降低了专家标记数据中的假阳性可能性。相反,计算机视觉AI工具并不保证同样谨慎,可能在野生动物数据中引入假阳性,影响下游分析、结果和管理决策。为应对这一问题,Miller等人(2011)基于Royle和Link(2006)的概念提出了考虑检测中不同确定性水平的占用建模框架,其中“观察确认设计”(即假阳性知情模型)依赖于已确认检测的子集来增强来自更大不确定数据集的推断,类似于野外鉴定(如粪便)随后通过DNA分析等更确定的方法进行验证的场景。该框架高度适用于AI标记的图像数据集,其中错误分类很常见,且可直接迁移到半自动化图像处理工作流程中,即计算机视觉模型生成初始物种标签后由人类专家审查和纠正。由于AI的处理速度远快于人类专家,这种工作流程不可避免地产生包含已确认和未验证观察混合的数据集。假阳性知情占用模型通过明确建模这一结构,为改进半自动化工作流程中的推断提供了稳健框架,尤其是在生态监测日益依赖计算机视觉和大规模图像分类的背景下。

先前研究使用标准占用模型检验人类和AI标记图像集衍生的空间生态推断的相似性,普遍发现无监督AI产生的数据集得出的占用结果与基于可靠人类标记数据的结果存在差异。例如,Lonsinger等人(2024)比较了人类和AI衍生数据集的占用结果,注意到后者的错误结果;Zampetti等人(2024)将AI和人类标记数据观察到的空间推断不一致归因于所用计算机视觉模型的物种识别能力有限。这些研究一致建议,更大、更多样化的训练数据集对提高模型性能(通常以准确率、精确率、召回率和F1分数量化)及增强基于AI标记数据的生态推断可靠性至关重要。

SpeciesNet(Gadot等人,2024)是领先的相机陷阱图像物种分类模型之一。该模型最初仅通过Wildlife Insights平台使用(2019年),但最新版本v4.0.0a于2025年3月以开放许可发布,提供了更多实际应用可能性。该模型采用三层处理:首先通过MegaDetector进行物体检测(空、车辆、人类或动物),然后进行物种分类,最后利用地理围栏功能(使用国家或美国各州的内部物种列表)为处理的相机陷阱图像生成物种识别标签。SpeciesNet在超过6500万张人工标记图像上训练,数据来自Snapshot USA、Snapshot Serengeti等大型协作项目及Wildlife Insights平台的众多独立项目,使其成为目前训练数据集最大的AI野生动物图像分类器。

本研究评估SpeciesNet v4.0.0a对四种目标物种(白尾鹿、野猪、郊狼和短尾猫)的性能,旨在检验标准AI模型评估指标(准确率、精确率、召回率和F1分数)是否与占用建模结果的准确性一致。具体而言,研究人员比较了基于AI标记和人类标记数据集的标准占用模型,以测试物种级高分类性能是否能转化为可比较的占用结果。假设物种级高性能将产生与专家标签一致的占用估计;若存在差异,则预测假阳性率(FPR)将解释占用结果的差异。最后,测试假阳性知情占用模型作为解释AI引入偏差的潜在工具,并假设这些模型对具有较高FPR的物种将产生更好的结果。

**2. 主要关键技术方法**

研究数据来自美国佛罗里达州DeLuca Preserve,该保护区约11000公顷,包含湿地、森林、草地、柑橘园和牧场。研究人员部署了48台相机(高度60厘米)组成的网格,覆盖1392个相机日(2024年3月25日至4月22日)。图像使用SpeciesNet v4.0.0a(通过Addax AI软件v6.1)处理,未应用预定义置信度阈值。两名专家观察员使用Timelapse软件手动审查图像并标记物种。计算了准确率、精确率、召回率、F1分数、FPR和假阴性率(FNR)。环境协变量包括从国家土地覆盖数据库(NLCD,30米分辨率)提取的五类土地覆盖(森林、农业、灌木/灌丛、草本湿地、木本湿地)。使用泊松广义线性模型(GLM)建模假阳性和假阴性计数与环境协变量的关系。模拟框架包括200个模拟相机位点和30次采样,基于真实物种误差率注入假阴性和假阳性,并设计部分验证(前三次采样为确定)以拟合假阳性知情模型。比较标准占用模型、假阳性知情模型和基准“oracle”模型(基于真实检测历史)的性能,使用Pearson相关性、平均绝对差和欧氏距离评估系数估计的相似性。第二组模拟采用因子网格(占用概率ψ=0.3、0.5、0.7;检测概率p=0.3、0.5、0.7;FPR从0%到0.5%以0.1%递增),使用均方根误差(RMSE)比较模型性能。

**3. 研究结果**

**3.1 SpeciesNet对目标物种的性能评估**

人工标记数据集包含8175张白尾鹿图像、1391张野猪、1813张郊狼和622张短尾猫图像。SpeciesNet在所有四种物种上表现出较强的分类性能。白尾鹿、野猪和短尾猫的召回率分别为97.5%、93.1%和90.4%,精确率分别为98.9%、97.8%和99.1%,F1分数分别>98%、95%和94%。郊狼的召回率较低(83.3%),精确率较高(98.8%),F1分数为90.4%。总体而言,SpeciesNet在白尾鹿上表现最好,其次是野猪、短尾猫和郊狼。然而,白尾鹿的FPR最高(0.14%),短尾猫最低(0.01%)。郊狼的FNR最高(16.6%),白尾鹿最低(2.5%)。

**3.2 计算机视觉误差与环境变量的关系**

白尾鹿的错误率受位点特定协变量影响最强。白尾鹿的假阳性与灌木/灌丛土地覆盖正相关,与森林覆盖负相关;假阴性更可能发生在灌木/灌丛、木本和草本湿地覆盖较多的环境中。郊狼的假阴性与木本湿地覆盖正相关,野猪的假阴性与灌木/灌丛区域正相关。短尾猫的检测误差表现出最小的空间偏差,仅在森林覆盖较多的位点观察到假阴性减少。

**3.3 占用模型性能比较**

对于FPR相对较高(0.14%)且FNR最低(2.5%)的白尾鹿,假阳性知情模型与oracle模型的一致性显著更高(相关性0.996±0.011,差异0.005±0.01),优于标准模型(相关性0.942±0.101,差异0.037±0.015)。相反,对于FPR极低(0.01%)且FNR较高(9.6%)的短尾猫,标准模型表现更好(相关性0.998±0.007,差异0.003±0.007)优于假阳性知情模型(相关性0.955±0.226,差异0.025±0.117)。野猪和郊狼(FPR分别为0.04%和0.03%,FNR较高)也呈现类似模式,标准模型估计更接近真实值。

**3.4 标准与假阳性知情占用模型在检测概率、占用率和FPR梯度上的性能**

当没有假阳性时,大多数占用和检测概率组合的ΔRMSE接近零,表明两种模型产生相似的占用估计。然而,对于检测概率低(p=0.3)且占用率低到中等(ψ=0.3–0.5)的物种,在低FPR下标准模型表现更好。但观察到转折点:低占用情景约0.15%,中等占用情景约0.33%。随着FPR增加,假阳性知情模型在所有情景中越来越优于标准模型,表现为ΔRMSE越来越负。这种模式对稀有物种(ψ=0.3)最为明显。对于中等占用(ψ=0.5),模型间差异较小,但假阳性知情模型随FPR增加持续优于标准模型。对于丰富物种情景(ψ=0.7),趋势类似,但假阳性模型的优势较不明显。

**4. 讨论与结论**

研究结果表明,从技术性能角度看,SpeciesNet对四种佛罗里达常见哺乳动物实现了高分类准确率,但高传统性能指标并不一定转化为标准占用建模框架中的可靠生态推断。假阳性率在此时至关重要,能显著影响AI标记数据衍生的占用估计的生态有效性。这一发现挑战了高性能计算机视觉模型默认具有生态可靠性的隐含假设。SpeciesNet对白尾鹿的F1分数最高,但基于其错误率的标准占用模型结果与真实占用估计偏差最大;相反,短尾猫的分类性能第二低,却产生了与基准最相似的占用模型。这种不一致凸显了传统指标的局限性:首先,传统指标通常不能指示AI误差对生态数据集的影响;其次,传统指标未能考虑假阳性发生率,而假阳性可显著扭曲标准占用模型的分析。

研究人员证明假阳性知情占用模型可以解释相机陷阱数据集中AI引入的假阳性。目前,大多数采用计算机视觉的图像处理流程仍依赖人类专家验证标签。使用假阳性知情模型(即观察确认设计)处理已有的部分人类验证数据集将立即提高占用模型准确性。然而,其适用性受物种空间特征影响。低占用率物种从假阳性知情模型中获益更多,尤其是当FPR增加时,因为假阳性更可能出现在真正未占用的位点。

此外,假阳性和假阴性的空间分布可能与位点级土地覆盖变量相关。例如,白尾鹿的误差受多个协变量影响,而短尾猫的检测误差仅与一个与假阴性相关的协变量有关。研究人员指出,短尾猫假阳性与空间协变量之间缺乏相关性可能受限于该物种假阳性数量较少,而非真正的缺乏关联。虽然总体FPR似乎是决定特定物种标准模型性能的主要因素,但将协变量特定的误差发生统计估计纳入占用模型的假阳性参数可能会产生更准确的空间推断。

尽管存在这些挑战,半自动化物种分类的效率提升已得到充分证实。研究结果表明,将假阳性占用模型整合到AI标记数据集中可改善生态推断,尤其是对FPR较高的物种。值得注意的是,假阳性知情模型与标准占用模型的相对性能取决于物种空间特征,因为这些特征影响假阳性对占用的影响方式。此外,研究中观察到的FPR值可能代表了当前现成计算机视觉模型的最佳情况。例如,SpeciesNet大部分训练数据来自美国,可能对其目标物种有较高性能。其他模型或研究位点可能显示出数量级更高的FPR。例如,鸟类鸣声分类器BirdNET在佛罗里达中南部录音中对库氏鹰(Accipiter cooperii)的假阳性率为34.7%,灰猫嘲鸫(Dumetella carolinensis)为19.5%,普通夜鹰(Chordeiles minor)为17%。因此,研究人员预期在大多数依赖当前物种分类器和部分验证数据集进行占用建模的情况下,假阳性知情模型可能优于标准模型,因为FPR可能超过模拟中确定的0.34%阈值,超过该阈值后其性能持续优于标准占用模型。此外,评估假设验证工作量为10%,这在实践中容易实现,并能产生显著的效率收益。

占用率只是易受分类错误影响的几个生态分析之一。例如,使用核密度估计的活动节律模式估计也假设所有检测为真实,最近已提出假阳性知情方法。通过N-混合模型的丰度估计假设每次采样准确计数,这仍是自动化图像处理工作流程的障碍。将误差感知方法扩展到广泛使用的分析框架是一个明确的研究优先事项。随着AI分类器嵌入数据处理流程,生态学家必须超越传统的AI性能指标,采用考虑每种生态分析的假设和数据要求的评估策略。

**研究结论**

本研究通过评估SpeciesNet在四种佛罗里达哺乳动物上的性能,揭示了传统计算机视觉评估指标(如F1分数)在生态应用中的局限性。研究发现,假阳性率而非传统指标是影响AI标记数据占用估计准确性的关键因素。假阳性知情占用模型在高FPR下(>0.34%)优于标准模型,尤其对低占用率物种。鉴于当前分类器的典型FPR可能超过该阈值,采用假阳性知情模型能有效提升部分人工验证的AI标记数据的生态推断可靠性。研究人员建议生态学家在采用AI工具时应采用误差感知的分析方法,并优先发展针对不同分析框架的假阳性校正技术。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号