CAPG:基于上下文的扰动生成方法——用于多标签对抗性攻击
作者:Aidos Askhatuly、Dinara Berdysheva、Azamat Berdyshev、Aigul Adamova 和 Didar Yedilkhan
《Technologies》:CAPG: Context-Aware Perturbation Generation for Multi-Label Adversarial Attacks
Aidos Askhatuly,
Dinara Berdysheva,
Azamat Berdyshev,
Aigul Adamova and
Didar Yedilkhan
【字体:
大
中
小
】
时间:2026年04月17日
来源:Technologies 3.6
编辑推荐:
摘要
基于神经网络的动物视觉识别技术在畜牧业和畜群管理方面具有巨大潜力。然而,真实的农场环境很少能提供控制良好的视觉条件来收集高质量的训练数据集,这通常会导致模型在面对未知数据时的性能下降,因此对于可靠的应用来说,置信度估计变得至关重要。本文提出了一种基于预训练神经网络嵌入(Re
摘要
基于神经网络的动物视觉识别技术在畜牧业和畜群管理方面具有巨大潜力。然而,真实的农场环境很少能提供控制良好的视觉条件来收集高质量的训练数据集,这通常会导致模型在面对未知数据时的性能下降,因此对于可靠的应用来说,置信度估计变得至关重要。本文提出了一种基于预训练神经网络嵌入(ResNet-50和Swin Transformer)的保形预测框架,能够生成具有正式置信度保证的预测集合。通过在校准嵌入空间中的余弦距离计算得出的非一致性得分,该方法确保在用户定义的置信水平下预测集合中包含真实身份信息。评估了三种非一致性评分函数,以确定哪种方法能够生成最紧凑的预测集合。在牛和山羊数据集上的实验表明,该框架在不同嵌入模型下都能实现接近目标置信度的实证覆盖率。基于比率的非一致性度量方法表现始终优于其他方法,与其他度量方法相比,平均集合大小减少了多达79%。Swin-T嵌入在单一实例预测率上相比ResNet-50高出多达14个百分点。所提出的框架保持了形式上的有效性保证,在标准识别方法仅返回最接近匹配结果而无法提供置信度估计的实际畜牧业应用中,提高了系统的鲁棒性和可解释性。
1. 引言
在农业、野生动物监测和生物多样性保护中,识别个体动物是一项关键任务。在畜牧业领域,准确的识别有助于疾病控制、繁殖管理和动物产品的可追溯性[1]。在现代畜牧业系统中,个体识别起着至关重要的作用,其中牛和山羊是主要关注的物种,而耳标和RFID是最广泛使用的识别方法[2]。然而,这些传统方法具有物理侵入性,容易丢失或被伪造,并且容易出现错误[3,4]。这些限制促使人们开发基于计算机视觉技术的非侵入式视觉识别系统。深度学习的最新进展使得基于嵌入的方法成为可能,通过这些方法,图像被映射到一个特征空间,并使用相似性度量来进行动物生物特征识别。深度学习模型,特别是卷积神经网络(CNN),在识别多种物种(包括绵羊、猪和牛等家畜以及各种野生动物)方面表现出了强大的能力[5,6],并且通过自适应特征融合方法在目标检测中也显示出了有效性[7]。这些模型直接从图像中学习到区分性特征表示,从而能够捕捉到外观上的微妙差异并可靠地区分不同个体[8]。深度学习的进步,特别是使用预训练神经网络的度量学习方法,通过学习将同一动物的图像紧密聚集在一起的嵌入空间,彻底改变了自动化识别的方式[9]。由于效率和可扩展性,预训练的嵌入模型已成为动物识别流程中的主要方法之一,它们利用了在像ImageNet这样的大规模数据集上学到的表示[10]。尽管具有这些能力,但仍存在一个关键限制:这些模型通常仅返回学习到的嵌入空间中的最近邻居,而不评估其预测的不确定性或置信度。这在高风险的农业应用中是一个风险,因为图像质量差、遮挡或个体间的视觉差异微小都可能导致错误的识别[11,12]。最近的研究探讨了将不确定性估计纳入识别模型的方法[13,14,15]。虽然保形预测已被应用于度量空间和检索设置[16,17,18],但其应用于带有图库-查询分区的封闭集识别时则面临独特的挑战。这激发了需要提供可靠不确定性量化的方法的需求。在实际的畜牧业环境中,图像往往是在不受约束的条件下捕获的,这可能会在训练数据和部署数据之间引入分布偏移,从而降低模型性能。在这种情况下,如果没有相关的不确定性度量,错误的识别可能会导致下游应用(如畜群管理、可追溯性和健康监测)中的错误。为了解决这个问题,我们研究了使用保形预测进行动物识别,并旨在在适当的假设下提供具有理论覆盖保证的不确定性估计。保形预测是一个无需依赖分布的框架,它可以构建具有有限样本覆盖保证的预测集合[19]。保形预测可以系统地应用于识别任务,以提供形式上的覆盖保证,而不是试图在原始准确性上超越其他不确定性量化方法。统计学保证要求结果的可交换性,而这比构建传统置信区间所需的独立同分布(i.i.d.)样本的要求要弱[20]。通过基于嵌入距离定义非一致性得分并使用保留的数据对其进行校准,这种方法为现有的识别系统增加了一层通用的不确定性量化层。该方法在仅包含前景信息的两种动物识别数据集(牛和山羊)上进行了评估,结果表明构建的保形预测集合确实达到了覆盖保证。
本文的贡献有三个方面:(1)引入了一种使用预训练神经网络嵌入的动物识别保形预测框架;(2)评估了三种非一致性评分函数(比率、最小值、平均值),以确定哪种方法能在有效的覆盖水平下生成最紧凑的预测集合;(3)通过实证验证了该框架在不同嵌入模型(ResNet-50、Swin-T)和数据集(牛、山羊)下都能保持有效的覆盖保证。虽然保形预测之前已被应用于分类问题[19]、度量空间中的最近邻设置[16,21]和检索任务[17,22],但我们展示了如何将其应用于识别任务,其中的目标是确定已知图库中的哪个个体与查询图像相匹配。与具有固定标签空间的标准分类不同,识别需要基于嵌入距离的预测集合,而校准和评估的标签空间是不相交的。本文通过提供一个原理性的非一致性评分框架,并在动物识别数据集上实证验证了覆盖保证,将保形预测与基于度量学习的识别方法联系起来。
2. 材料与方法
两种预训练的神经网络架构作为特征提取器:ResNet-50 [23] 和 Swin-T [24],它们都将图像映射到d维的标准化嵌入中,无需针对特定任务进行微调。对于ResNet-50,?? = 2048;对于Swin-T,?? = 768。在整个保形预测流程中,模型参数保持不变。这些架构利用了迁移学习,即在大型源数据集(ImageNet)[25]上学到的表示被重新用于下游任务,而无需额外训练。这是通过移除每个网络中的最后一个分类层来实现的。ResNet-50采用具有50层深度的残差连接,而Swin-T则利用了具有移位窗口注意力的分层Vision Transformer。
2.1. 数据集
设??为动物图像的空间,??为这些动物的标签空间。实验将标签空间??分为两个不相交的部分:校准集??cal和测试集??test。相应的图像分别收集在校准数据集??cal ={(????,????):????∈??cal} 和测试集??test ={(????,????):????∈??test} 中。此外,??cal 和 ??test 各自又分为两个不相交的子集:一个包含每个个体的一个实例的查询数据集,以及一个包含已知身份的参考图像的图库数据集。总之,每个动物数据集都有四个不相交的集合:??calquery、??calgallery、??testquery 和 ??testgallery,它们之间的关系如下:
??cal = ??calquery ∪ ??calgallery
??test = ??testquery ∪ ??testgallery
校准集用于估计在真实标签函数下的非一致性得分分布,而测试集用于评估构建的预测集合的有限样本覆盖属性。校准集的大小 ?? = |??cal| 被选为每个数据集中大约50%的个体数。标签空间??按固定顺序编号:1,2,…,??。对于每个测试样本,通过将??test 中的所有候选标签与嵌入空间进行比较来构建预测集。
在保形预测中,可交换性是一个基本假设,要求数据点的联合分布对排列是不变的。在标准统计假设下,即图像和标签都是独立同分布(i.i.d.)的情况下,可交换性条件自然而然地成立[26]。对图像的i.i.d.假设足以保证可交换性,尽管在未来工作中可以放宽这一假设以处理更一般的依赖数据结构。??cal 和 ??test 中的个体标签的分割是通过随机抽取完成的。由于两次分割都来自同一底层种群,因此校准样本和测试样本在个体层面上是可交换的,满足了分割保形预测框架所需的假设。重要的是,尽管校准和测试标签集是不相交的,但它们都来自同一底层种群。保形程序依赖于查询样本的可交换性,而不是标签身份的重叠。在这个假设下,预期校准和测试分割中的非一致性得分分布是相似的,这支持了在这种识别设置中使用分割保形预测。
与标准分类不同,在标准分类中任何样本都可能出现在任一分割中,而识别要求每个身份完全位于其中一个集合中。如果一个身份的图像在校准和测试中被分开,那么测试查询嵌入将与校准集中相同身份的参考嵌入进行比较,从而违反可交换性假设。在身份层面进行分割确保了测试查询对应于真正未见过的身份,反映了实际部署场景中系统必须识别校准期间未见过动物的情况。
牛的数据集是在[3,4]的研究中收集的。它被重新划分为校准集和测试集,每个集合包含55个独特的身份。校准集包含55张测试图像(每个个体一张)和229张参考图像,平均每个个体大约有4.2张参考图像。测试集包含183张参考图像和55张测试图像,平均每个个体大约有3.3张参考图像。山羊识别数据集由作者在当前研究中收集并注释。它包含576张图像,其中303张图像在去重后被保留。数据集被划分为校准集??cal和测试集??test,每个集合包含36个不同的动物。校准集??calgallery包含113张参考图像,而测试集??testgallery包含118张参考图像。对于这两个集合,??calquery 和 ??testquery,分别使用36张测试图像(每个个体一张)来评估预测集。
对于牛和山羊数据集,都使用了感知哈希(pHash)和阈值10来识别并移除接近的重复图像,如[4]中所述。为了确保识别完全依赖于动物特有的特征而不是上下文背景信息,生成了仅包含前景信息的图像版本。注释和分割是使用计算机视觉平台Roboflow Pro(2025年10月版本)[27] 执行的,其中兽医手动为两类(前景:动物;背景:周围环境)标注了像素级的掩码[4]。仅包含前景信息的牛和山羊数据集的版本被导出为COCO格式[28],以用于评估流程的后续步骤。
仅包含前景信息的图像版本是通过用独立采样的白噪声替换所有背景像素来构建的,从而有效地去除了环境线索,同时保留了原始动物的外观。这确保了嵌入模型只能编码动物特有的特征(毛色图案、身体形状、面部特征等),而不依赖于与农场基础设施、照明或周围物体的虚假相关性[3,4]。
2.2. 非一致性评分函数
非一致性度量量化了给定嵌入对于假设标签的异常程度。对于每个模型和数据集,评估了三种评分函数。
对于??calquery 或 ??testquery 中的查询点(??,??),算法根据相应的图库数据集计算非一致性得分:??calgallery 或 ??testgallery。为了简洁起见,本节中将数据集的类型测试或校准简写为*。在以下公式中,*可以一致地用cal或test替换。例如,在方程(1)中,non*ratio可以是noncalratio或nontestratio,公式内部使用的替换值也相同。
第一个函数在保形预测的分类设置中最常用[29]。它计算嵌入空间中相同标签和不同标签之间的最近邻比率:
non*ratio?(??,??) = min????∈?*??????(??,????) min????∈?*???????(??,????) (1)
其中 ?? =???(??) 是查询嵌入,???? =???(????) 是参考嵌入,
?*??={????=???(????):(????,????)∈??*gallery,????=??} 是图库中的相同类嵌入,
?*???={????=???(????):(????,????)∈??*gallery,????≠??} 是图库中的不同类嵌入,
???(??,??) =1 ???·??∥??∥?∥??∥ 是余弦距离。这种比率形式确保了尺度不变性,并平衡了分子和分母的量级。第二个函数仅通过绝对距离来衡量与同类别示例的一致性:non*min?(??,??)=min????∈?*??????(??,????)(2)这种简化的评分方法对细粒度的嵌入结构更为敏感,但会失去嵌入与其它类别接近程度的比较信号。第三个函数使用与同类别示例的平均距离:non*mean?(??,??)=1∣?*??∣?∑????∈?*?????(??,????)min????∈?*???????(??,????)(3)平均距离虽然比最小距离变异小,但仍然通过最近的竞争对手来进行除法运算,保持了比较的敏感性。这三个函数都具有重要的特性。非?(??,??) <1 的值表明图像 x 在嵌入空间中与类别 y 的样本更接近(以余弦距离衡量),这暗示了与标签 y 的一致性。相反,非?(??,??) ?1 表示不典型性:嵌入与类别 y 相比出乎意料地不同,因为它可能远离 y 的任何其他样本,或者与替代类别过于接近(对于非比率和非平均值而言)。当某个标签没有同类别的校准样本时,分数是未定义的;实际中,这样的标签会被标记为最不一致的,从而将其从预测集中排除。计算成本与校准集大小 n 成线性比例,因为一次处理就可以识别出最近的同类别和不同类别的样本,这使得它能够实际应用于大型校准集。2.3. 校准和阈值计算分割一致性预测需要校准不一致性度量以达到预期的覆盖水平。给定一个目标置信水平 ?? ∈[0,1],校准过程是通过使用它们的真实标签来计算所有校准样本的非一致性分数来进行的:????=noncal?(????,????),(????,????)∈??calquery(4),其中非一致性计算使用了校准样本集 ??calgallery。这些分数共同近似了正确标记下的非一致性分布。校准阈值 ^???? 被计算为校准分数的 q-分位数:^????=?????({??1,…,????})(5),其中 ???? 表示 q-分位数。为了表征覆盖范围与集合大小的权衡,针对一系列置信水平 ?? ∈{0.0,0.1,0.2,…,1.0} 计算多个阈值。对于每个置信水平 q,相应的阈值 ^???? 是校准分数的 q-分位数;如果可交换性条件成立,该阈值下的实际覆盖率应大约为 q [19]。2.4. 预测集构建对于具有嵌入 ??test =???(??test) 的测试点,通过评估其与测试标签空间中每个候选标签的一致性来构建预测集:^?????(??test)={??∈??test:nontest?(??test,??)≤^????}(6),其中非一致性计算中的样本集是 ??testgallery。方程(6)中的所有标签都会被检查,但只有那些非一致性分数低于校准阈值 ^???? 的标签才会被包含在预测集中。这一条件确保了当测试点的嵌入显示出与校准分布一致的特性时标签才会被包括在内。如果没有候选标签能够达到足够的一致性,可能会出现空集;这种情况在一致性预测下是有效的,但表明测试样本非常不确定或偏离了分布。预测集的大小 ∣^?????(??test)∣因测试样本而异,较小的集合表示模型置信度较高,较大的集合表示不确定性较大。分割一致性预测框架提供了无需对特征提取器或数据分布做任何假设就能成立的分布无关的覆盖保证。在独立同分布(i.i.d.)假设下,分割一致性过程大致满足边际覆盖保证 [26,30]:???(????∈^?????(????))≥??,(????,????)∈??testquery,其中概率是在数据点(??,??)的总体上取得的。无论特征提取器的准确性或表示质量如何,这一保证都成立。当非一致性分数几乎可以肯定是不同的时候,覆盖范围还受到 ?? +1??+1 的上限限制 [31],为真实覆盖范围提供了一个紧密的区间。下限确保了真实标签至少以概率 q 被包含在预测集中;上限防止了在有限样本中过度的保守覆盖。在识别任务中应用条件覆盖保证(给定特定测试特征的覆盖概率)是未来研究的课题,因为它需要比可交换性更强的假设。3. 结果实验遵循 [19] 中描述的标准一致性预测工作流程:将标签空间随机划分为校准集和测试集,并重复该过程 10 次,使用不同的随机划分来展示覆盖保证的鲁棒性。根据一致性预测文献,报告了 10 次运行中的平均值 ± 标准差。尽管校准集的大小较小(山羊为 ?? =36,牛为 ?? =55),但在像牲畜监测这样的应用中,小数据集特别有价值,因为收集大规模标记数据集既昂贵又耗时。我们证明了这些理论保证在置信水平从 0.0 到 1.0(以 0.1 为步长,?? ∈{0.0,0.1,0.2,…,1.0})范围内的有效性,并在表 1 和表 2 中展示了 ?? =0.9 和 ?? =0.8 两个操作水平下的详细结果。表 1. 牛数据集的完整实验结果。覆盖率和集合大小统计是在 10 次独立运行中计算得出的,报告了平均值 ± 标准差。表 2. 山羊数据集的完整实验结果。覆盖率和集合大小统计是在 10 次独立运行中计算得出的,报告了平均值 ± 标准差。设 ??=|???calquery∣ 表示校准查询的数量,??=|???testquery∣ 表示测试查询的数量。在一致性预测器具有边际覆盖 q 的零假设下,正确覆盖的测试样本数量 K 遵循 beta-二项分布 ([26],[19] 的第 3.2 节):??~BetaBinom?(??,??,??+1???)(7),其中 ?? =?(?? +1)?(1 ???)?。然后实际覆盖率 ?? =??/??。这个分布量化了实际覆盖率估计的不确定性;对于山羊数据集(?? =36, ?? =36),标准差大约为 5.4%,这意味着观察到的覆盖率在 72% 到 86% 之间与理论模型预期的一致。表 1 和表 2 分别展示了牛和山羊数据集的完整实验结果,显示了在 ?? =0.9 和 ?? =0.8 置信水平下的覆盖率和集合大小统计。结果确认了一致性预测框架在所有设置下都保持了有效的覆盖范围,实际覆盖率通常超过了目标水平。非比率度量始终产生最紧凑的预测集,同时保持了有效的覆盖范围,尤其是在山羊数据集上,其中集合大小保持较小(在 ?? =0.9 时平均 ≤2.0)。本节中的图表和可视化显示了第一次运行的结果,而表格中的覆盖率和集合大小统计是所有 10 次运行的平均值。结果检验了前一节描述的方法的理论保证和实用性,在 12 种不同设置下进行了验证:对于三种非一致性函数中的每一种,我们分别将其应用于两个动物数据集(牛和山羊)和两个嵌入模型(ResNet-50 和 Swin-T)。对于理论保证,我们检查了方程(6)是否在经验上成立。在实际应用方面,通过单一预测集的数量和平均预测集大小来报告非一致性度量和嵌入模型的最佳设置。图 1 中的网格可视化是一个实际的示例。它展示了使用 ResNet-50 嵌入和 nonratio 评分函数在 ?? =0.8 时对牛数据集进行一致性预测的结果。预测集的大小差异很大:一些测试图像产生的预测集仅包含真实标签,而其他图像则包含多个标签。值得注意的是,在这个置信水平下,大约 18 张测试图像(29%)获得了单一标签的预测集,表明这些样本的嵌入质量很高。然而,有几张测试图像产生了超过 20 个标签的较大预测集,表明这些样本在嵌入空间中的不确定性较大。第一行和第四行中错误预测的图像显示出动物的类似视觉特征。图 1. ResNet-50 牛:非比率非一致性得分。在 ?? =0.8 时,预测集的粒度各不相同,大约 29% 的预测集是单一标签的,表明某些个体的分离度较好,但其他个体的嵌入空间存在显著的不确定性。结果来自 10 次随机划分中的第一次。第一行和第四行中错误预测的图像显示出动物的类似视觉特征。同样,图 2 展示了使用 Swin-T 嵌入和相同非比率函数的山羊数据集。在这里,嵌入空间提供了更好的分离效果——大约 36 张测试图像(86%)获得了单一标签的预测集,表明 Swin-T 模型对这个数据集具有很强的区分能力。少数非单一标签的集合通常只包含 2-3 个标签,表明存在轻微的不确定性而非系统性的混淆。图 2. Swin-T 山羊:非比率非一致性得分。在 ?? =0.8 时,大约 86% 的测试图像获得了单一标签的预测集,表明 Swin-T 嵌入对这个数据集具有很强的区分能力。这些结果来自 10 次随机划分中的第一次。这个数据集对两种嵌入模型来说都更容易处理。每个参考图像下方的条形图可视化了该候选标签的非一致性得分。灰色部分代表分位数阈值 ^????(具体来说是置信水平 ?? =0.8 的 ^??0.8),该阈值是从校准集中得出的——这是允许标签在选定的置信水平下被包含在预测集中的最高分数。蓝色部分显示了该特定标签的实际非一致性得分,相对于 ^???? 的情况。当蓝色条形图比灰色条形图短时,得分低于阈值,标签就被包含在预测集中。条形图下方的数值显示了确切的非一致性得分,而 ^???? 显示在条形图上方。每列中的测试图像包含了真实标签(测试标签)、预测集的大小(预测集大小),以及真实标签是否正确包含在集合中(如果真实标签在预测集中,则预测为“正确”,否则为“错误”)。后续列按非一致性得分的升序排列了预测标签,绿色边框表示与真实标签匹配的标签,红色边框表示错误的预测。为了解析这些网格,应检查那些正确类别的非一致性得分远低于阈值的测试图像(蓝色条形图较短),这表明一致性很高。相反,如果正确类别的得分接近或高于阈值,或者错误类别的得分明显较低,则表明嵌入空间可能存在混淆或不确定性。在检查了单个预测集之后,下一步要考虑的是一致性预测框架是否在不同置信水平上实现了其理论上的校准保证。覆盖图展示了在不同置信水平下一致性预测方法的校准特性。在一致性预测中,校准指的是用户指定的置信水平(预测集中包含真实标签的期望概率)与在测试数据上实现的经验覆盖范围之间的关系。对于牛数据集(图 3),在 ?? =0.8 时,覆盖范围根据非一致性度量的不同从大约 78% 到 82% 不等,显示出轻微的覆盖不足(预测器稍微过于宽松)。使用 ResNet-50 的非比率度量实现了 78.2% ± 7.9% 的覆盖率,而使用相同度量的 Swin-T 实现了 79.5% ± 6.2% 的覆盖率。覆盖率总体上接近期望水平,且在更高置信水平下的差距趋于缩小。图 3. 牛数据集的覆盖曲线。在 ?? =0.8 时,根据非一致性度量的不同,覆盖范围从 78% 到 82% 不等,轻微的覆盖不足表明预测集略显宽松。所有非一致性度量都显示了合理的校准。结果显示来自 10 次随机划分中的第一次。山羊数据集(图 4)在 ?? =0.8 时的覆盖范围根据模型和非一致性度量的不同从 76% 到 86% 不等。使用 ResNet-50 的非比率度量实现了 85.8% ± 9.8% 的覆盖率,而使用相同度量的 Swin-T 实现了 78.9% ± 9.9% 的覆盖率。山羊数据集在不同非一致性度量和不同运行之间的变化更大(标准差为 7-10 个百分点),非比率度量产生的预测集最小,同时保持了有效的覆盖范围。校准曲线总体上接近对角线,表明校准合理,尽管在某些度量-架构组合的中间置信水平下存在轻微的覆盖不足。这种变化与分割一致性预测的已知有限样本特性一致。图 4. 山羊数据集的覆盖曲线。在 ?? =0.8 时,根据模型和非一致性度量的不同,覆盖范围从 76% 到 86% 不等,显示出比牛数据集更大的变化。这种非比率度量方法在保持有效覆盖率的同时,生成的预测集尺寸最小。所示结果来自10次随机分割中的第一次。图5展示了两个数据集的覆盖率估计的理论贝塔-二项分布(方程(7))。该分布以预期覆盖率为中心(山羊为81.1%,奶牛为87.3%),但由于样本量有限而存在相当大的偏差。奶牛数据集的分布更为狭窄,这反映了其更大的校准集规模(?? =55 vs ?? =36)。图5显示了在?? =0.8时,山羊(?? =36)和奶牛(?? =55)数据集的经验覆盖率的理论贝塔-二项分布(方程(7):虚线表示名义覆盖率,橙色实线表示预期经验覆盖率。奶牛数据集的分布更窄,因为其校准集更大。在x轴上,根据图例描述,标记了10次随机分割过程中记录的覆盖率。请注意,由于山羊数据集规模较小,因此每次运行的方差较高,因此表2中报告的标准差也较高。尽管数据集相对较小,但通过重复随机分割并报告变异性,可以更稳健地评估共形框架。这在畜牧业应用中典型的小数据条件下尤为重要。使用更大的数据集进行未来的研究将产生更稳定的估计结果。这反映了本研究的主要重点——在牲畜识别环境中控制共形预测的评估,而不是与大规模公共重新识别数据集进行基准测试。
集大小分布图(图6和图7)分别展示了ResNet-50和Swin-T模型在不同置信水平下共形预测集的粒度。在?? =0.8时,奶牛数据集的预测集大小波动较大,ResNet-50的平均预测集个数为37.2 ± 9.9个单一实例,Swin-T(使用非比率方法)为45.6 ± 8.2个,平均集大小分别为3.00 ± 1.78和1.84 ± 1.02。相比之下,山羊数据集在同一置信水平下的预测集更为紧凑,ResNet-50的平均预测集个数为29.4 ± 2.9个,Swin-T为28.9 ± 3.8个,平均集大小均小于1.2。非最小值度量方法产生的预测集尺寸较大且变化更多,这反映了该方法对最近邻距离的敏感性,而没有使用相对归一化处理。非均值度量方法表现出中间特性,在集紧凑性与覆盖率之间取得了平衡。图6显示了不同置信水平、数据集和非一致性度量下ResNet-50的预测集大小分布。每行代表不同的非一致性度量(非比率、非最小值、非均值),每列代表数据集(奶牛、山羊)。在?? =0.8时,奶牛的预测集平均个数为37.2 ± 9.9个(10次运行的平均值),山羊为29.4 ± 2.9个。图7显示了不同置信水平、数据集和非一致性度量下Swin-T的预测集大小分布。每行代表不同的非一致性度量(非比率、非最小值、非均值),每列代表数据集(奶牛、山羊)。在?? =0.8时,奶牛的预测集平均个数为45.6 ± 8.2个,山羊为28.9 ± 3.8个。图6和图7有助于分析预测集大小。从图6最后一行可以看出,对于ResNet-50处理的奶牛数据集,非比率方法提供了最可靠的预测结果。平均集大小的变化情况如下:在?? =0.0时,所有预测集都是空的(平均值=0.00),因为阈值对应于校准数据集上的最低非一致性分数,只有很少的标签能满足这个阈值。当q增加到0.1–0.5时,平均集大小逐渐从0.15增长到0.63,单一实例集(包含恰好一个标签)变得占主导地位。在?? =0.5时,62张测试图像中有39张获得了单一实例集。转折点出现在?? =0.6和?? =0.7之间,平均集大小的增长速率从每0.1增量为2.10跃升至每0.1增量为8.06。在?? =0.8时,平均集大小急剧扩大到7.90,增长速率为每0.1增量为62.58,标准差达到8.27——表明测试图像之间的预测集大小差异极大。到?? =0.9时,平均值达到10.35,而在?? =1.0时,平均集大小接近所有可能的标签(62个标签中的58.97个),因为阈值变成了最高校准分数。图7显示了Swin-T模型的类似趋势,但规模特征明显不同。
表3中的转折点分析揭示了每种配置下预测集尺寸急剧扩大的开始时间。较晚的转折点表明在较高置信水平下嵌入更加稳健,不确定性得到控制。表3显示了仅前景变体的转折点分析:平均集大小首次超过3个标签的置信水平q。结果表明,基于比率的非一致性分数在保持接近期望置信水平的经验覆盖率的同时,产生了最有效的预测集。我们注意到,常见的不确定性估计方法如距离阈值法和贝叶斯方法(例如MCdropout)也被广泛使用。本工作的目标不是在准确性上超越这些方法,而是展示共形预测提供了一个具有形式化覆盖保证的补充框架。除了覆盖保证之外,分析预测集大小还可以洞察共形预测框架的实际行为。这种非单调的方差变化特别有启发性:在低置信水平(?? <0.5)下,大多数预测集要么为空,要么是单一实例集,表明阈值非常严格,只有最可信的标签才能通过。在中等置信水平(?? ≈0.5–0.7)下,出现了一个最佳点,大约70–85%的测试图像获得了单一实例集,同时保持了有效的覆盖。超过这个最佳点(?? >0.8)后,预测集的大小急剧增加,因为阈值允许越来越多的非典型标签通过,最终在?? =1.0时几乎包含了所有候选标签。定性检查表明,对于视觉上相似的个体或质量较低的图像(例如遮挡、运动模糊),通常会产生较大的预测集。这些情况突显了基于嵌入的识别方法对细粒度视觉相似性的敏感性,并表明共形预测能够适当地反映此类场景中的不确定性。实验表明,适度的置信水平通常提供了最有用的操作折中。非常高的置信水平会大大增加预测集的大小,特别是对于更具挑战性的数据集(如牛)。在山羊数据集上表现更好可能与该数据集中个体之间的视觉变异性较大有关,这有助于在嵌入空间中进行区分。奶牛数据集似乎包含更多视觉上相似的个体。因此,在实际的牲畜监控系统中,可以根据决策确定性和操作效率之间的可接受平衡来选择置信水平。在实际应用中,可以使用预训练的实例分割模型(例如Mask R-CNN或基于YOLO的分割)自动化分割,从而无需手动注释。
共形预测的一个显著特点是能够通过可信度来识别不确定或超出分布范围的样本。样本x的可信度定义为使得预测集不为空的最小q值。这个定义背后的理由是,模型更倾向于做出已知的错误预测(即空集),而不是添加任何看起来过于偏离的标签。如果这种已知错误预测的置信度很高,那么在该置信水平下没有比这更好的标签[29]。尽管当前实验中没有应用可信度分析,但扩展框架以报告可信度分数应该是相对直接的。数据集的难度从根本上塑造了这一趋势。对于山羊数据集,从图6的最后一行可以看出,非比率方法提供了最可靠的预测。平均集大小的变化如下:在?? =0.0时,所有预测集都是空的(平均值=0.00),因为阈值对应于校准数据集上的最低非一致性分数,很少有标签能满足这个阈值。当q增加到0.1–0.5时,平均集大小逐渐从0.15增长到0.63,单一实例集(包含恰好一个标签)变得占主导。在?? =0.5时,62张测试图像中有39张获得了单一实例集。转折点出现在?? =0.6和?? =0.7之间,平均集大小的增长速率从每0.1增量为2.10跃升至每0.1增量为8.06。在?? =0.8时,平均集大小急剧扩大到7.90,增长速率为每0.1增量为62.58,标准差达到8.27—— indicating预测集大小在测试图像之间的极端差异性。到?? =0.9时,平均集大小达到10.35,而在?? =1.0时,平均集大小接近所有可能的标签(62个标签中的58.97个),因为阈值变成了最高校准分数。当检查Swin-T模型时,也出现了类似的模式,尽管规模特征明显不同,如图7所示。
表3中的转折点分析揭示了每种配置下预测集尺寸急剧扩大的开始时间。较晚的转折点表明在较高置信水平下嵌入更加稳健,不确定性得到控制。结果表明,基于比率的非一致性分数在保持接近期望置信水平的经验覆盖率的同时,产生了最有效的预测集。
我们注意到,其他不确定性估计方法如距离阈值法和贝叶斯方法(例如MC dropout)也被常用。本工作的目标不是在准确性上超过这些方法,而是展示共形预测提供了一个具有形式化覆盖保证的补充框架。除了覆盖保证之外,分析预测集大小还可以洞察共形预测框架的实际行为。这种非单调的方差变化特别有启发性:在低置信水平(?? <0.5)下,大多数预测集要么为空,要么是单一实例集,表明阈值过于严格,只有最可信的标签才能通过。在中等置信水平(?? ≈0.5–0.7)下,出现了一个最佳点,大约70–85%的测试图像获得了单一实例集,同时保持了有效的覆盖。超过这个最佳点(?? >0.8)后,预测集的大小急剧增加,因为阈值允许越来越多的非典型标签通过,最终在?? =1.0时几乎包含了所有候选标签。定性检查表明,对于视觉上相似的个体或低质量的图像(例如遮挡、运动模糊),通常会产生较大的预测集。这些情况突显了基于嵌入的识别方法对细粒度视觉相似性的敏感性,并表明共形预测能够适当地反映此类场景中的不确定性。实验表明,适度的置信水平通常提供了最有用的操作折中。非常高的置信水平会显著增加预测集的大小,特别是对于更具挑战性的数据集(如牛)。在山羊数据集上表现更好的可能与其个体之间的视觉变异性较大有关,这在嵌入空间中有助于区分。因此,在实际的牲畜监控系统中,可以根据决策确定性和操作效率之间的可接受平衡来选择置信水平。在实际部署中,可以使用预训练的实例分割模型(例如Mask R-CNN或基于YOLO的分割)自动化分割,从而无需手动注释。
共形预测的一个显著特点是它能够通过可信度来识别不确定或超出分布范围的样本。样本x的可信度定义为使得预测集不为空的最小q值。这一定义背后的理由是,模型更倾向于做出已知的错误预测(即空集),而不是添加任何看起来过于偏离的标签。如果这种已知错误预测的置信度很高,则在该置信水平下没有比这更好的标签[29]。尽管当前实验中没有应用可信度分析,但扩展框架以报告可信度分数应该是相对直接的。数据集的难度从根本上决定了这一趋势。对于山羊数据集,识别任务明显更容易:在?? =0.8时,ResNet-50的平均集大小仅为1.16 ± 0.28(而奶牛为3.00 ± 1.78),平均约82%的预测集为单一实例集。转折点不那么显著——集大小从?? =0.0时的接近0平滑增加到高置信水平时的1–2,从未出现奶牛识别中观察到的爆炸性增长。这表明这两种模型都能为山羊个体提供优秀的分离效果。非一致性度量的选择显著影响了这一趋势。在?? =0.8时,比较ResNet-50的三种度量方法:非比率方法产生的平均值为3.00 ± 1.78,单一实例集个数为37.2 ± 9.9;非均值方法产生的平均值为5.91 ± 1.46,单一实例集个数为23.0 ± 4.4;而非最小值方法产生的平均值为8.96 ± 2.35,单一实例集个数为12.9 ± 2.0——几乎是非比率方法平均集大小的两倍。非最小值方法在每个置信水平上都表现出更高的方差,因为它缺乏非比率和非均值方法通过分母(到最近竞争者的距离)提供的相对归一化。这证实了基于比率的度量在这种识别任务中提供了更高的效率。特征提取器也影响了趋势的形状。Swin-T在?? =0.8时实现了大约74%的单一实例集(ResNet-50的平均值为60%,基于10次运行的平均值),平均集大小为1.84 ± 1.02(对比3.00 ± 1.78)。Swin-T的转折点也较晚——非比率方法的急剧扩展始于?? =0.9——表明Swin-T嵌入在个体之间提供了更一致的分离效果,将不确定性阈值进一步推向了最高校准分数。
根据前一节的结果,动物识别中最佳的共形预测配置是使用非比率的Swin-T:它实现了最高的单一实例率(平均80–90%),最低的平均集大小(0.80 ± 0.11),并保持了80%以上的有效覆盖。对于需要最紧凑预测集的实践者来说,将?? =0.7和nonratio结合起来是一个极好的折中选择,可以获得56–86%的单一实例集,同时保持77–82%的经验覆盖率。分割共形预测框架假设在部署前计算一次固定校准集。未来的工作可以通过几种实际扩展来解决这一限制。在线共形预测方法[32]可以在新动物进入系统时实现动态校准,尽管在线设置需要验证。同样,使用FAISS[33]的近似最近邻搜索可以提高大规模部署的计算效率,但尚未经过测试。可信度分数概念上可以在农场环境中实现异常警报,但这需要实验验证。这些方向是作为潜在的改进提出的,而不是当前实验所支持的结论。
本文展示了使用预训练的神经网络嵌入进行动物识别的共形预测的实际应用。在牛和山羊数据集上的实验表明,实验结果与共形预测框架一致;非比率度量方法在保持有效覆盖的同时,始终生成最小的预测集尺寸,而Swin-T实现了更紧凑的预测集(在?? =0.8时平均80–90%为单一实例集),而ResNet-50为60–80%。共形框架为识别任务中的不确定性量化提供了一种原则性机制,生成候选集而不是单一标签。这在农业环境中特别有价值:当预测集包含多个候选标签时,可以将其呈现给农民或兽医进行最终决策;高置信度案例(单一实例集)可以自动处理;不确定案例可以标记出来进行手动审查。无需关于底层数据分布的假设,分布自由的覆盖保证确保了可靠的性能。所提出方法的局限性包括需要单独的校准集以及提供边际(而非条件)覆盖保证。对于具有挑战性的数据集,预测集的大小可能会很大。几个方向可以加强这项工作:扩展到动态农场环境的在线共形预测,研究特定子组的条件覆盖保证,以及根据测试样本特征调整的自适应方法。