AquaSelect：通过分数融合技术学习何时应避免分类，以实现可靠的水下物种识别

《Array》：AquaSelect: Learning when to abstain via score fusion for reliable underwater species classification

　　米特·达加（Miit Daga）、萨兰什·纳奥莱（Saransh Naole）、斯瓦拉纳·普里亚·拉穆（Swarna Priya Ramu）
印度泰米尔纳德邦韦洛尔（Vellore）韦洛尔理工学院（Vellore Institute of Technology）计算机科学与工程及信息系统学院

**摘要**
用于细粒度视觉识别的深度学习分类器并未提供每个预测的可靠性估计，而那些允许分类器选择不进行预测的方法目前仅在标准基准测试中得到评估，尚未在视觉质量下降导致错误模式出现的实际应用场景中进行测试。我们提出了AquaSelect，这是一种事后选择性预测框架，能够学习在何时应该放弃预测以避免误分类的风险。AquaSelect在一个固定的基础模型（backbone）上训练一个轻量级的二进制选择模块（213K参数），通过可解释的逻辑回归将此模块与基于温度校准的置信度和图像质量特征相结合来预测分类器的正确性。由于基础模型保持不变，因此可以选择模块在不修改原始分类器的情况下重新适应新环境。在两个水下物种数据集AQUA20（8,171张图像，20个类别）和Sea Animals（13,711张图像，23个类别）上的测试表明，AquaSelect在所有六个种子模型评估中的表现均优于Softmax Response和Monte Carlo Dropout，并且在Sea Animals数据集上提高了平均覆盖率指标。在80%的覆盖率下，准确率从87.3%提升到94.8%，Macro F1分数从81.5%提升到88.6%，尽管使用的训练数据减少了15%。我们还发现，平均包含3.7到5.0个类别的RAPS共形预测集对于单标签分类来说不切实际，且将预测集大小与学习到的置信度信息融合会降低选择质量。消融实验表明，学习到的选择模块是该框架的核心组成部分。该框架的运行速度为149 FPS，是深度集成模型（Deep Ensembles）的2.8倍，并适用于任何错误具有不对称成本的分类系统。

**1. 引言**
在安全至关重要的领域中，自动视觉分类的需求日益增加，因为手动注释难以扩展。水下生物多样性监测就是一个这样的领域：1677种海洋物种被列为濒危物种[1]，超过三分之一的鲨鱼和鳐鱼以及超过三分之一的海洋哺乳动物面临灭绝风险[2]，国际上承诺到2030年保护30%的海洋面积，但目前实际受保护的面积不到9%[3]。在这些规模下追踪物种分布需要自动图像分析，这使得该领域成为测试可靠分类方法的理想场所[4]。自主水下航行器（AUV）每次任务可收集数千张图像[5]，但手动注释仍然缓慢、昂贵且在不同注释者之间存在差异[6]。深度学习在一定程度上解决了这一瓶颈问题，但在分类器在精心设计的基准测试中的表现与实际应用中的需求之间仍存在差距，因为在实际应用中错误会带来实际成本。

最近的海洋基准测试如AQUA20[7]和Sea Animals[8]揭示了这一不足。在对20个物种的8,171张图像进行分析时，ConvNeXt模型的Top-1准确率达到了90.69%，这意味着大约每11个预测中就有1个是错误的。这些错误既不是随机的，也不是在数据集中均匀分布的，而是出现在类别相似的情况下、稀有类别中，以及由于能见度和光照条件差导致图像质量低下的情况下。最终用户无法在未经重新检查每张图像的情况下区分正确和错误的预测。选择性预测正是为了解决这个问题而提出的。它不是将每个分类器的输出都视为同样可信的，而是包含一种机制来选择放弃某些预测，将不确定的预测标记出来供人类审查，而不是直接给出可能错误的答案[9][10]。这一概念可以追溯到Chow在1970年提出的拒绝选项[11]，此后在医学成像[12]、自动驾驶[13]和自然语言处理[14]等领域得到了研究。据我们所知，选择性预测尚未应用于水下图像分类这一领域，因为该领域存在严重的视觉质量下降、长尾类别分布以及资源受限的边缘部署问题。AQUA20基准测试评估了13个分类器，但从未探讨哪些预测应该被信任。

这种遗漏很重要，因为在分类中错误的成本往往是不对称的。在保护监测中，报告不存在的物种可能会引发昂贵的监管行动，而遗漏一个物种则可能导致忽视种群数量的下降。相比之下，放弃一个预测仅需要几秒钟的专业审查时间。更广泛地说，任何大规模部署的分类系统都可以从区分可信预测和不确定预测中受益，特别是当误分类的下游成本超过咨询人类专家的成本时。

在本文中，我们介绍了AquaSelect，这是一个用于水下海洋物种分类的轻量级选择性预测框架。AquaSelect训练一个二进制选择模块（213K参数，开销不到1%），用于预测固定基础模型在每个输入上的正确性，并通过逻辑回归融合基于温度校准的置信度和特定于领域的水下图像特征。该框架为每张图像生成一个置信度分数，然后根据阈值决定是否接受或放弃该预测。具体贡献包括：
1. 我们首次针对特定领域视觉质量下降下的图像分类进行了选择性预测研究，评估了四种置信度估计策略（Softmax Response、Monte Carlo Dropout、Deep Ensembles和AquaSelect）在两个海洋数据集AQUA20（8,171张图像，20个物种）和Sea Animals（13,711张图像，23个物种）上的表现。实验涵盖了CNN（ConvNeXt-Tiny）和Vision Transformer（DeiT-Small）两种架构，并使用了三种不同的种子设置，提供了迄今为止最全面的生态或环境退化图像领域中的选择性预测评估之一。
2. 我们提出了AquaSelect，这是一种单模型选择性预测方法，在AQUA20基准测试的所有六个种子模型评估中均优于Softmax Response和Monte Carlo Dropout，实现了最佳的单模型AURCC（0.0248 vs 0.0273），在高可靠性操作点（例如Cov@99：51.8% vs 44.4%）下取得了最大的提升，这意味着如果生态学家要求99%的准确率目标，AquaSelect可以安全地自动处理51.8%的工作负载。此外，它在Sea Animals数据集的跨数据集验证中提高了平均覆盖率指标。在80%的覆盖率下，准确率从87.3%提升到94.8%，Macro F1分数从81.5%提升到88.6%，超过了AQUA20论文中全数据准确率90.69%的成绩。
3. 我们评估了基于温度校准的RAPS共形预测作为一种替代的不确定性量化方法，并报告了两个实际相关的负面发现。首先，平均包含3.7到5.0个类别的预测集大小限制了单标签自动分类的实用性。其次，将共形集大小与AquaSelect学习到的置信度信息融合会降低选择质量（AURCC在ConvNeXt-Tiny上从0.0252提升到0.0281），表明学习到的选择模块已经捕获了共形集大小所编码的不确定性信息。
4. 我们提供了面向部署的分析，包括对放弃模式的逐类解释、Grad-CAM和t-SNE可视化、离分布鲁棒性评估、推理延迟基准（AquaSelect为149 FPS，而Deep Ensembles为53 FPS），以及一个在不对称错误成本下进行阈值选择的成本敏感框架。

尽管AquaSelect是在结合了严重视觉质量下降、长尾类别分布和边缘部署限制的海洋物种分类场景下进行评估的，但它是一个通用的选择性预测流程。固定基础模型的设计、可解释的融合权重和成本敏感的阈值框架使其适用于任何预测错误具有不对称成本的视觉分类系统。

**图2**展示了AquaSelect如何融入到自主水下航行器的操作流程中，从边缘推理到选择性路由，最终由人类专家进行审查。

本文的其余部分组织如下：第2节回顾相关工作；第3节介绍选择性分类、共形预测和温度缩放的正式框架；第4节介绍AquaSelect框架；第5节描述实验设置；第6节报告结果和分析；第7节总结未来发展方向。

**2. 相关工作**
本节回顾了与我们工作相关的两个领域的文献。首先，我们研究了应用于水下和海洋分类的深度学习技术，探讨了我们的框架可以实施的应用场景；其次，我们探讨了选择性预测和不确定性估计技术，这是AquaSelect的基础。

**2.1. 水下和海洋分类的深度学习**
Apprill等人[15]开发了一种技术策略，利用自主传感器和AUV收集珊瑚礁的状态数据。他们将现场传感器的数据与相机拍摄的图像结合起来。尽管这些作者认识到使用机器学习算法分析这些大型数据集的重要性，但他们没有解决预测不确定性的问题。Mittal等人[16]调查了多种深度学习方法在水下图像分类中的应用，发现CNN在Fish4Knowledge等受限基准测试中的准确率经常超过90%。他们指出光衰减、浑浊度和复杂背景是导致性能下降的主要原因，但没有找到量化预测置信度或允许模型在困难样本上放弃预测的方法。Fuad等人[7]在AQUA20数据集（8,171张水下图像，20个物种）上对13种架构进行了基准测试，ConvNeXt取得了最高的Top-1准确率（90.69%）和F1分数（88.92%），始终优于基于Transformer的替代方法。他们的评估包括Grad-CAM可解释性，但仅关注强制选择分类，没有探索将模糊输入推迟给人类专家的机制。Ben Tamou等人[17]使用ResNet50和LifeClef 2015数据集设计了鱼类分类的增量学习策略，准确率达到81.83%，同时减少了灾难性遗忘。他们的方法仍然对每个输入进行预测，而没有识别出环境噪声何时使得可靠分类变得不可能。Lopez-Vazquez等人[18]将图像增强与分类结合，训练了一个残差CNN在870米深度纠正颜色失真，然后应用随机森林分类器（10个类别中的准确率为79.44%，AUC为88.64%）。他们的流程减轻了视觉质量下降的影响，但没有提供在增强失败时估计输出可靠性的机制。

**2.2. 选择性预测和不确定性量化**
Pugnana等人[12]在44个图像和表格数据集上对18种选择性分类方法进行了基准测试。集成方法与softmax响应结合使用，虽然错误率最低，但训练成本最高，且在严重分布变化的情况下所有方法都无法可靠地拒绝输入。他们的评估涵盖了标准基准测试，但没有测试在特定领域视觉质量下降（如水下光学失真）下的性能，因此这些方法的泛化能力仍是一个未解决的问题。在分布变化的背景下，Chen等人[19]引入了ASPEST框架，将选择性预测与主动学习相结合。他们通过在少量主动选择的样本上微调检查点集成来适应未标记的目标领域。在MNIST到SVHN的基准测试中，他们的方法通过自我训练将准确率-覆盖率曲线下的面积从79.36%提升到88.84%。虽然他们在管理领域变化方面非常有效，但由于依赖多个模型检查点，推理计算负担较重，不适合在水下车辆的实时边缘部署中使用。

Zhang等人[20]将选择性预测应用于结构裂缝分割，训练了一个深度模型集成来量化像素级别的预测方差，然后用它来过滤掉噪声训练注释。在CRACK500数据集（50%的人为标签噪声）中，他们的F1分数从67.6%提升到74.4%，并将最不确定的5%图像提交给人类检查员后，整体准确率提高了2.4%。他们的前景方差评分有效地区分了模糊的分割，但该方法需要维护多个网络，限制了其在高帧率分类任务中的实用性。Peluso等人[21]在临床文本提取中评估了选择性预测方法，将几种事后置信度分数与深度拒绝分类器（DAC）进行了比较，用于分类癌症病理报告。他们的结果显示，后处理方法（如取最高预测概率与香农熵的比率）达到了所需的97%准确率目标，且拒绝率低于显式训练的DAC。他们的发现证实了简单置信度估计器在文本数据中的价值，但这些原始概率指标往往无法捕捉水下图像中由物理光学失真引起的复杂认知不确定性。

**2.3. 总结和研究空白**
表1总结了现有文献，并将AquaSelect与之前的工作进行了对比。出现了三个空白：首先，没有先前的研究将选择性预测应用于水下物种分类；海洋领域的论文侧重于最大化原始准确率，而没有解决预测可靠性问题；其次，选择性预测方法已在标准视觉、文本和结构数据集上进行了基准测试，但在具有严重领域特定视觉质量下降和长尾类别分布的数据上尚未经过测试。第三，共形预测在实际分类流程中的实用性尚未得到评估，这些流程需要的是单类输出而不是预测集。AquaSelect通过一个轻量级的、事后的选择性预测框架来填补这些空白，该框架可以在冻结的模型基础上运行，并适用于资源受限的环境。表1. AquaSelect与相关文献的比较。

参考文献：
海洋领域
选择性预测
学习选择
置信度校准
共形预测
跨架构评估
人工参与
边缘部署

Apprill等人 [15] ?××××××?
Mittal等人 [16] ?××××?××
Fuad等人 [7] ?××××?××
Ben Tamou等人 [17] ?×××××××
Lopez-Vazquez等人 [18] ?×××××××
Pugnana等人 [12] ×???×?××
Chen等人 [19] ×??×××?×
Zhang等人 [20] ×?××××?×
Peluso等人 [21] ×?×?×??×
AquaSelect（我们的）????????

3. 背景和基础
本节介绍了支撑AquaSelect的形式化框架：选择性分类和风险-覆盖权衡、用于无分布不确定性量化的共形预测，以及用于事后置信度校准的温度缩放。

3.1. 选择性分类框架
选择性分类 [9]、[10] 扩展了标准分类器，使其能够在预测可能不正确的输入上选择弃权。设 f:X→Y 是一个将图像映射到 K 个类别之一的训练有素的分类器。选择性分类器将 f 与一个选择函数 g:X→{0,1} 配对，其中 g(x)=1 表示接受预测，g(x)=0 表示系统弃权。实际上，g 是通过对置信度函数 κ:X→[0,1] 进行阈值处理来实现的，如公式 (1) 所定义：
(1)
(f,g)(x)=f(x) 如果 κ(x)≥τ
abstain 如果 κ(x)<τ 其中 τ 是用户设置的阈值。κ 的设计决定了哪些预测是可信的：一个好的置信度函数会给分类器错误处理的输入分配较低的分数。 最简单的置信度函数是 softmax response (sr) [10]，它使用 κ(x)=max_k softmax(z(x))_k，即最大类别概率。更复杂的方法包括 monte carlo dropout [22]，它通过多次随机前向传播来估计认知不确定性，以及 deep ensembles [23]，它汇总来自独立训练模型的预测。aquaselect（第 4 节）引入了一个学习选择头，可以直接从特征空间预测分类器的正确性。 3.2. 风险-覆盖权衡 两个量表征了一个选择性分类器。覆盖度（公式 (2)）是系统做出预测的输入比例： (2) ?(g)=E[g(x)] 选择性风险（公式 (3)）是仅在接受的预测上计算的错误率： (3) r(f,g)=E[?(f(x),y)?g(x)]?(g) 其中 ? 是 0-1 损失函数。降低 τ 会增加覆盖度（接受更多预测），但代价是风险增加（在接受的预测中出错更多）。风险-覆盖曲线绘制了 r(f,g) 与 ?(g) 的关系，随着 τ 从最大值变化到最小值。 风险-覆盖曲线下的面积（aurcc）[10] 用一个数字总结了选择质量：较低的 aurcc 表示错误集中在最不自信的预测中，因此减少覆盖度比减少正确预测更快。我们还报告了两个操作指标：cov@95 和 cov@99，分别定义为选择性准确率达到 95% 和 99% 时的最大覆盖度。这些直接转化为部署决策：cov@95 回答了“系统能在 95% 的准确率下处理多少图像？”的问题。 3.3. 共形预测 共形预测 [24] 产生的预测集具有无分布的覆盖保证。给定一个校准集和一个用户指定的错误率 α，共形预测为每个测试输入输出一个集合 c(x)?{1,…,k}，使得公式 (4) 成立： (4) p(y∈c(x))≥1?α 该保证仅在假设校准数据和测试数据可交换（即来自同一分布）的情况下成立，对模型架构或训练过程没有要求。 我们使用 regularized adaptive prediction sets (raps) [25]，它通过按概率降序包含类别来构建预测集，直到累积分数超过校准阈值。对于每个样本，raps 计算一个不合规分数，如下面的公式 (5) 所示： (5) s(x,y)=∑j=1^r(y)π?j(x)+λ?max(0,r(y)?kreg) 其中 π?j(x) 是第 j 大的 softmax 概率，r(y) 是真实类别 y 在排序后的概率向量中的排名，λ 是包含低排名类别的惩罚项，kreg 控制惩罚激活的排名。阈值 q? 被设置为校准分数的 ?(n+1)(1?α)? n 分位数，测试输入的预测集包括直到累积 raps 分数超过 q? 的类别。 较小的预测集更具信息量。单个集合（|c(x)|=1）相当于一个有信度的点预测。较大的集合表示高不确定性。在我们的实验（第 6.7 节）中，我们评估了共形集合的大小是否足够小，以便在实际的水下调查中用于单一物种识别。 3.4. 温度缩放 现代神经网络倾向于产生过度自信的 softmax 概率，即使对于错误的预测也赋予高置信度 [26]。温度缩放是一种简单的事后校准方法，它在应用 softmax 之前通过单个学习参数 t>0 重新缩放 logits，并使用公式 (6) 进行缩放：
(6)
pcal(y∣x)=softmax(z(x)T^y
其中 z(x) 是 logit 向量。温度 T 通过在保留的验证集上最小化负对数似然来优化，使用公式 (7)：
(7)
T?=argmin_T^?1_Nval∑i=1_Nvallogpcal(yi∣xi)
优化使用 L-BFGS。当 T>1 时，校准后的概率比原始输出更柔和（置信度更低），减少了过度自信。当 T<1 时，概率变得更尖锐。温度缩放保留了分类器的预测（argmax 不变），同时调整了置信度幅度。它在 AquaSelect 中作为四个特征之一用于分数融合（第 4.3 节）。

4. 提出的方法论
本节描述了 AquaSelect 框架的四个组成部分：学习预测分类器故障的二进制选择头、特定于领域的水下图像特征、分数融合机制以及用于 AUV 部署的推理流程。
AquaSelect 是一个选择性预测框架，它决定对于每个输入图像，分类器的预测是否足够可信以接受，或者图像是否应该被路由给人类专家进行审查。该框架在一个冻结的预训练分类器上添加了一个轻量级的二进制选择头，并通过校准的置信度分数和水下特定的图像特征进行增强。所有组件通过逻辑回归融合，为每个图像产生一个置信度分数。图 1 展示了整个流程。

下载：下载高分辨率图像（298KB）
下载：下载全尺寸图像
图 1. AquaSelect 流程。一个冻结的模型产生特征向量 b(x)，它并行地输入到两个头部：冻结的分类器头部，输出 logits z(x)；以及可训练的选择头部 hθ，输出一个标量 s(x)∈[0,1]，预测分类器的正确性。温度缩放使用学习到的 T? 重新缩放 logits，以产生校准后的最大概率 pcal(x)。UDAS 分支直接在原始输入图像上操作，产生可见性分数 v(x) 和颜色偏差分数 d(x)。逻辑回归将 s(x)、pcal(x)、v(x) 和 1?d(x) 融合成一个置信度分数 κ(x)，并在 τ 处进行阈值处理以接受分类器的预测 y? 或弃权。只有选择头部是可训练的。

4.1. 二进制选择头部
一个合理的问题是，一个具有 213K 参数的 MLP 是否可以从 28M 参数的模型已经映射到 softmax 的特征中提取有用信息。这两个头部在相同的表示上解决不同的问题。分类器在特征空间中学习一个 K 路决策边界，其 softmax 概率反映了与该边界的距离，这种距离适应于类别分离。选择头部在同一特征上学习一个二进制边界，但其目标（正确性）将来自不同类别的样本分组在一起，这些样本在几何属性上一致地被分类器误读：靠近类别边界和类内流形的低密度区域。较小的头部学习了一个不同的任务。它区分“分类器将是正确的”和“分类器将是错误的”，这是一个与类别身份正交的二元问题。实证证据在第 6.2 节：选择头部在 ConvNeXt-Tiny 错误检测上的 AUROC 为 0.886，而 SR 为 0.872，这个差距在高可靠性操作点（Cov@99 为 51.8% 对 44.4%）时最为显著。第 6.6 节给出了几何解释：在 t-SNE 投影中，被弃权的样本集中在类别边界附近和重叠区域，这正是头部学习要标记的几何形状。
AquaSelect 的核心是一个二进制选择头部 hθ，它预测冻结的分类器在给定输入上是否正确。给定一个预训练的模型 b 和分类器 c，我们首先完全冻结 b 和 c（不进行梯度更新）。选择头部将模型的特征向量作为输入，并输出一个标量分数，如公式 (8) 所示：
(8)
s(x)=hθ(b(x))∈[0,1]
该架构是一个三层 MLP（公式 (9)：
(9)
hθ=σ°W3°ReLU°W2°Dropout(0.3)°ReLU°W1
其中 W1∈R256×d，W2∈R64×256，W3∈R1×64，d 是模型特征维度，σ 是 Sigmoid 函数。对于 ConvNeXt-Tiny（d=768），这增加了 213,377 个参数；对于 DeiT-Small（d=384），它增加了 115,073 个参数，两者都不到模型的 1%。
训练使用二进制交叉熵，目标很简单：对于每个训练图像 xi，计算冻结分类器的预测 y?i=argmax_c(b(xi)) 并设置目标 ti=1[y?i=yi]，其中 yi 是真实标签。损失使用公式 (10) 计算：
(10)
Lsel=?1_N∑i=1_Ntilogs(xi)+(1?ti)log(1?s(xi))
由于模型大约达到 87% 的准确率，选择任务本质上是不平衡的（大约 87% 为正样本，13% 为负样本）。我们使用标准的（未加权的）BCE 而不是加权变体。尽管存在这种不平衡，选择头部仍然学习了有意义的区分：在验证集上，正确分类图像的平均分数（0.94–0.97）与错误分类图像的分数（0.70–0.83）有很好的分离，不同种子之间的分离差距为 0.14–0.26。Sigmoid 输出自然地惩罚了少数类上的过度自信预测，下游的逻辑回归融合（第 4.3 节）进一步重新校准了原始分数。
选择头部使用 AdamW（lr =10^?3，权重衰减 =10^?4）进行训练，最多训练 15 个周期，并在验证 BCE 损失上提前停止。在 T4 GPU 上训练大约需要 2 分钟。
冻结模型方法通过其实用性提供了额外的好处。由于选择头部在固定的特征空间上学习，因此可以在不改变模型的情况下将其重新适配到其他环境中。因此，当 AUV 移动到另一个具有不同条件或物种的珊瑚礁时，唯一需要调整的部分是选择头部，它包含 213K 个参数。包含 28.6M 参数的模型本身不会改变。

4.2. UDAS：水下难度感知特征
由于光衰减、散射和水柱中的颜色失真，水下图像的质量差异很大。我们提取了两个手工制作的特征来捕捉这些特定于领域的挑战。
可见性分数。我们通过灰度图像的频率内容来估计图像的清晰度。2D 傅里叶变换将图像分解为空间频率分量。我们定义一个低频区域为以 DC 分量为中心的半径为 min(H,W)/8 的圆形掩码，并使用公式 (11) 计算可见性分数：
(11)
v(x)=1?∑(u,v)∈M|F(u,v)|∑u,v|F(u,v)|+?
其中 F 是居中的傅里叶幅度谱，M 是低频掩码。较高的值表示更多的高频内容，对应于更清晰的边缘和纹理，这些更容易分类。
颜色偏差分数。水下图像通常表现出由波长依赖的吸收引起的蓝绿色调。我们将其量化为每个通道均值与整体均值的偏差，如公式 (12) 所示：
(12)
d(x)=∑c∈{R,G,B}μc(x)?μ?(x)^2
其中 μc(x) 是通道 c 的平均像素强度，μ?(x)=1/3∑cμc(x)。分数通过训练集值的第 99 百分位数（121.26）而不是最大值进行归一化，以确保对可能压缩特征范围的个别异常图像的鲁棒性。较高的归一化分数表示更强的颜色失真。
UDAS 的假设是，捕捉水下视觉退化的手工特征应该提供超出模型学习内容的额外区分信号。第 6.4 节直接测试了这一假设。使用微调后的模型，逻辑回归为这两个特征分配接近零的权重（|w3|,|w4|<1.0），移除 UDAS 使 AURCC 从 0.0252 提高到 0.0251。在这种情况下，假设被证伪。在多个周期内针对领域内图像微调的模型学习了对浑浊度和颜色偏差的隐式不变性，编码了 UDAS 会计算的信息。第 6.6 节中的 Grad-CAM 可视化证实了这一点：网络的注意力集中在特定于物种的形态上，而不是环境水条件上。我们在框架中保留了 UDAS，用于未进行消融测试的情况，即没有领域内微调的零样本或现成的模型，此时尚未学习到隐式不变性。这是未来工作的假设，而不是当前的主张。

4.3. 通过逻辑回归的分数融合
四个组成部分的分数——选择头部输出 s(x)、通过温度缩放获得的校准后最大概率 pcal(x)（如第 3.4 节所述）、可见性 v(x) 和反转的颜色偏差 1?d(x)——通过逻辑回归在验证集上进行融合。每个图像的特征向量在公式 (13) 中定义：
(13)
f(x)=s(x),pcal(x),v(x),1?d(x)
逻辑回归模型被训练在验证集上预测二元目标 ti=1[y?i=yi]，输出结果如公式 (14) 所示：
(14)
κ(x)=σw?f(x)+w0
其中 w∈R4，w0 是学习到的权重和偏置。输出 κ(x)∈[0,1] 是用于选择决策的最终置信度分数（公式 (1)）。
在不同种子之间，学习到的温度范围在 T?≈1.26–1.34 之间，表明基础分类器有轻微的过度自信。融合权重一致地将最大的系数分配给选择头得分（w1≈2.1–4.3）和校准概率（w2≈3.5–5.4），而UDAS特征的权重接近于零（|w3|,|w4|<1.0）。这证实了融合主要由学习和校准的置信信号主导。选择逻辑回归而不是更复杂的融合方法（例如，神经网络或梯度提升）有两个原因：（1）只有四个特征和大约1000个验证样本，低容量模型可以避免过拟合校准集；（2）学习到的权重可以直接解释，允许从业者验证哪些信号驱动了选择决策。下载：下载高分辨率图像（416KB）下载：下载全尺寸图像图2. 用于基于AUV的海洋调查的部署流程图，代表了任何有人参与的边缘推理场景。AquaSelect在嵌入式GPU上以149 FPS运行。被接受的预测（κ(x)≥τ）进入本地数据库进行自动计数。不确定的预测（κ(x)<τ）被路由给专家审查。虚线（右下角）表示一个提议的主动学习扩展，其中审查的标签仅重新训练轻量级的选择头（213k参数），从而实现低成本适应，而无需重新训练冻结的骨干网络。4.4. 推理流程图图2展示了基于auv的海洋调查中的aquaselect部署流程，但适用于任何有人参与的边缘推理设置。在推理时，冻结的骨干网络在单次前向传递中生成特征。分类器头和选择头并行处理这些特征，逻辑回归融合将结果分数与udas特征和校准概率结合起来。整个流程在单次前向传递后加上可忽略的后处理即可完成。在t4 gpu上，aquaselect以149 fps处理图像（每张图像6.7毫秒），而deep ensemble基线需要三次单独的前向传递（第6节），速率为53 fps（每张图像18.7毫秒）。在典型的auv平台（例如nvidia><τ）被排队通过低带宽声学或卫星链接传输到船只或岸站，由海洋生物学家进行审查。阈值τ在部署前根据所需的准确性和吞吐量权衡来设置。在保护背景下，误识别的成本和保留的成本并不对称。报告实际上不存在的濒危物种可能会触发昂贵的监管调查，而错过一个物种可能意味着忽视了一个正在减少的种群。保留的成本只相当于几秒钟的人工审查时间。阈值τ允许从业者根据他们的操作环境调整这种权衡：保守的（高）阈值优先考虑安全性，而激进的（低）阈值优先考虑吞吐量。第6节中呈现的风险-覆盖曲线允许直接查找任何所需覆盖水平的准确性。5. 实验设置在本节中，我们介绍了用于评估aquaselect在海洋领域有效将不确定分类委托给专家人类的能力的实验设置。首先，我们讨论了用于测试的两种不同的海洋图像数据集，并特别关注训练事后选择性预测模型所需的数据分割的特殊性。之后，我们介绍了convnext-tiny和deit-small架构的训练制度，并讨论了用于作为基线的置信度估计方法。最后，我们定义了评估选择性风险-覆盖权衡的指标。5.1. 数据集我们在两个在规模、类别平衡和成像条件上不同的海洋物种分类数据集上评估aquaselect。5.1.1. aqua20aqua20 [7] 是一个最近发布的用于水下海洋物种分类的基准数据集，包含8171张图像，涵盖20个类别。该数据集涵盖了广泛的海洋生物类群，包括珊瑚、甲壳类动物、头足类动物、棘皮动物、鱼类、海洋哺乳动物和人类潜水员。图像来自不同的水下环境，展示了海洋图像的典型挑战：可变的浑浊度、不均匀的照明、来自水柱的颜色失真、形态相关物种之间的类别相似性以及由于视角和生命阶段差异导致的类别内变化。表2报告了测试集中的每个类别的样本数量。类别大小从20（螃蟹）到2200（珊瑚）不等，反映了水下调查中自然的物种分布不平衡。这种不平衡对于选择性预测任务来说是相关的：稀有物种更难分类，但正确识别时具有更大的生态意义。正如我们在第6.5节中展示的，aquaselect倾向于以更高的比率标记代表性不足的类别，有效地将最困难和最有价值的识别任务路由给人类专家。表2. aqua20测试集中的每个类别样本数量（1612张图像）。训练集（6559张图像）具有类似的分布。类别测试数量鱼类538海星40珊瑚348海胆29海葵221水母25鳐鱼95海蛞蝓20海龟76鲨鱼19鱼类ingroups72潜水员13鳗鱼41扁虫13虾11螃蟹11鱿鱼10海黄瓜10海豚10章鱼105.1.2. 海洋动物为了跨数据集验证，我们还在sea animals image dataset [8] 上评估了aquaselect，该数据集包含13,711张来自水下和海洋摄影库的海洋和水生图像，涵盖23个类别。类别大小从414（海豹）到1903（海龟）不等，使得数据集相对于aqua20的严重不平衡分布来说较为平衡。没有预定义的训练/测试分割。我们创建了一个分层的80/20分割（random_state = 0），然后从训练部分中抽取15%作为验证集（random_state = 42），最终得到9322张训练图像、1646张验证图像和2743张测试图像。这个数据集与aqua20形成了有用的对比：更多的图像、更多的类别、较少的类别不平衡，以及包括水下和表面海洋摄影的图像，而不仅仅是水下条件。5.2. 数据分割策略原始的aqua20基准数据集具有固定的训练/测试分割，分别为6559/1612张图像。选择性预测技术需要一个验证数据集来校准温度、通过逻辑回归拟合融合权重并选择阈值。因此，我们根据分层随机分割（训练数据集的15%，random_state=42）从训练数据集中保留验证数据集，从而得到一个包含5575张训练图像、984张验证图像和1612张测试图像的训练数据集。分层随机分割保持了每个数据集中每个类别的比例。测试集与原始aqua20评估保持一致，允许与已发布的结果直接比较。这种分割相对于原始基准减少了15%的训练集，这解释了我们的基线与fuad等人[7]报告的结果之间的准确性差距。我们认为这是一个公平的权衡：验证集是选择性预测框架的结构要求，而不是偶然的设计选择。正如我们在第6.3节中展示的，aquaselect在正确预测上的准确性恢复并超过了原始论文的结果，表明选择性预测充分弥补了较小的训练集。sea animals的分割遵循类似的程序，并在第5.1.2节中详细说明。5.3. 骨干模型和训练我们使用两种不同的模型家族的骨干架构来评估aquaselect：convnext-tiny [27]，一个现代化的卷积网络（28.6m参数），以及deit-small [28]，一个数据效率高的视觉transformer（22.0m参数）。两者都通过timm库使用imagenet-1k预训练的权重进行初始化，并在各自的目标数据集上使用两阶段协议进行微调。在第一阶段，冻结骨干网络，仅线性分类器头训练5个周期（lr =10?3），允许随机初始化的分类器热身而不破坏预训练的特征。在第二阶段，所有参数解冻，额外训练最多45个周期（lr =10?4），采用余弦退火和提前停止（验证损失上的耐心度为10）。两个阶段都使用adamw，权重衰减为10?4，批量大小为32。模型选择在第二阶段进行，保留最低验证损失的检查点。尽管第一阶段偶尔也能达到有竞争力的验证性能，但我们选择第二阶段的模型，以确保骨干特征适应目标领域，而不是仅依赖于imagenet表示。这优先考虑了下游选择性预测任务的领域适应特征，其中选择头在骨干的特征空间上操作。训练增强包括randomresizedcrop(224, scale 0.8–1.0)、水平翻转、旋转（±15°）和colorjitter（亮度0.3，对比度0.3，饱和度0.3，色调0.1）。评估使用resize(256)后跟centercrop(224)。所有图像都使用imagenet通道统计信息进行归一化。每个骨干网络使用三个随机种子（9, 42, 2003）独立训练，每种架构生成三个检查点。所有实验都在单个nvidia t4 gpu（16 gb vram）上通过kaggle运行。表3总结了我们微调的骨干网络的分类性能，以及fuad等人[7]报告的结果。表3. 在aqua20和sea animals测试集上的分类基线。我们的模型在85%的训练数据上训练（15%保留用于验证）。平均值±标准差基于3个种子计算。aqua20论文结果使用全部训练数据。数据集模型top-1 (%)top-3 (%)macro f1 (%)参数（m）aqua20convnext（aqua20论文）a90.6998.8288.9227.82vit（aqua20论文）a86.2997.8084.3085.80convnext-tiny（我们的）87.63 ± 0.4197.83 ± 0.3779.91 ± 1.8828.6deit-small（我们的）85.98 ± 1.1697.77 ± 0.5377.32 ± 1.8622.0sea animalsconvnext-tiny（我们的）87.71 ± 0.3195.41 ± 0.5186.36 ± 0.1928.6aqua20论文使用100%的训练数据；我们的保留15%用于验证。5.4. 基线选择方法我们将aquaselect与三种在选择性预测文献中常见的置信度估计方法进行比较。softmax response (sr) [10] 使用最大softmax概率maxksoftmax(z)k作为置信度分数。这是最简单的基线，不需要修改训练模型，也不需要额外的推理成本。monte carlo dropout (mcd) [22] 在分类器头之前插入一个dropout层（率为0.3），并在测试时执行10次随机前向传递，同时启用dropout。平均softmax分布捕获了认知不确定性；我们使用平均softmax向量的负预测熵作为置信度分数。mcd需要的推理成本是单次前向传递的10倍。deep ensemble (de) [23] 平均三个独立训练的种子模型（种子9, 42, 2003）的softmax输出，并使用平均分布的负熵作为置信度。de需要的推理成本是单个模型的3倍，内存也是单个模型的3倍（convnext-tiny的总参数为85.8m）。因为de使用多个模型，而sr、mcd和aquaselect使用单个模型，所以我们分别报告de的结果，并不在正面比较中加粗它们。表4总结了每种方法的计算要求。我们省略了selectivenet [10] 和sat [29]，因为这两种方法都需要对分类器和选择机制进行端到端的联合重新训练。aquaselect在冻结的骨干网络上事后操作，因此与联合重新训练的架构直接比较在方法上不一致。此外，对于auv部署来说，联合重新训练整个骨干网络（28.6m参数）是不切实际的，因为选择头必须为新礁石环境快速重新校准，而无需重新训练整个模型。pugnana等人[12]在标准数据集上为这些方法提供了基准。表4. 选择方法比较。aquaselect的参数开销增加了不到1%，并且运行成本与单个模型的推理成本相同。方法置信度信号重新训练推理成本srmax softmax无1×mcd平均softmax的负熵无10×de平均softmax的负熵无3×aquaselect融合分数κ(x)选择头～1×5.5. 评估指标我们使用第3.1节中介绍的指标来评估选择性预测的质量。aurcc（风险-覆盖曲线下面积）。风险-覆盖曲线绘制了选择性风险（被接受预测的错误率）与覆盖范围（被接受预测的比例）之间的关系，随着阈值τ的变化。aurcc整合了这条曲线；较低的值表示更好的选择质量，意味着错误集中在置信度最低的预测中。cov@95和cov@99。选择性准确率达到95%或99%时的最大覆盖范围。这些指标直接回答了操作问题：“如果人类操作员要求严格的95%或99%的准确率目标，ai可以安全地自动处理多少总工作量？”cov@99对于安全关键的部署特别有信息量，因为在被接受的预测上需要接近完美的准确率。在固定覆盖范围下的选择性准确率。对于给定的覆盖范围（例如80%），这是在被接受的预测上计算的准确率。我们在50%到100%的覆盖范围内报告这一点，以表征完整的准确率-覆盖范围权衡。所有指标都是在相应的保留测试集上计算的（aqua20为1612张图像；sea animals为2743张图像）。对于单模型方法（sr、mcd、aquaselect），我们报告三个种子的平均值±标准差。对于deep ensemble，由于它汇总了所有三个种子模型，因此报告一个结果。6. 结果和讨论本节介绍了aquaselect在分类基线、选择性预测比较、消融分析、每类生态解释、定性可视化和共形预测分析方面的实验评估。所有报告的指标都使用了相应的保留测试集（aqua20为1612张图像；sea animals为2743张图像）。 实验设置在本节中，我们介绍了用于评估aquaselect在海洋领域有效将不确定分类委托给专家人类的能力的实验设置。首先，我们讨论了用于测试的两种不同的海洋图像数据集，并特别关注训练事后选择性预测模型所需的数据分割的特殊性。之后，我们介绍了convnext-tiny和deit-small架构的训练制度，并讨论了用于作为基线的置信度估计方法。最后，我们定义了评估选择性风险-覆盖权衡的指标。5.1. 数据集我们在两个在规模、类别平衡和成像条件上不同的海洋物种分类数据集上评估aquaselect。5.1.1. aqua20aqua20 [7] 是一个最近发布的用于水下海洋物种分类的基准数据集，包含8171张图像，涵盖20个类别。该数据集涵盖了广泛的海洋生物类群，包括珊瑚、甲壳类动物、头足类动物、棘皮动物、鱼类、海洋哺乳动物和人类潜水员。图像来自不同的水下环境，展示了海洋图像的典型挑战：可变的浑浊度、不均匀的照明、来自水柱的颜色失真、形态相关物种之间的类别相似性以及由于视角和生命阶段差异导致的类别内变化。表2报告了测试集中的每个类别的样本数量。类别大小从20（螃蟹）到2200（珊瑚）不等，反映了水下调查中自然的物种分布不平衡。这种不平衡对于选择性预测任务来说是相关的：稀有物种更难分类，但正确识别时具有更大的生态意义。正如我们在第6.5节中展示的，aquaselect倾向于以更高的比率标记代表性不足的类别，有效地将最困难和最有价值的识别任务路由给人类专家。表2. aqua20测试集中的每个类别样本数量（1612张图像）。训练集（6559张图像）具有类似的分布。类别测试数量鱼类538海星40珊瑚348海胆29海葵221水母25鳐鱼95海蛞蝓20海龟76鲨鱼19鱼类ingroups72潜水员13鳗鱼41扁虫13虾11螃蟹11鱿鱼10海黄瓜10海豚10章鱼105.1.2. 海洋动物为了跨数据集验证，我们还在sea animals image dataset [8] 上评估了aquaselect，该数据集包含13,711张来自水下和海洋摄影库的海洋和水生图像，涵盖23个类别。类别大小从414（海豹）到1903（海龟）不等，使得数据集相对于aqua20的严重不平衡分布来说较为平衡。没有预定义的训练 测试分割。我们创建了一个分层的80 20分割（random_state=0），然后从训练部分中抽取15%作为验证集（random_state = 42），最终得到9322张训练图像、1646张验证图像和2743张测试图像。这个数据集与aqua20形成了有用的对比：更多的图像、更多的类别、较少的类别不平衡，以及包括水下和表面海洋摄影的图像，而不仅仅是水下条件。5.2. 数据分割策略原始的aqua20基准数据集具有固定的训练 测试分割，分别为6559 1612张图像。选择性预测技术需要一个验证数据集来校准温度、通过逻辑回归拟合融合权重并选择阈值。因此，我们根据分层随机分割（训练数据集的15%，random_state=42）从训练数据集中保留验证数据集，从而得到一个包含5575张训练图像、984张验证图像和1612张测试图像的训练数据集。分层随机分割保持了每个数据集中每个类别的比例。测试集与原始AQUA20评估保持一致，允许与已发布的结果直接比较。这种分割相对于原始基准减少了15%的训练集，这解释了我们的基线与Fuad等人[7]报告的结果之间的准确性差距。我们认为这是一个公平的权衡：验证集是选择性预测框架的结构要求，而不是偶然的设计选择。正如我们在第6.3节中展示的，AquaSelect在正确预测上的准确性恢复并超过了原始论文的结果，表明选择性预测充分弥补了较小的训练集。Sea animals的分割遵循类似的程序，并在第5.1.2节中详细说明。5.3. 骨干模型和训练我们使用两种不同的模型家族的骨干架构来评估aquaselect：convnext-tiny [27]，一个现代化的卷积网络（28.6m参数），以及deit-small [28]，一个数据效率高的视觉transformer（22.0m参数）。两者都通过timm库使用imagenet-1k预训练的权重进行初始化，并在各自的目标数据集上使用两阶段协议进行微调。在第一阶段，冻结骨干网络，仅线性分类器头训练5个周期（lr=10?3），允许随机初始化的分类器热身而不破坏预训练的特征。在第二阶段，所有参数解冻，额外训练最多45个周期（lr =10?4），采用余弦退火和提前停止（验证损失上的耐心度为10）。两个阶段都使用adamw，权重衰减为10?4，批量大小为32。模型选择在第二阶段进行，保留最低验证损失的检查点。尽管第一阶段偶尔也能达到有竞争力的验证性能，但我们选择第二阶段的模型，以确保骨干特征适应目标领域，而不是仅依赖于imagenet表示。这优先考虑了下游选择性预测任务的领域适应特征，其中选择头在骨干的特征空间上操作。训练增强包括randomresizedcrop(224, scale 0.8–1.0)、水平翻转、旋转（±15°）和colorjitter（亮度0.3，对比度0.3，饱和度0.3，色调0.1）。评估使用resize(256)后跟centercrop(224)。所有图像都使用imagenet通道统计信息进行归一化。每个骨干网络使用三个随机种子（9, 42, 2003）独立训练，每种架构生成三个检查点。所有实验都在单个nvidia t4 gpu（16 gb vram）上通过kaggle运行。表3总结了我们微调的骨干网络的分类性能，以及fuad等人[7]报告的结果。表3. 在aqua20和sea animals测试集上的分类基线。我们的模型在85%的训练数据上训练（15%保留用于验证）。平均值±标准差基于3个种子计算。aqua20论文结果使用全部训练数据。数据集模型top-1 (%)top-3 (%)macro f1 (%)参数（m）aqua20convnext（aqua20论文）a90.6998.8288.9227.82vit（aqua20论文）a86.2997.8084.3085.80convnext-tiny（我们的）87.63 ± 0.4197.83 ± 0.3779.91 ± 1.8828.6deit-small（我们的）85.98 ± 1.1697.77 ± 0.5377.32 ± 1.8622.0sea animalsconvnext-tiny（我们的）87.71 ± 0.3195.41 ± 0.5186.36 ± 0.1928.6aqua20论文使用100%的训练数据；我们的保留15%用于验证。5.4. 基线选择方法我们将aquaselect与三种在选择性预测文献中常见的置信度估计方法进行比较。softmax response (sr) [10] 使用最大softmax概率maxksoftmax(z)k作为置信度分数。这是最简单的基线，不需要修改训练模型，也不需要额外的推理成本。monte carlo dropout (mcd) [22] 在分类器头之前插入一个dropout层（率为0.3），并在测试时执行10次随机前向传递，同时启用dropout。平均softmax分布捕获了认知不确定性；我们使用平均softmax向量的负预测熵作为置信度分数。mcd需要的推理成本是单次前向传递的10倍。deep ensemble (de) [23] 平均三个独立训练的种子模型（种子9, 42, 2003）的softmax输出，并使用平均分布的负熵作为置信度。de需要的推理成本是单个模型的3倍，内存也是单个模型的3倍（convnext-tiny的总参数为85.8m）。因为de使用多个模型，而sr、mcd和aquaselect使用单个模型，所以我们分别报告de的结果，并不在正面比较中加粗它们。表4总结了每种方法的计算要求。我们省略了selectivenet [10] 和sat [29]，因为这两种方法都需要对分类器和选择机制进行端到端的联合重新训练。aquaselect在冻结的骨干网络上事后操作，因此与联合重新训练的架构直接比较在方法上不一致。此外，对于auv部署来说，联合重新训练整个骨干网络（28.6m参数）是不切实际的，因为选择头必须为新礁石环境快速重新校准，而无需重新训练整个模型。pugnana等人[12]在标准数据集上为这些方法提供了基准。表4. 选择方法比较。aquaselect的参数开销增加了不到1%，并且运行成本与单个模型的推理成本相同。方法置信度信号重新训练推理成本srmax softmax无1×mcd平均softmax的负熵无10×de平均softmax的负熵无3×aquaselect融合分数κ(x)选择头～1×5.5. 评估指标我们使用第3.1节中介绍的指标来评估选择性预测的质量。aurcc（风险-覆盖曲线下面积）。风险-覆盖曲线绘制了选择性风险（被接受预测的错误率）与覆盖范围（被接受预测的比例）之间的关系，随着阈值τ的变化。aurcc整合了这条曲线；较低的值表示更好的选择质量，意味着错误集中在置信度最低的预测中。cov@95和cov@99。选择性准确率达到95%或99%时的最大覆盖范围。这些指标直接回答了操作问题：“如果人类操作员要求严格的95%或99%的准确率目标，ai可以安全地自动处理多少总工作量？”cov@99对于安全关键的部署特别有信息量，因为在被接受的预测上需要接近完美的准确率。在固定覆盖范围下的选择性准确率。对于给定的覆盖范围（例如80%），这是在被接受的预测上计算的准确率。我们在50%到100%的覆盖范围内报告这一点，以表征完整的准确率-覆盖范围权衡。所有指标都是在相应的保留测试集上计算的（aqua20为1612张图像；sea animals为2743张图像）。对于单模型方法（sr、mcd、aquaselect），我们报告三个种子的平均值±标准差。对于deep ensemble，由于它汇总了所有三个种子模型，因此报告一个结果。6. 结果和讨论本节介绍了aquaselect在分类基线、选择性预测比较、消融分析、每类生态解释、定性可视化和共形预测分析方面的实验评估。所有报告的指标都使用了相应的保留测试集（aqua20为1612张图像；sea>附录A.6.1提供了每种种子的分解数据。分类基线表3（第5.3节）报告了我们微调后的骨干网络的分类性能。ConvNeXt-Tiny的Top-1准确率为87.63% ± 0.41%，DeiT-Small的Top-1准确率为85.98% ± 1.16%，而Fuad等人[7]使用完整训练集报告的准确率为90.69%。ConvNeXt-Tiny的这一3.1个百分点的差距是预期之中的：我们的协议为选择性预测框架保留了15%的训练数据作为验证集。Top-3准确率相当（97.83% vs 98.82%），表明即使没有排在第一位，正确类别仍然在顶部预测中。Macro F1的差距更大（79.91% vs 88.92%），这主要是由于罕见类别（螃蟹、鱿鱼、章鱼、marine_dolphin）造成的，这些类别的10-20个测试样本使得F1对个别错误分类非常敏感。这种类别不平衡正是选择性预测的动机：AquaSelect不会接受关于稀有物种的不可靠预测，而是将它们标记出来供人类审查。

6.2. 选择性预测比较
表5和表6展示了所有四种方法在两种骨干网络上的选择性预测结果。AquaSelect在两种架构上都实现了最佳的单模型选择质量。在ConvNeXt-Tiny上，AquaSelect将AURCC降低了9.2%（从0.0273降至0.0248），相对于MCD降低了11.4%（从0.0280降至0.0248）。这种改进在高可靠性操作点最为明显：Cov@99从44.4%（SR）提高到了51.8%（AquaSelect），相对提高了16.7%。这意味着AquaSelect可以在99%的准确率下多分类出7.4个百分点的测试集。在DeiT-Small上，模式也是一致的：AURCC提高了4.7%，Cov@95从75.7%提高到了77.4%。

6.3. 实际影响
虽然AURCC数值具有信息量，但它将整个风险-覆盖曲线压缩为一个单一值。为了使操作效益具体化，表7报告了在固定覆盖水平下ConvNeXt-Tiny的平均选择性准确率（基于三种种子）。实际上，覆盖率代表了AI的自动化工作量与人类专家的手动工作量。例如，在80%的覆盖率下，AI自动分类了80%最自信的图像，而将剩余的20%路由给人类。在80%的覆盖率下，AquaSelect的准确率从87.3%（无选择）提高到了94.8%，Macro F1从81.5%提高到了88.6%（根据图4中的混淆矩阵分析计算得出）。这一7.5个百分点的准确率提升超过了AQUA20论文中全数据ConvNeXt的90.69%，尽管使用的训练数据减少了15%。

6.4. 消融研究
表8通过逐一移除AquaSelect的各个组件来隔离它们的贡献。所有结果都是基于三种种子在ConvNeXt-Tiny上的平均值±标准差。学习到的选择头部是主要贡献者。移除它（“无学习头部”行）使AURCC提高了11.9%（从0.0252升至0.0282），Cov@99从52.6%降至41.4%，接近SR基线。这是预期之中的：选择头部直接从特征空间学习分类器的失败模式，而其他组件提供间接信号。

6.5. 实际影响
AURCC数值虽然提供了信息，但它将整个风险-覆盖曲线压缩为一个单一值。为了使操作效益具体化，表7报告了在固定覆盖水平下ConvNeXt-Tiny的平均选择性准确率（基于三种种子）。在实际应用中，覆盖率代表了AI的自动化工作量与人类专家的手动工作量。例如，在80%的覆盖率下，AI自动分类了80%最自信的图像，而将剩余的20%路由给人类。在80%的覆盖率下，AquaSelect的准确率从87.3%提高到了94.8%，Macro F1从81.5%提高到了88.6%。这意味着AquaSelect在99%的准确率下可以多分类出7.4个百分点的测试集。在形态上相似的无脊椎动物被标记的频率高于视觉上明显不同的物种，这与已知的分类混淆模式相符。选择性预测也提高了每个类别识别的可靠性。从全预测的86.0%提高到接受预测的94.3%，其中七个类别的精确度达到了100%（零假阳性）。对于全分类器表现出系统性混淆的类别，改进最为显著：fishInGroups的精确度从71.2%提高到90.4%，turtle从73.5%提高到88.0%，octopus从75.0%提高到100.0%。对于稀有物种（14个类别中每个类别的测试样本数≤50个），假发现率从11.6%下降到4.8%，这意味着接受的稀有物种预测中错误的比例不到五分之一。所有类别的总假阳性数量从206个减少到67个，减少了67.5%。在错误识别会触发昂贵下游操作的部署环境中（例如，在保护中的监管响应、医学筛查中的临床跟进），这种假发现的减少直接转化为较低的运营错误成本。

为了量化剩余错误的严重性，我们基于分类距离定义了一个层次成本矩阵（完整分组见附录C）：同一科内的错误分类（例如，fish?fishInGroups）的成本为1，同一门但不同科的错误分类（例如，shark?turtle）的成本为3，跨门的错误分类（例如，coral?fish）的成本为5，动物?人类的错误分类的成本为10。这反映了并非所有错误分类的危害程度相同，这是许多层次分类任务（例如，医学诊断、分类识别、产品分类）共有的特性[30]。根据这个方案，全分类器的总加权成本为705，平均每个错误的成本为3.42。选择性预测在80%的覆盖率下将这一成本降低到189（平均每个错误2.82），减少了73.2%。改进最为显著的是跨门的错误（从106个减少到25个，减少了76.4%），这些错误代表了语义上最远的错误分类。这表明AquaSelect优先移除了最严重的错误，而不仅仅是出现频率最高的错误。

6.6 定性分析
图6展示了Grad-CAM可视化结果，比较了同一物种中被接受和被拒绝的图像对。在被接受的图像上，网络的注意力集中在动物的身体、纹理和区分性的形态特征上。在被拒绝的图像上，注意力分散或聚焦不当，经常扩散到背景杂乱、遮挡物体或水柱伪影上。这证实了选择头能够在主干特征提取未能定位出区分性物种特征时进行识别。这些可视化结果也支持了关于UDAS的消融研究结果（第6.4节）。网络的注意力集中在特定物种的形态特征上，而不是环境水条件（如浑浊度或颜色阴影），这证实了经过微调的主干已经学会了排除环境变化的影响。因此，手工制作的捕捉这些相同环境线索的特征是多余的。

下载：下载高分辨率图像（2MB）
下载：下载全尺寸图像

图6. 同一物种的被接受（左列）和被拒绝（右列）图像对的Grad-CAM热图，使用ConvNeXt-Tiny种子42。被接受的图像显示出对特定物种特征的集中注意力；被拒绝的图像显示出注意力分散或聚焦不当，证实了选择头能够识别出不可靠的特征提取。

图7显示了主干特征的t-SNE投影，按类别（左）和接受/拒绝决定（右）着色。被拒绝的样本聚集在类别边界附近以及多个类别重叠的区域。这提供了几何证据，表明AquaSelect能够识别出在分类器决策边界不可靠的模糊特征空间区域中的样本。

定性离分布评估。在实际部署中，自主水下航行器（AUV）会遇到不属于20个AQUA20类别的物体：海洋垃圾、未建模的动物、设备或气泡。我们通过将五个合成图像（随机噪声、纯蓝色、纯绿色、渐变和棋盘格图案）通过冻结的ConvNeXt-Tiny分类器（种子42）进行了初步的离分布（OOD）评估。表9报告了结果。

下载：下载高分辨率图像（502KB）
下载：下载全尺寸图像

图7. ConvNeXt-Tiny特征（种子42）的t-SNE投影，按物种类别（左）和80%覆盖率下的接受/拒绝决定（右）着色。被拒绝的样本（红色）聚集在类别边界附近，证实了AquaSelect能够识别出几何上模糊的输入。

所有离分布图像的置信度都低于分布内的第10百分位数（0.420–0.648 vs 0.657），这意味着在任何合理的阈值下，AquaSelect都会拒绝这些图像。模型对所有无意义的输入默认为“coral”，这是最常见的类别，这表明它是在猜测而不是表达真正的置信度。我们强调，这种评估是说明性的而不是全面的；真实的离分布输入，如海洋垃圾、新发现的动物和传感器损坏的帧，需要专门的评估。尽管如此，这些初步证据表明选择机制提供了对抗非海洋输入的自然第一道防线。

6.7 共形预测分析
我们还评估了温度校准的RAPS（规则化自适应预测集）[25]作为另一种不确定性量化方法。RAPS生成的预测集具有形式上的覆盖保证：对于用户指定的错误率α，真实标签至少以1?α的概率包含在预测集中。我们使用校准后的logits（除以学习到的温度T?）作为输入，RAPS的规则化参数λ=0.05和kreg=4，在验证集上校准并在测试集上评估。表10报告了共形预测结果。所有30种配置都满足了覆盖保证（2个主干 × 3个种子 × 5个α水平；完整验证见附录B）。然而，平均预测集大小仍然很大：ConvNeXt-Tiny为3.73–5.01个类别，DeiT-Small为3.61–4.98个类别，只有3.4%（ConvNeXt）和3.6%（DeiT）的预测在α=0.05时产生单一类别集。图8显示了α=0.10时的完整集合大小分布：大多数预测产生了3–6个物种的集合，证实了共形预测在这个数据集上很少产生可操作的单一物种标签。显著的过度覆盖（在目标80%–99%时经验值为99.0–99.8%）表明RAPS的规则化参数可能对这个数据集来说过于保守。通过交叉验证调整λ和kreg可以减少预测集的大小，尽管这不会改变多类别集合在操作上的实用性不如二进制接受/拒绝决策的事实。

下载：下载高分辨率图像（87KB）
下载：下载全尺寸图像

图8. α=0.10时ConvNeXt-Tiny（左）和DeiT-Small（右）的共形预测集大小分布。大多数集合包含3–6个物种，单一物种的集合非常少，限制了自动化物种级别识别的实际效用。

表9. 定性离分布评估。所有合成输入的softmax置信度都低于分布内的第10百分位数（0.657），确保在任何实际阈值下都会被拒绝。分布内：0.905±0.156。

图像Max softmax
Top-1预测
随机噪声 0.632
coral 0.420
纯蓝色 0.420
coral 0.472
coral 渐变 0.487
coral 棋盘格 0.648
coral
分布内平均值：0.905 ± 0.156；第10百分位数：0.657

6.7 共形预测分析
我们还评估了温度校准的RAPS（规则化自适应预测集）[25]作为另一种不确定性量化方法。RAPS生成的预测集具有形式上的覆盖保证：对于用户指定的错误率α，真实标签至少以1?α的概率包含在预测集中。我们使用校准后的logits（除以学习到的温度T?）作为输入，RAPS的规则化参数λ=0.05和kreg=4，在验证集上校准并在测试集上评估。表10报告了共形预测结果。所有30种配置都满足了覆盖保证（2个主干 × 3个种子 × 5个α水平；完整验证见附录B）。然而，平均预测集大小仍然很大：ConvNeXt-Tiny为3.73–5.01个类别，DeiT-Small为3.61–4.98个类别，只有3.4%（ConvNeXt）和3.6%（DeiT）的预测在α=0.05时产生单一类别集。图8显示了α=0.10时的完整集合大小分布：大多数预测产生了3–6个物种的集合，证实了共形预测在这个数据集上很少产生可操作的单一物种标签。显著的过度覆盖表明RAPS的规则化参数可能对这个数据集来说过于保守。通过交叉验证调整λ和kreg可以减少预测集的大小，尽管这不会改变多类别集合在操作上的实用性不如二进制接受/拒绝决策的事实。

下载：下载高分辨率图像（87KB）
下载：下载全尺寸图像

图8. α=0.10时ConvNeXt-Tiny（左）和DeiT-Small（右）的共形预测集大小分布。大多数集合包含3–6个物种，单一物种的集合非常少，限制了自动化物种级别识别的实际效用。

表10. ConvNeXt-Tiny的共形预测结果（RAPS）。平均 ± 标准差。尽管有有效的覆盖保证，预测集平均包含3.7–5.0个类别，限制了单一物种识别的实际效用。

α 目标 实际覆盖 (%) 平均集合大小 单一物种百分比
0.01 99% 99.5 ± 0.15
0.01 0.01 0.01
0.3 ± 0.20 0.05 95% 99.5 ± 0.14
0.62 ± 0.07 3.4 ± 0.60
0.10 90% 99.5 ± 0.14
0.28 ± 0.07 8.7 ± 1.0
0.15 85% 99.4 ± 0.14
0.01 99.4 ± 0.14
0.06 13.7 ± 1.1
0.20 80% 99.4 ± 0.13
0.3 19.0 ± 0.3

为了诊断这种过度覆盖，我们在ConvNeXt-Tiny上测量了每个类别的集合大小统计。平均校准分位数q?=0.996，这迫使累积softmax分数在超过阈值之前几乎包含所有类别。有两个因素导致了这种保守的分位数。测试集中的类别频率与每个类别的平均集合大小呈负相关（Spearman ρ=?0.685，p=0.0009）：五个最稀有的类别（octopus, seaCucumber, marine_dolphin, squid, shrimp）的平均集合大小为5.28，而五个最常见的类别（turtle, rayfish, seaAnemone, coral, fish）的平均集合大小为4.00，相差1.32倍。每个类别的准确性相关性更强（Spearman ρ=?0.697，p=0.0006）：主干系统性地误读的类别，如octopus的准确率为36.7%，flatworm为48.7%，这导致右侧尾部的校准分数膨胀，这种膨胀通过边际覆盖构建传播到所有类别。温度缩放将ECE从0.035降低到0.022（第6.4节），但残余的校准误差加上长尾类别分布和形态上的模糊性足以使q?接近饱和。RAPS在所有三种条件下都保持了其形式上的覆盖保证；操作结果是即使在α=0.20时，平均集合大小也保持在3.7以上。

这些结果揭示了共形预测与水下监测应用之间的根本不匹配。在医疗环境中，4个可能诊断的预测集是可操作的，因为临床医生无论如何都会审查每个案例。在自主水下航行器（AUV）大规模绘制珊瑚礁时，需要一个单一物种标签来进行自动化种群计数。4个候选物种的集合不适合这个目的。AquaSelect的二进制接受/拒绝范式更适合自主监测的操作现实，即在自动化单物种标记和路由到人类专家之间做出选择。这引发了一个问题，即AquaSelect的阈值τ是否可以提供类似的形式保证。正如所写的，τ是在验证数据上选定的一个经验性操作点。它控制了验证分布上的预期风险，但在共形意义上没有无分布的覆盖保证。Angelopoulos等人[31]将共形框架扩展到控制一般损失函数，包括这里相关的二进制0-1损失。我们将我们的经验方法视为一种故意的权衡。共形保证需要严格的可交换性。校准数据不能是用于停止训练或拟合逻辑回归融合权重的相同数据。正确应用共形风险控制需要四部分数据分割：训练、验证、校准和测试。在8171张图像的数据集上，划分出一个专门的第四部分会剥夺主干的训练数据并降低基础准确性。将共形风险控制围绕AquaSelect的选择分数提供了一条原则性的途径，可以在不放弃二进制决策接口的情况下获得无分布的可靠性界限，我们将这一扩展留给未来对更大数据集的工作。

我们还测试了将共形集合大小与AquaSelect的学习到的置信度分数（AQ-Conformal）融合。融合并没有提高选择质量：AURCC在ConvNeXt-Tiny上从0.0252增加到0.0281，在DeiT-Small上从0.0305增加到0.0327。图9从视觉上证实了这一点：AQ-Conformal风险-覆盖曲线在大多数覆盖水平上都高于AquaSelect的曲线。这表明选择头已经捕获了共形集合大小编码的不确定性信息。这种冗余并不令人惊讶：两种信号最终都来源于softmax分布，而学习到的选择头可以访问原始特征空间。尽管在单一物种识别方面存在这些限制，共形预测提供了在监管环境中可能有价值的补充形式保证。当共形预测集包含分类学上相关的物种（例如，多个软体无脊椎动物）时，系统可以提供可靠的属级或科级识别，而不仅仅是完全拒绝。将分类层次结构整合到共形框架中是未来工作的一个有前途的方向。共形预测分析仅在AQUA20数据集上报告；更平衡的Sea Animals数据集可能会产生更小的预测集，但这一点留待后续研究。

下载：下载高分辨率图像（289KB）
下载：下载全尺寸图像

图9. 包括AQ-Conformal融合变体的风险-覆盖曲线。AQ-Conformal曲线（红色）在ConvNeXt-Tiny（左）和DeiT-Small（右）上都高于AquaSelect（橙色），证实了将共形集合大小与学习到的置信度融合并不会提高选择质量。

6.8 部署格式推理概况
为了弥合第4.4节中的T4 GPU基准测试和嵌入式部署之间的差距，我们将整个流程（冻结的主干、分类头、选择头、温度缩放）导出到ONNX2，并在同一T4硬件上测量了四种部署现实配置下的运行时延迟。表11报告了结果。

ONNX Runtime FP32达到每张图像5.33毫秒（188 FPS），在PyTorch eager FP32测量的6.7毫秒/149 FPS的时间标准偏差范围内；这种小的差异反映了ONNX运行时的图形级优化。ONNX FP16达到2.98毫秒（336 FPS），文件占用量为56.22 MB，略高于FP32的112.29 MB。在批量大小为1时，GPU运行时内存峰值达到138 MB，在批量大小为8时达到233 MB。在ONNX Runtime下，纯CPU推理在主机CPU上达到每张图像65.7毫秒（15.2 FPS），这提供了一个独立于GPU加速的CPU-only回退估计。

表11. 在Tesla T4（16 GB）上的部署格式推理概况，完整流程（主干 + 分类器 + 选择头 + 温度缩放），224 × 224输入，批量大小1，100次迭代的平均 ± 标准差。ONNX 测量使用了带有 CUDA 12.8 和 cuDNN 9 的 Microsoft ONNX Runtime。配置如下：

- Latency（毫秒）↓ FPS ↑
- ONNX Runtime GPU FP32：5.33 ± 0.60
- ONNX Runtime GPU FP16：2.98 ± 0.75
- PyTorch CPU FP32（2 个线程）：81.1 ± 2.3
- ONNX Runtime CPU FP32：65.7 ± 1.3
- 5.2

目标硬件家族是当前 AUV 平台中使用的 NVIDIA Jetson Orin。Wang 等人 [32] 在 Jetson Orin Nano（8 GB）和 Jetson AGX Orin（32 GB）上部署了 ONNX 格式的 ConvNeXt 特征提取器，并报告了这两个模块的端到端实时吞吐量，同时具有足够的 GPU 和内存余量。我们测量的尺寸与两者中较小的一个兼容：ONNX FP16 模型可以很好地适应 Orin Nano 的 8 GB 共享内存（批量处理时峰值运行时间为 138 MB），而 56.22 MB 的磁盘空间允许多个模型版本共存于标准嵌入式存储中。实际的 Jetson 性能取决于 TensorRT 引擎的编译以及功耗和热管理，这些在 T4 的测量中无法再现。针对目标 Jetson 模块的现场部署研究留待未来的工作。

下载：下载高分辨率图片（125KB）
下载：下载全尺寸图片

图 10. Sea Animals 数据集（ConvNeXt-Tiny，种子 42）的风险覆盖曲线。AquaSelect（粉色）在大多数覆盖水平上都低于 SR（灰色，虚线），这与图 3.6.9 中的 AQUA20 结果一致。

**跨数据集验证**
为了评估 AquaSelect 是否能够超越主要基准测试，我们使用相同的三个种子和相同的超参数，在 Sea Animals 数据集上重复整个流程（主干网络训练、选择头训练、SR 和 MCD 基线），并使用 ConvNeXt-Tiny。由于 ConvNeXt-Tiny 在 AQUA20 上具有更强且更稳定的分类性能（表 3），我们选择它作为单一的交叉验证主干网络。目标不是模型迁移（我们在每个数据集上从头开始训练），而是框架的泛化能力：当数据集、类别结构和成像条件发生变化时，相同的选择性预测方法是否仍然有效？

如表 3 所示，ConvNeXt-Tiny 在 Sea Animals（87.71%）和 AQUA20（87.63%）上实现了可比的 Top-1 准确率，但由于类别分布更平衡，其 Macro F1 分数显著更高（86.36% 对比 79.91%）。表 12 报告了选择性预测结果。图 10 显示了 Sea Animals 的风险覆盖曲线。AquaSelect 的曲线在大多数覆盖范围内都低于 SR，尤其是在较低覆盖水平上差异更为明显。

表 12. Sea Animals 数据集上的选择性预测结果（ConvNeXt-Tiny）。平均值 ± 标准差（3 个种子）。最佳结果以粗体显示。这里省略了深度集成评估，因为跨数据集验证关注的是单个模型的边缘部署效率。

**方法**
- AURCC ↓
- Cov@95 (%) ↑
- Cov@99 (%) ↑
- SR：0.0219 ± 0.000484.1 ± 0.151.6 ± 0.2
- MCD：0.0223 ± 0.000583.9 ± 0.351.2 ± 2.2
- AquaSelect：0.0215 ± 0.001785.2 ± 0.157.1 ± 7.5

AquaSelect 将平均 AURCC 从 0.0219（SR）提高到了 0.0215，并且在所有三个随机种子上一致地提高了 Cov@95（平均值为 85.2% 对比 84.1%）。我们注意到，在这个数据集上，AURCC 指标对种子初始化的敏感性较高：虽然 AquaSelect 在种子 2003 上的表现显著优于基线，但在种子 9 和 42 上的表现相当或略差（详细分析见附录 A）。尽管如此，操作覆盖率指标（Cov@95 和 Cov@99）仍然较高。Cov@99 的提升幅度为 57.1% 对比 51.6%，尽管种子间的差异较大。AURCC 的提升幅度在 Sea Animals 上较小（相对提升为 1.8% 对比 9.2%），这是预期之中的。Sea Animals 的类别分布更平衡（414–1903 对比 AQUA20 的 20–2200），水下退化程度较低（数据集包括海洋表面照片），因此 Macro F1 分数也更高（86.36% 对比 79.91%）。由于选择头可利用的结构化失败模式较少，与简单 softmax 阈值相比的优势缩小了。

这种模式与第 6.4 节的消融研究结果一致：当分类器在特定类别或图像条件上有可识别的失败模式时，选择头的价值最大。在错误分布更均匀的更平衡的数据集上，选择头仍然有帮助，但优势缩小了。AquaSelect 在两个数据集上都表现出色，尤其是在任务更困难的情况下优势更大，这支持了该框架在不同海洋监测场景中的实际应用价值。

选择头在两个数据集上都学会了类似的区分能力：平均正确与错误分数的分离范围在 Sea Animals 上为 0.11–0.21（对比 AQUA20 的 0.14–0.26），证实了二元预测任务在不同数据集特征之间的迁移性。融合权重模式也是一致的：在 Sea Animals 上，学习到的温度范围为 T?≈1.32–1.38（对比 AQUA20 的 1.26–1.34），选择头得分（w1≈2.2–4.7）和校准概率（w2≈4.1–5.2）占主导地位，而 UDAS 特征的权重较小（|w3|,|w4|<0.6），这与 AQUA20 的消融研究结果一致。在 80% 的覆盖率下，AquaSelect 在 Sea Animals 上实现了 96.3% 的选择性准确率（种子 42），而 SR 为 96.1%；在 60% 的覆盖率下，这一优势更大：98.9% 对比 98.5%。这些优势在 Sea Animals 上比在 AQUA20 上更小，这与分类任务更简单是一致的。

**7. 结论与未来工作**
本文介绍了 AquaSelect，这是一个用于水下海洋物种分类的选择性预测框架，它能够学习何时应该放弃识别以避免误识别的风险。在两个海洋数据集 AQUA20（8171 张图片，20 个物种）和 Sea Animals（13,711 张图片，23 个物种）上进行评估时，AquaSelect 在平均指标上始终优于 Softmax Response 和 Monte Carlo Dropout 基线，在两个基准测试中都实现了最佳的单模型选择质量。在 AQUA20 上使用 ConvNeXt-Tiny 和 DeiT-Small 作为主干网络时，AquaSelect 的 AURCC 为 0.0248，对比 SR 的 0.0273；在 80% 的覆盖率下，准确率从 87.3% 提高到了 94.8%。在 Sea Animals 上的跨数据集验证证实了框架的泛化能力：AquaSelect 将 Cov@95 从 84.1% 提高到了 85.2%，Cov@99 从 51.6% 提高到了 57.1%，较小的 AURCC 差异（1.8% 对比 9.2% 的相对提升）与更简单、更平衡的分类任务相符。每个种子的 AURCC 结果参差不齐（AquaSelect 在 3 个种子中有 1 个种子上表现更好），但操作覆盖率指标（Cov@95, Cov@99）在所有种子上都有所提高。

消融研究确定二元选择头是主要贡献者，带来了大部分选择质量的提升。UDAS 特征和温度缩放提供了边际额外的好处，我们认为这是由于经过微调的主干网络已经内化了特定领域的视觉线索。这简化了部署：仅选择头就有 213K 个参数（不到 1% 的开销），提供了大部分实际效益。我们的共形预测分析虽然确认了在所有 30 种测试配置下的有效覆盖保证，但揭示了平均预测集大小为 3.7–5.0 个类别限制了自动水下监测中基于集合的物种识别的实际效用。二元接受/拒绝范式更符合自主水下监测的操作要求。部署分析证实了这种实用性，导出的 ONNX 模型仅需要 138 MB 的 VRAM——完全符合标准 AUV 边缘设备的限制。虽然在 Sea Animals 上的跨数据集验证证实了泛化能力，但在实际部署之前，仍需要在地理上不同的环境、传感器配置和操作条件下进行验证。

**未来工作的几个方向：**
- **跨领域泛化**：虽然在 Sea Animals 上的跨数据集验证证实了 AquaSelect 的泛化能力，但这两个数据集是独立训练的。需要在真实的领域变化情况下进行评估（例如，在 AQUA20 上训练，在 FathomNet 或 SUIM 等地理上不同的基准测试上进行测试），以评估在协变量变化下的泛化能力。冻结主干网络架构在一定程度上缓解了这一问题：轻量级的选择头可以在新的部署地点的小型本地验证集上重新校准，而无需重新训练整个模型。然而，如果领域变化降低了主干网络的特征质量，可能无法避免对整个模型进行适应。
- **扩展到更大的标签空间**：AQUA20 包含 20 个类别；在实际应用中，细粒度识别任务通常需要识别数百个类别。扩展到更大的分类系统可能会增加不确定预测的比例，从而在给定准确率目标下降低覆盖率。模块化架构允许独立扩展：随着分类模型对更大物种集的改进，可以选择头以最小的成本重新训练以学习新的失败模式。此外，如焦点损失或基于类别加权的 BCE 等替代损失函数可能会提高在选择类别不平衡的数据集上的选择头性能。
- **分布外检测**：AquaSelect 解决的问题与分布外或开放集识别不同。选择头标记的是由于环境退化或形态学模糊而在已知分布类别中可能不正确的预测。它并未被训练来检测完全未知的分类类别的输入。一个在视觉上类似于已知类别的新物种（例如，一个未建模的河豚物种）可能会获得高置信度，尽管它是分布外的。我们的合成评估（第 6.6 节）证实了该机制能够捕捉到明显的非海洋输入，但检测视觉上相似的分布外物种通常需要明确的目标，如异常值暴露或基于能量的评分。将 AquaSelect 的分布内可靠性与专门的分布外检测相结合，对于预期会遇到新类别的开放世界部署是必要的扩展。
- **主动学习集成**：AquaSelect 放弃的图像代表了分类器最不确定的预测，这些样本正是主动学习系统会优先进行人类标注的样本。在纵向部署场景中，可以迭代地结合专家对这些样本的注释来细化模型，从而创建一个循环，其中选择性预测驱动有针对性的数据收集。冻结主干网络架构使得这一点特别高效：只需要更新选择头和偶尔对主干网络进行微调。
- **分层共形预测**：当共形预测集包含分类学相关的物种时，系统可以提供可靠的属级或科级识别，而不仅仅是完全放弃识别。将分类层次结构集成到共形框架中，可以在完全自信的物种分类和完全放弃识别之间提供一个中间方案，这与特定领域应用中常见的分层分类协议相匹配。
- **共形风险控制**：AquaSelect 的经验阈值 τ 目前缺乏无分布的统计保证。将学习到的选择分数包装在共形风险控制框架 [31] 中将提供二元错误率的正式界限。实现这一点需要一个严格保留的校准集来保持数据交换性，这会减少小型基准测试上的可用训练数据。对于更大的操作数据集，这种扩展将结合接受/拒绝决策的实际效用和严格的数学保证。

**CRediT 作者贡献声明**
- Miit Daga：撰写 – 原始草稿、验证、软件、方法论、调查、形式分析、概念化。
- Saransh Naole：撰写 – 审阅与编辑、撰写 – 原始草稿、验证、调查。
- Swarna Priya Ramu：撰写 – 审阅与编辑、监督、项目管理、概念化。