融合国家位置先验与知识蒸馏的CNN及视觉Transformer蛇种细粒度识别及其蛇咬伤救治部署评估

《Animals》：Deep Learning for Snake Species Identification to Support Snakebite Treatment: A Comparative Study of Efficient CNN and Vision Transformer Architectures

　　

蛇咬伤中毒（snakebite envenoming）是一种被忽视的热带病，每年影响数百万人，而物种识别是选择正确抗蛇毒血清（antivenom）的关键环节。本研究在SnakeCLEF 2024数据集上比较六种卷积神经网络（CNN）与视觉Transformer（ViT）架构用于基于图像的蛇种分类；该数据集包含209个国家观察到的1599种蛇。研究人员采用知识蒸馏（KD）在不增加推理成本的情况下提升准确率，并通过闭式贝叶斯融合（closed-form Bayesian fusion）将分类器输出与位置条件物种出现先验（location-conditioned species-occurrence priors）结合，以纳入国家级地理位置信息。位置融合使所有架构的分类错误率降低超过40%，知识蒸馏进一步带来提升。最佳模型CAFormer-S18在同时使用图像与国家级位置时达到81.71%准确率。研究人员还比较了智能手机与Raspberry Pi 5上的单图像推理延迟（inference latency），发现真实设备端部署（on-device deployments）的延迟显著受模型架构与推理工具链相互作用影响。表现最佳的模型在两种设备上均可在约1 s内完成推理，表明蛇类细粒度物种识别可用于蛇咬伤治疗的实时场景；当与额外目标检测（object detection）阶段结合时，也可用于野生动物监测。

蛇咬伤中毒（snakebite envenoming）是长期存在的重大公共卫生问题，世界卫生组织（WHO）估计每年约540万人被蛇咬伤，其中180万–270万例中毒、8.1万–13.8万例死亡，永久残疾和截肢约为死亡数的三倍；多数事件发生在低收入和中等收入国家，尤其是农村南亚、东南亚和撒哈拉以南非洲。WHO于2017年将其列为优先被忽视热带病，并提出到2030年将蛇咬伤相关死亡和残疾减半。正确、及时识别致伤蛇种是治疗瓶颈：抗蛇毒血清常具有物种或属特异性，错误用药或不确定而延迟治疗可导致不良反应和更差结局；但受害者甚至医务人员常无法识别蛇种，蛇可能未被捕获或杀死，凭记忆描述特征不可靠，训练有素的爬虫学家在蛇咬伤高发低资源地区稀缺。深度学习细粒度视觉分类提供了可及自动化工具的可能，但现有研究多局限于单一国家或区域、6–45种蛇，或仅做毒/无毒二分类、粗粒度动物类型识别；且多依赖2020年前的CNN架构，未系统比较更新的高效CNN、ViT和混合架构，未应用知识蒸馏，也未考虑设备端推理延迟。SnakeCLEF 2024虽扩展至1599种、209国，但参赛工作笔记未纳入地理位置或知识蒸馏，且多报告单一最佳配置，部署约束研究不足。研究人员因此在SnakeCLEF 2024上系统比较SwinV2-T、EfficientNetV2-S、TinyViT-21M、EVA-02-S、CAFormer-S18和ConvNeXt-Small六种架构，应用知识蒸馏，并以闭式贝叶斯融合引入国家级位置，评估图像分辨率权衡及智能手机和Raspberry Pi 5上的推理延迟。研究得出：位置融合使所有架构错误率降低超过40%，知识蒸馏进一步一致提升准确率且不增加推理成本；最佳配置CAFormer-S18结合知识蒸馏与国家位置达到81.71%准确率，并在两种设备上约1 s完成单图像推理。其意义在于证明中等规模图像分类器结合低成本辅助输入和训练时技术，可在资源有限环境中实现较准确、快速、可负担的蛇种识别，用于蛇咬伤治疗指导；用于野生动物监测时需先配合目标检测裁剪蛇体。

关键技术方法概述（不超过250字）：研究使用SnakeCLEF 2024数据集（1599种、209国、164,898张图像，训练:验证:测试为82:9:9，保留自然类别不平衡，排除185种无测试图像物种）。六种架构经ImageNet-1K或ImageNet-22k预训练后迁移学习：先冻结除输出层外训练，再以较低学习率全层微调；以TinyViT-21M为教师进行知识蒸馏；推理后用闭式贝叶斯规则融合国家位置与物种-国家频率表；在224 × 224、336 × 336、448 × 448像素分辨率评估；手机用ExecuTorch/XNNPACK、Raspberry Pi 5用PyTorch测量单图像推理延迟。

3.1 模型比较：无知识蒸馏时TinyViT-21M准确率最高；采用知识蒸馏后CAFormer-S18最高，自蒸馏TinyViT-21M紧随，提示跨架构师生配对可能优于自蒸馏。加入国家级位置显著提升准确率，平均错误率在无知识蒸馏和有知识蒸馏时分别降低40.46%和45.20%；数据集内每国平均17.45种，按图像数加权为95.15种，位置将错误预测转为正确约17%，将正确转为错误仅0.43%。3.2 消融研究：以CAFormer-S18为学生、TinyViT-21M为教师，位置最重要，不用时错误率增加85%；分辨率从448 × 448降至336 × 336错误率增18%，降至224 × 224增56%；去除知识蒸馏增33%，去除ImageNet-22k预训练增17%，去除数据增强增11%，均显著。3.2.1 知识蒸馏：知识蒸馏提升所有学生模型，但同架构自蒸馏收益有限，其他学生架构收益相似且更大；自蒸馏TinyViT-21M仍略低于CAFormer-S18。3.2.2 图像分辨率：分辨率从224 × 224到336 × 336的提升大于336 × 336到448 × 448，图像加位置设置收益略高，曲线在448 × 448仍未平坦。3.3 训练动态：位置仅在推理后融合，模型始终仅用图像训练；迁移学习阶段知识蒸馏影响可忽略；微调阶段无知识蒸馏时测试损失先平后升而训练损失持续下降，呈过拟合，有知识蒸馏时训练和测试损失共同下降，训练准确率约0.93饱和，测试准确率略高，说明知识蒸馏主要通过正则化微调阶段提升泛化。3.4 详细分析：类召回随训练图像数增加而提高，低数据类召回在0–1间波动大；图像加位置趋势线约在500张训练图像达0.8，仅图像约需950张；宏观F₁（macro F₁）为0.7300，低于准确率；医学重要毒蛇（medically important venomous snake, MIVS）误分类中，非MIVS判为MIVS的比率为0.0125，MIVS判为非MIVS为0.0111，训练未设非对称代价。3.5 推理延迟：智能手机与Raspberry Pi 5差异显著；SwinV2-T和EVA-02-S在手机上比其他四种架构慢8–10倍，但在Raspberry Pi 5上相当，原因在推理工具链：手机ExecuTorch/XNNPACK仅加速固定算子，移位窗口注意力、相对位置偏置查找、旋转位置嵌入和SwiGLU等落入回退路径；EfficientNetV2-S在手机上最快。Raspberry Pi 5以PyTorch eager执行，无算子回退；448 × 448下除TinyViT-21M外所有模型推理≤1.2 s，TinyViT-21M在该分辨率因窗口数增多而急剧变慢。总体良好支持模型手机<2 s、Raspberry Pi 5<2.5 s，差支持模型8–10 s；CAFormer-S18约1 s，为推荐部署模型。参数数和浮点运算（FLOPs）仅粗略估计真实延迟，架构与工具链交互影响部署可行性。

讨论部分总结：位置融合以查找表形式近半降低错误率且几乎不增推理成本；知识蒸馏提供较小但一致增益且不增推理成本，说明中等准确分类器结合廉价辅助信号和训练时技术可能优于单纯追求更大架构。跨架构蒸馏优于自蒸馏，卷积-注意力混合学生与窗口注意力教师配对最佳，提示师生架构多样性作用，需进一步系统研究师生配对或多教师。类召回不均，数据稀缺医学重要种不一定常被拍摄，部署于蛇咬伤分诊时应在MIVS上评估并校准置信度。位置融合依赖条件独立等假设，分布表继承公民科学采样偏差，物种范围随时间变化，约5%图像无位置时回退图像预测，未来可扩展至更粗或部分位置。部署实践需按目标工具链和目标平台实测；移动工具链对现代ViT算子支持不足是主要障碍。野生动物监测需额外粗粒度目标检测先裁剪。局限包括评估使用专家验证图像、真实现场图像质量与光照等更复杂，知识蒸馏仅用单一教师，手机延迟仅限ExecuTorch/XNNPACK工具链。研究结论翻译：该研究表明，在适用于真实蛇咬伤治疗和野生动物监测的硬件上，可实现覆盖SnakeCLEF 2024数据集中1599种蛇的准确细粒度蛇种识别。通过简单闭式贝叶斯融合纳入国家级地理位置，使所有六种受测架构的分类错误率降低超过40%；知识蒸馏在不增加额外推理成本的情况下提供了进一步且一致的准确率提升。表现最佳的配置为经知识蒸馏训练并结合国家级位置的CAFormer-S18，达到81.71%准确率，同时在智能手机和Raspberry Pi 5上约1 s完成单图像推理。综上，这些结果表明，将中等规模图像分类器与低成本额外输入特征及训练时技术相结合，是在资源有限环境中部署细粒度物种分类的实用有效策略；但仍需进一步工作以提高对数据稀缺、医学重要物种的可靠性，并在现场真实图像上验证性能。