**PandaPE：面向野外红外相机陷阱图像的野生大熊猫解剖标志点自动检测深度学习框架**

《Ecological Informatics》：Anatomical landmark detection of giant pandas in the wild with infrared camera traps

　　

野外动物的行为变化、活动模式与日常节律是生态系统动态和环境变化的重要早期指示因子。作为全球公认的旗舰物种，大熊猫（Ailuropoda melanoleuca）在维持其自然栖息地稳定性方面发挥着关键生态作用。野生动物研究人员通常依赖部署在复杂自然环境中的红外相机陷阱（camera traps）记录大熊猫的日常活动，为后续行为变化与活动模式分析提供基础。然而，此类数据的分析仍严重依赖人工标注和专家判读，极大地限制了长期监测数据集的可扩展性、效率与及时利用。现有自动化行为分析方法多聚焦于行为识别层面的输出，将模型视为黑箱分类器，直接预测预定义的语义标签，难以提供可解释的细粒度行为分析。为应对这一挑战，研究人员提出PandaPE——一个专为大熊猫野外红外相机陷阱图像设计的深度学习框架。该框架以HRNet为骨干网络，集成了三个面向任务的组件：动态特征增强门控模块（DFEG），用于抑制复杂背景干扰；跨尺度特征融合与精炼模块（CFFR），用于保留外围解剖结构的空间细节；Animal-Mona多认知视觉适配器，用于增强任务特异性特征表征。研究人员利用LoTE-Animal公开数据集中的1898张大熊猫红外图像进行训练与评估，每张图像标注17个解剖标志点。实验结果表明，PandaPE在平均精度（AP）、AP⁵⁰和AP⁷⁵指标上分别达到47.0%、90.0%和46.9%，较基线模型分别提升2.8%、0.4%和9.5%。通过将通用姿态估计重新定义为面向生态监测需求的标志点检测框架，PandaPE为基于标志点的姿态分析与行为生态学研究提供了可靠的结构化中间表征，可在模型训练完成后以最小人工干预无缝集成至现有生态监测工作流程。

**基于红外相机陷阱的野生大熊猫解剖标志点检测研究解读**

**一、研究背景与问题提出**

行为变化、活动模式和日常节律是野生动物响应生态系统动态与环境变化的重要早期指标。大熊猫作为全球公认的旗舰物种，在维持栖息地生态系统稳定性方面发挥着不可替代的生态功能。长期以来，野生动物研究者依赖部署于自然栖息地的红外相机陷阱记录大熊猫的日常活动影像，并基于此开展行为分析。然而，从海量影像数据中获取精细行为信息的工作仍严重依赖人工标注与专家判读，不仅效率低下、难以规模化扩展，还限制了长期监测数据的及时利用。因此，开发可自动化和可重复的分析方法成为该领域亟待解决的核心技术瓶颈。

现代野生动物监测已超越简单的物种出现记录，日益重视对动物行为的量化分析，因为行为模式能为栖息地利用、生理状态、行为适应及环境变化响应提供直接的生态学证据。对大熊猫而言，攀爬、觅食、休息、移动和气味标记等行为均与栖息地质量评估和保护管理密切相关。然而，现有自动化行为分析方法多聚焦于行为识别输出，将模型视为黑箱分类器，直接从图像或视频预测预定义的行为语义标签。此类方法不仅难以提供可解释的细粒度行为分析，还对预定义行为类别存在强依赖，泛化能力有限。

为解决上述问题，部分研究者将姿态骨架（posture skeletons）纳入行为识别框架，将其作为重要的结构化中间表征。对大熊猫而言，解剖标志点（landmarks）通过识别具有解剖学意义的关节位置并捕捉身体的空间构型与时间动态，构成姿态的结构化表征。这种基于标志点的中间表征不仅为跨场景、跨任务的行为分析提供了统一基础，还为可解释的自动化分析框架奠定了关键基础。同时，由标志点连接而成的姿态骨架可作为可解释的中间层，有效衔接低层视觉信息与高层行为分析，支持提取相对肢体运动、姿态构型和活动趋势等运动学描述符，为后续专项行为分析提供可量化的依据。

尽管人体姿态估计（Human Pose Estimation, HPE）在解剖标志点定位方面取得了显著成功，受此启发发展而来的动物姿态估计（Animal Pose Estimation, APE）仍面临巨大挑战。直接将HPE方法迁移至大熊猫等野生动物，需应对动物形态多样性高、姿态灵活性大以及自然环境成像条件不受控等诸多困难。尤其是在自然栖息地中，红外相机陷阱在低光照条件下的成像常常受到严重背景杂乱、动态遮挡、运动模糊和红外噪声伪影的严重退化。然而，当前大多数姿态估计框架并未在方法层面对这些挑战进行建模或明确处理。因此，针对野外非受限条件下采集的大熊猫红外相机陷阱图像，目前尚缺乏可靠的标志点检测方案。

综上，野生大熊猫标志点检测面临三个核心挑战：第一，在复杂森林环境中，背景纹理和植被常常主导学习到的特征表征，导致标准卷积网络错误地关注非信息性区域，尤其在红外成像场景中外貌线索本就有限的情况下，关键点定位极不稳定；第二，深层网络虽然能捕获高层语义，但反复下采样不可避免地导致空间细节丢失，使得涉及攀爬的爪部和涉及标记行为的尾部等精细解剖结构的精确定位变得困难；第三，大多数姿态估计模型针对以人为中心的数据集优化，缺乏编码动物解剖先验的任务特异性机制，限制了其对具有灵活姿态和物种特异性形态的大熊猫的泛化能力。

**二、研究内容与重要意义**

为应对上述挑战，研究人员提出了Panda Pose Estimation（PandaPE）框架——一个专为真实野外环境中大熊猫解剖标志点检测而设计的深度学习框架。PandaPE以HRNet为骨干网络，集成了三个面向任务的组件：动态特征增强门控模块（Dynamic Feature Enhancement Gating, DFEG），用于抑制复杂背景干扰；跨尺度特征融合与精炼模块（Cross-scale Feature Fusion and Refinement, CFFR），用于保留外围解剖结构的空间细节；以及Animal-Mona多认知视觉适配器，用于增强任务特异性特征表征。通过整合环境感知和以动物为中心的设计原则，该框架显著提升了在具有挑战性的红外相机陷阱条件下标志点检测的鲁棒性与精度。

该项研究的核心贡献不仅在于开发了一种新颖的网络架构，更在于将通用姿态估计重新表述为面向生态监测需求的任务导向型大熊猫标志点检测框架。该框架使得基于标志点的姿态与行为分析能够在模型训练完成后以最小人工干预无缝集成至现有生态监测工作流程，为生态管理机构和保护实践者提供了实用且可扩展的解决方案。

**三、关键技术方法**

研究人员采用HRNet-W32作为骨干网络，该架构能够在整个网络过程中保持高分辨率表征，采用自顶向下的估计范式，由多个具有并行多分辨率分支的阶段组成。数据来源于LoTE-Animal公开数据集，该数据集影像采集于中国西南部四川省国家级自然保护区（地理坐标范围为东经102°52′至103°24′，北纬30°45′至31°25′，面积超过2000平方公里，海拔1806米至4445米），部署了200余台红外相机，数据采集周期超过12年，涵盖不同时间、季节和天气条件。研究人员选取其中1898张大熊猫图像，每张图像按COCO标准标注17个标志点（包括鼻子、颈部、尾部、左眼、右眼、左肩、右肩、左肘、右肘、左前爪、右前爪、左髋、右髋、左膝、右膝、左后爪和右后爪），按7:1:2比例划分为训练集、验证集和测试集，并通过水平翻转、半身裁剪和仿射变换进行数据增强。DFEG模块在坐标注意力（Coordinate Attention, CA）基础上引入门控调制机制，联合捕获通道方向和方向依赖性，通过动态门控自适应调控注意力增强特征的贡献。CFFR模块将DFEG增强后的浅层特征与深层语义特征进行跨尺度选择性融合，并嵌入SE（Squeeze-and-Excitation）模块进行通道特征重标定。Animal-Mona模块采用并行卷积核尺寸[3,5,7]的多尺度特征融合策略，以通道拼接后接卷积降维替代原平均融合，并结合轻量级通道注意力机制。模型使用ImageNet预训练的HRNet权重初始化，训练100个轮次，批量大小为32，采用Adam优化器，预训练参数初始学习率为0.0005，新参数为0.006，在第40和第70个轮次学习率衰减为原来的十分之一。

**四、研究结果**

**（1）消融实验（Ablation Experiments）**

以HRNet为基线模型（参数量2854万，模型大小109.07 MB，AP为44.1%，AP⁵⁰为89.6%，AP⁷⁵为37.5%），研究人员逐步集成DFEG、CFFR和Animal-Mona模块进行消融实验。结果表明，单独添加DFEG模块使AP提升至45.6%，AP⁷⁵提升至41.8%；单独添加CFFR模块使AP提升至44.8%，AP⁷⁵提升至41.8%；联合DFEG和CFFR使AP达到46.5%，AP⁷⁵达到45.8%；完整集成三个模块后，PandaPE在AP、AP⁵⁰和AP⁷⁵上分别达到47.0%、90.0%和46.9%，AP⁷⁵较基线提升9.5%。消融结果证实每个模块均能持续提升性能，且DFEG和CFFR模块通过局部特征表征、动态特征增强和跨尺度特征融合有效抑制了复杂背景和环境噪声干扰，减轻了遮挡引起的误差。

**（2）注意力机制对模型性能的影响（Influence of the Attention Mechanism on Model Performance）**

研究人员选取了多种代表性注意力机制进行对比评估，包括LSKA、EMA、MCA、ECA、CBAM和CA。实验结果表明，CA在大多数评价指标上均取得更优结果，PandaPE所采用的CA机制在AP、AP⁵⁰和AP⁷⁵上分别达到47.0%、90.0%和46.9%，优于其他所有对比注意力机制，验证了所选注意力策略的有效性。

**（3）对比实验（Comparative Experiments）**

研究人员在ImageNet预训练和COCO 2017预训练两种迁移学习设置下，将PandaPE与多种先进姿态估计方法进行了对比。在ImageNet预训练设置下，PandaPE以2878万参数在100轮次训练后达到47.0% AP、90.0% AP⁵⁰和46.9% AP⁷⁵，在相同训练轮次下优于ResNet、Hourglass、ViTPose、TokenPose、SimpleBaseline和HRNet等代表性方法。在COCO预训练设置下，PandaPE达到50.4% AP、89.5% AP⁵⁰和54.5% AP⁷⁵，与基于Transformer的ViTPose-B和基于ResNet的SCNet相比，在更少参数和更小模型尺寸下取得了有竞争力的表现。综合而言，PandaPE在保持紧凑模型规模和计算效率的同时实现了较高的定位精度，仅需100个训练轮次即可收敛，有利于在资源受限的野外工作站或低功耗终端设备上部署。

**五、讨论与结论**

在性能与方法优势分析方面，PandaPE最显著的改进体现在AP⁷⁵指标上，较基线提升9.5%，这在野生动物监测中代表模型在低对比度红外图像条件下精确识别关节的能力，对后续细粒度行为量化至关重要。消融研究确认DFEG、CFFR和Animal-Mona模块是缓解相机陷阱图像中环境噪声和复杂背景干扰的有效组件，而非简单的增量技术添加。当目标动物在真实森林环境中移动时，相对尺度和方向可能发生变化，Animal-Mona的多尺度建模策略和骨干网络预训练参数的自适应调节在此类场景下对粗粒度性能（尤其是AP⁵⁰）的稳定提升尤为关键。在检测标志点与衍生姿态表征用于行为理解方面，研究人员通过分析代表性红外图像序列展示了检测到的标志点如何转化为骨骼叠加姿态表征，行走序列呈现协调的肢体运动，休息序列反映最小运动量，嗅探序列突出头部和前肢在有限区域的活动。关节位移图进一步量化了跨帧运动的强度和动态。在生态应用潜力方面，该框架将大熊猫丰富的行为库转化为一系列可测量、可比较的时空数据，为行为生态学、保护生物学和动物福利研究提供了可复用的数据基础。在失败模式与适用边界分析方面，定性分析揭示了四种反复出现的挑战性场景：背景混淆（大熊猫与周围环境视觉对比度低）、严重遮挡（密集植被或树干遮挡大部分身体）、小尺度目标（因拍摄距离远导致大熊猫仅占少量像素）以及图像质量退化（夜间红外图像的低对比度、模糊或传感器噪声）。在跨物种泛化潜力方面，研究人员将PandaPE直接迁移至小熊猫数据集进行初步验证，仅需重新定义解剖关键点而无需修改架构，展现了该框架向其他哺乳动物扩展的可行性。

研究结论如下：本研究解决了复杂真实环境中野生大熊猫自动标志点检测的挑战，为下游行为分析提供了鲁棒且可解释的表征。主要方法学贡献包括三项：第一，提出PandaPE，一个专为大熊猫监测中非受限野外条件设计的基于深度学习的自动标志点检测框架；第二，引入三个新颖的以动物为中心的组件——动态特征增强门控模块、跨尺度特征融合与精炼模块和Animal-Mona多认知视觉适配器，三者共同增强了特征鲁棒性，保留了细粒度空间细节，在具有挑战性的背景和可变光照条件下提高了关键点定位精度；第三，通过在自然保护区昼夜采集的大熊猫红外图像上进行大量实验，定量对比和消融研究证实了所提架构设计的有效性，在AP、AP⁵⁰和AP⁷⁵上分别取得了2.8%、0.4%和9.5%的提升。重要的是，通过显式建模大熊猫身体标志点及其空间构型，PandaPE从可靠检测到的解剖位置中生成具有物理基础的、可复用的姿态表征。与对外观线索（如皮毛纹理、光照和物种间变异性）敏感的基于外貌的线索相比，这些由标志点驱动的姿态表征提供了更高的结构一致性和可解释性，使大熊猫运动分析能够基于可观测的运动学证据而非不透明的端到端预测来进行。总体而言，本研究证实了在具有挑战性的真实条件下实现准确高效的自动标志点检测的可行性，并为可解释的、数据驱动的生态分析和保护导向应用奠定了坚实的方法学基础。