基于视频面部地标的非侵入性工作犬疲劳评估框架

《Scientific Reports》：Automated facial analysis for working dog fatigue assessment

　　工作犬执行安全关键任务，然而现场疲劳评估依赖于主观的处理者观察或侵入性的、不实用的仪器。我们提出了一种非侵入性的、仅基于视频的框架，从短录音中提取46个解剖学基础的（基于DogFACS的）面部地标，并生成疲劳评估。与可穿戴生理监测不同，它不会在动物身上附着任何东西；与手动DogFACS编码不同，它是自动化和可扩展的；与原始视频深度学习不同，它使用紧凑、可解释的表示，对毛发颜色和光照具有鲁棒性，并适用于小型现场数据集。地标轨迹通过一个涵盖基于树的模型和深度序列模型的嵌套模型选择流程进行分类。在从四只工作犬在野外条件下记录的177个视频中，该流程在特定犬的嵌套交叉验证中，基于树的模型平均F1分数达到0.781，神经网络模型达到0.789；在嵌套留一犬验证中，分别为0.676和0.740。我们还引入了一个特定犬的相对面部状态指数，在三只犬中给出了强烈的保留前后区分，以及一个嘴部运动分析，其开口幅度特征在所有四只犬中均能区分。据我们所知，这是首个在操作条件下对工作犬疲劳评估进行自动化面部地标方法，为在更大、更多样化的群体中进行验证提供了动力。