RMAF：一种基于深度学习的框架，用于通过水平梯试验自动评估脊髓损伤大鼠的运动功能

《Behavioural Brain Research》：RMAF: A Deep Learning-Based Framework for Automatic Assessment of Spinal Cord Injured Rats Locomotor Performance Using the Horizontal Ladder Test

　　肖利|张新奇|何金 湖北工业大学机械工程学院现代制造数量工程湖北重点实验室，武汉430068，中国

摘要
脊髓损伤是一种严重的神经系统疾病，致残率极高且治疗方案有限。其全球发病率持续上升，给临床研究和治疗带来了巨大挑战。在临床前研究中，大鼠常被用作脊髓损伤研究的动物模型，而准确评估运动功能对于判断治疗效果至关重要。传统的行为测试，如水平梯子行走试验，通常需要逐帧进行手动视频分析，这一过程既耗时又易受观察者主观因素影响。在本研究中，我们提出了RMAF（大鼠运动评估框架），这是一种基于深度学习的高性能框架，可用于自动识别和评分脊髓损伤大鼠的运动状态。RMAF将大鼠检测、动作分类和运动能力评分整合为一个端到端的分析流程，结合YOLOv4进行物体检测，同时运用ResNet–LSTM进行时间序列运动分析。该框架在不同分辨率的数据集上均表现出良好的性能，为替代传统手动评估提供了高效、客观且可重复的解决方案。通过实现对运动恢复情况的定量评估，RMAF为脊髓损伤的临床前研究提供了有力支持，有望提升行为研究的准确性、可扩展性和重复性。

引言
脊髓损伤通常由脊柱的创伤性病变引起，是一种危害中枢神经系统的严重疾病。它往往会导致损伤部位以下出现不同程度的运动、感觉和自主神经功能障碍[1]。脊髓损伤的特点是致残率和死亡率较高，治疗方法有限，临床管理面临诸多挑战。目前尚无根治方法[2]；常规的药物治疗和手术干预主要旨在缓解症状并预防并发症[3]。为深入理解其病理生理机制并探索有效的康复策略，开发和完善动物模型显得尤为重要[4]。

在各种实验模型中，大鼠因成本低、易于操作，且其受伤后的病理反应——如囊肿形成——与人类相似，而被广泛使用[5]。在大鼠脊髓损伤研究中，对运动行为的定量评估虽不能直接反映损伤程度，但却是判断功能恢复情况的重要间接指标[6]。因此，可靠且客观的行为评估是脊髓损伤临床前研究的关键组成部分[7]。

为评估神经损伤后的运动功能，人们提出了多种行为测试方法[4][7]。其中，水平梯子测试，也称为梯级行走测试，被广泛用于评估啮齿动物的行走技能、爪子放置精度以及四肢协调性[8][9]。与一般的开放场地运动量表相比，水平梯子测试对肢体放置和步态协调方面的细微缺陷更为敏感，因而更适合用于检测脊髓损伤后的精细运动障碍及恢复过程[6][8][9]。然而，在传统的梯级行走测试中，行为评估通常是通过逐帧视频观察并手动记录脚步错误来进行的[9][10]。尽管这种方法能够提供关于正确步伐、滑倒、纠正动作以及爪子位置异常的详细信息，但它既耗时又高度依赖观察者的经验[10]。

Martins等人[10]对手动记录脚步错误的可靠性进行了研究。他们评估了大鼠和小鼠脚步错误评分系统的评分者内一致性和评分者间一致性，结果表明，只要方法应用得当，就能为评估行走技能提供可靠的测量数据。不过，要实现准确评分需要经过培训，而且某些评分类别还需要仔细的人工判断。因此，尽管在受控条件下手动评分是可靠的，但它仍属于依赖人工、受观察者影响的操作方式，难以应用于大规模或完全客观的行为评估中。为克服这些局限，一些系统试图实现水平梯子测试的自动化。例如，BIOSEB自动梯子测试系统结合了红外光束检测和高速视频录制技术，用于识别脚步错误并将其对应到特定的爪子上[11]。该系统提高了检测爪子位置异常的客观性和效率。然而，这类商业系统依赖于专门的硬件和软件，可能限制了其普及性和灵活性。更重要的是，它们的输出主要侧重于脚步错误的检测和计数，而非对不同运动状态的识别或生成综合的运动功能评分。最近，有一种自动梯级测试系统被开发出来，用于评估帕金森病小鼠模型的运动协调性[12]。该系统利用透射式光学传感器、Arduino微控制器以及定制的Python软件来检测脚步错误和行走时间。不过，这种方法仍然依赖专用的传感器硬件，其分析功能仅限于脚步错误检测和行走时间测量，无法直接利用视频信息识别多种运动状态或生成综合的运动能力评分。

除了针对梯子测试的专用系统外，还有其他运动分析平台也被开发出来。诸如CatWalk这样的半自动化系统能够捕捉爪子放置轨迹和步态参数，提高了运动数据采集的效率[13][14]。然而，当由于爪子重叠、步态异常或遮挡等原因导致自动爪子检测失败时，往往仍需人工进行修正[15][16]。基于3D视频和红外标记的高精度运动捕捉系统虽然能提供详细的运动学信息，但由于需要反射标记且设备昂贵，限制了其更广泛的应用[17]。

随着计算机视觉和深度学习的进步，基于视频的自动行为分析已成为一种极具前景的客观运动评估方法[18][19]。例如，DeepLabCut（DLC）无需标记即可进行姿态估计，已被广泛用于动物模型和人类受试者的身体部位及关节追踪[20][21][22][23]。在这类姿态估计技术的基础上，ALMA工具箱整合了姿态估计、步态特征提取和降维处理功能，实现了运动评估的半自动化[24]。这些方法极大促进了运动行为的定量分析[20][21][24]。不过，它们大多侧重于关键点检测、姿态重建或运动学特征提取，而非直接解读运动状态或生成运动功能评分。其输出结果通常还需要额外的人工标注、启发式规则或预定义的分类方案才能推断出行为含义。

在脊髓损伤和水平梯子测试的背景下，这些局限性尤为重要。脊髓损伤后的运动恢复是一个持续且动态的过程，动物可能会表现出多种中间状态，如踏步、滑倒、暂停、拖行或肢体协调功能的部分恢复[6][7]。现有的自动化或半自动化方法往往将这一过程简化为有限的事件计数或粗略的恢复阶段[12][24]。例如，用于脊髓损伤研究的ALMA相关应用通常采用预先定义的阶段，如损伤前、损伤早期和完全恢复期，这可能忽视了功能改善的渐进性和复杂性。此外，在水平梯子测试中，仅识别跌倒或脚步错误事件，可能无法全面反映运动恢复的复杂性。

为解决这些问题，本研究提出了RMAF，即大鼠运动评估框架，用于自动评估脊髓损伤大鼠在水平梯子测试中的运动表现。与以往主要依靠红外或光电传感器来统计脚步错误的自动化梯子测试系统不同，RMAF是一种基于视频的深度学习框架，能够利用普通视频录像来分析运动行为。该框架由三个核心模块组成：（1）基于YOLOv4[25]的检测器，用于自动识别并定位每帧视频中的大鼠；（2）ResNet–LSTM[26][27]网络，用于对每帧视频中的运动状态进行分类，捕捉空间和时间层面的运动特征；（3）后处理算法，用于整合时间信息，为每次测试生成整体的运动能力评分。与手动记录脚步错误、商业自动梯子系统、基于传感器的自动梯级测试系统以及一般的姿态估计方法相比，RMAF将水平梯子分析从简单的错误计数或轨迹提取提升到了运动状态识别和试验级运动能力评分的高度。该框架计算效率高，评估精度高，并且在不同的损伤程度和视频分辨率下都具有较强的稳定性，为评估脊髓损伤大鼠的运动恢复情况提供了一种灵活且定量的工具。

本研究的贡献如下：
（1）统一的框架：我们提出了RMAF，这是一个端到端的深度学习框架，整合了检测、分类和评分功能，可实现大鼠运动功能的自动评估。
（2）混合模型设计：该框架结合了YOLOv4实现的精确空间定位功能与ResNet–LSTM的空间时间运动识别功能，从而能够准确识别运动状态。
（3）用于自动化康复评分的行为识别：通过深度学习得到的行为分类结果会被转化为运动功能评分，为传统的手动评估提供了一种客观且可重复的替代方案。
（4）实际应用性：该框架在不同分辨率和损伤程度的数据集上都具有很强的泛化能力，为神经科学和康复研究中的自动化分析提供了实用工具。

本文的其余部分结构如下：第2节介绍本研究采用的方法；第3节展示实验结果；第4节讨论研究结论；最后第5节对全文进行总结。

整体设计
我们的目标是开发RMAF，这是一种基于视频的自动评估系统，用于测量脊髓损伤大鼠在梯级行走任务中的运动功能。图1展示了所提出系统的流程和工作组件。首先，使用标准摄像机录制大鼠完成梯级行走任务的视频。然后，借助基于YOLOv4的检测器自动检测并提取每帧视频中大鼠的位置。接下来，深度学习算法会被用于……YOLO检测性能及其在后续分类中的作用
为提高后续行为分类的准确性和效率，YOLOv4被集成到预处理阶段，用于自动检测并裁剪每帧视频中的大鼠区域。图6展示了基于YOLO的裁剪效果，以便进行对比。这一步骤能有效去除背景干扰，确保分类器能够专注于与行为相关的区域。

为了评估基于YOLO的预处理方法的贡献，我们进行了消融实验。

讨论
在本研究中，我们开发了RMAF，这是一种基于视频的自动评估系统，用于评估脊髓损伤大鼠在梯级行走任务中的运动功能。该系统首先利用YOLO检测并定位每帧视频中的大鼠，然后运用ResNet–LSTM模型逐帧对不同的运动状态进行分类。通过后处理评分算法整合这些输出结果，RMAF最终生成的运动评分具有较高的准确性……

结论
本研究提出了一种全新的基于视频的自动系统，用于评估脊髓损伤大鼠在梯级行走任务中的运动功能。通过整合物体检测、基于深度学习的运动状态识别以及后处理算法，该框架成功实现了对步态表现的准确、客观且高效的评估。该系统不仅能够给出与手动评分一致的结果，还具备良好的可扩展性……

资金支持
本研究部分得到了国家自然科学基金项目52005169（肖利）的支持。

作者贡献声明
肖利：撰写原始稿件、监督研究、数据整理、概念构思。何金：撰写审阅与编辑稿件、负责可视化工作、监督研究、提供资源支持。张新奇：撰写原始稿件、负责可视化工作、开发软件、设计研究方法。

利益冲突声明
作者声明没有利益冲突。

利益冲突声明
作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：何金表示获得了国家自然科学基金的资金支持。其他作者则声明没有已知的可能影响本文所述工作的财务利益或个人关系。