《Journal of Neuroscience Methods》:OpenFieldAI – New Open-Source AI Based Software for Tracking Rodents and Training Open Field Test Models
编辑推荐:
OpenFieldAI 是一款开源 Python 基础的 OFT 分析软件,通过 YOLO 算法实现 rodent 检测与跟踪,支持视频输入和自定义模型训练,可量化速度、距离及区域停留等行为参数,生成热图、路径图等可视化结果,经与 ANY-maze 对比验证,各项指标相关性达 0.9 以上,兼具易用性和灵活性。
Muzammil Kabier|Shamili Mariya Varghese|K.V. Athira|Mohamed A. Abdelgawad|Mohammed M. Ghoneim|Hailah M. Almohaimeed|Sunil Kumar|K.P. Sreekumar|Ashok R. Unni|Bijo Mathew
印度科钦Amrita Vishwa Vidyapeetham AIMS健康科学校区Amrita药学院药学化学系
摘要
开放场地测试(OFT)是广泛用于评估啮齿动物探索行为、运动行为和焦虑行为的临床前模型之一。OFT的参数通常通过手动分析或使用自动化系统进行分析。尽管有许多用于OFT分析的软件,但由于学习曲线较陡峭以及商业软件的成本较高,研究人员更倾向于选择传统方法。手动分析容易受到观察者偏见的影响,从而导致行为分类的不确定性。因此,在科学研究中,人们更倾向于使用自动化系统。本文介绍了
OpenFieldAI,这是一个基于Python的开源软件,具有直观的图形用户界面(GUI),对初学者非常友好。该软件利用YOLO算法来检测和跟踪OFT装置中的啮齿动物。当预训练模型无法充分完成任务时,可以根据用户需求训练新模型。用户可以提供单段或多段预录视频(mp4格式)或实时视频(通过外部网络摄像头),以计算速度、距离、在感兴趣区域(ROI)内/外的时间以及进入/退出次数等参数,并生成箱形质心图、热图和路径图,这些信息对于了解啮齿动物的神经行为至关重要。通过二维平面上的最小/最大值计算自动检测中心/外围区域,以及手动绘制ROI,进一步提升了软件的易用性和复杂信息的收集能力。为了验证该软件的有效性,我们使用皮尔逊相关系数比较了ANY-maze(商业软件)的读数与OpenFieldAI的测量结果(包括总距离、速度、进入中心区域的时间以及在中心区域和外围区域停留的时间)。所有三组数据的相关性均高于0.9,表明新软件的可靠性。此外,还提供了用户指南以帮助正确使用该工具。OpenFieldAI可在Windows操作系统上免费下载和安装:
https://sourceforge.net/projects/openfieldai/
引言
准确的、可靠的行为评估在基础研究和临床前研究中对神经科学领域具有重要意义。开放场地测试(OFT)大约在90年前首次被引入,现已成为动物行为模型中常用的实验方法。1932年,Hall和Ballachey开发了这一测试方法,用于评估小鼠的运动能力和探索意愿(Hall and Ballachey, 1932)。该方法之所以受欢迎,主要是因为其简单性、速度快,能够有效监测定义明确的行为,并且这些行为的解释具有广泛共识(Walsh and Cummins, 1976)。OFT用于测量动物在进入或自发进入一个开放、未知环境时的行为(Perals et al., 2017)。开放场地迷宫由围墙围成的区域组成,高度足够防止动物逃脱。根据实验对象的大小,迷宫通常呈方形或圆形,面积足够大以在中心创造出开阔感。该测试主要用于识别啮齿动物的焦虑行为,主要通过观察其运动行为来进行评估(Seibenhener and Wooten, 2015)。
研究人员过去常使用秒表手动记录实验数据,但这会导致评分难以复查,从而丢失时间信息(Philipsberg et al., 2023)。不同研究人员和实验室之间,甚至同一研究人员在不同时间点,评分标准也存在差异。如今,实验设计已实现完全自动化,通过集成实时跟踪摄像头或视频后期处理软件来完成(Langley et al., 2024)。Mathis等人提出的深度学习与无标记姿态估计技术的结合,从根本上改变了定量行为神经科学的研究方法。DeepLabCut是一项重要贡献,它实现了用户定义的身体部位的高精度姿态估计(Mathis et al., 2018)。Nath等人进一步发展了DeepLabCut,实现了使用多台摄像头进行3D无标记姿态估计,能够精确重建不同物种和行为范式下的动物姿态(Nath et al., 2019)。
尽管该领域取得了一些进展,但仍存在一些不足。大多数软件为付费版本,而一些开源软件的安装过程较为复杂。过多的选项和参数可能会让用户难以确定中心区域和外围区域,也影响整个工作流程的顺利进行(Siegford et al., 2023)。Panadiero等人对几种用于动物行为跟踪的开源软件进行了详细评估,包括它们的实用性、规格和局限性(Panadeiro et al., 2021)。
引入新软件的主要目的是解决商业软件和开源软件存在的问题,如安装困难、成本过高、可用性差和技术支持不足(Panadeiro et al., 2021)。OpenFieldAI能够训练出适用于特定任务的啮齿动物模型,用于追踪特定区域的位置、速度及进入/退出时间。该软件可以生成质心图、折线图和热图,便于数据解读和科研应用。此外,还实现了根据用户需求训练模型的功能;如果用户对OpenFieldAI的预训练模型不满意,也可以进行自定义模型训练。该软件界面简洁易用,详见图1。
框架
框架
GUI框架采用Python的PyQt5库构建,应用程序通过Yolov8 conda环境实现检测和训练功能(Redmon et al., 2016)。批处理脚本和Python脚本用于自动化命令行界面中的检测和训练命令。图2展示了整个工作流程的概览。
检测
yolo task=detect mode=predict model=%~2 show=True conf=%~4
检测
OpenFieldAI提供了用户友好的界面,支持从视频或实时网络摄像头 feed 中跟踪啮齿动物。主界面允许用户从3个预训练模型(OFAI160、OFAI320、OFAI640)中选择所需模型。图像大小会自动根据模型的训练分辨率设置,但如果用户选择手动训练的定制模型,则需要手动指定图像大小。输入的视频会按照设定的置信阈值进行跟踪。
讨论
我们介绍了OpenFieldAI,这是一个基于Python的开源软件,具有直观的GUI,适合没有编程经验的初学者使用。用户可以导入视频、检测运动行为、量化基于区域的指标,并导出可复制的输出结果。该软件能够辅助分析开放场地测试中常用的动物行为参数,如在不同区域停留的时间、移动距离、速度等。
结论
OpenFieldAI能够生成精确的结果。由于具备训练用户自定义模型的能力,该软件对许多研究人员来说都非常有用。此外,经过训练的OpenFieldAI模型表现出良好的mAP分数,表明其在检测方面的准确性和稳定性。对比分析表明,OpenFieldAI在实际应用中具有显著优势,并且与手动方法和标准软件相比具有较高的相关性。
作者贡献声明
Bijo Mathew:撰写、审稿与编辑、可视化、概念设计。
Shamili Mariya Varghese:撰写初稿。
Muzammil Kabier:撰写初稿、软件开发、方法论设计、数据整理。
Mohamed A. Abdelgawad:项目管理工作。
Athira K.V:撰写、审稿与编辑。
Hailah M. Almohaimeed:项目管理工作。
Mohammed M. Ghoneim:项目管理工作。
Sunil Kumar:撰写、审稿与编辑、可视化、监督、软件开发、方法论设计。
致谢
本研究得到了Jouf大学研究生院和科学研究部的资助(项目编号:DGSSR-2025-01-01225)。