RESPAN：集成深度学习的全自动树突棘形态分析平台推动神经科学研究

本刊推荐：RESPAN（Restoration Enhanced SPine and Neuron Analysis）是首款集成深度学习图像恢复（CARE）、各向同性分辨率增强（Self-Net）和智能分割（nnU-Net）的自动化分析平台。该工具通过统一的图形界面（GUI）实现树突棘形态的精准三维量化，有效解决了传统方法中的人工偏差、参数优化繁琐和多软件工作流整合难题，为神经发育疾病和退行性病变研究提供了高精度、可重复的分析方案。

　　

引言背景

树突棘形态和突触输入连接性是定义神经元亚型及其功能特性的核心特征。在哺乳动物新皮质中，锥体神经元（PNs）接收超过90%的兴奋性突触输入于树突棘——这些由 Santiago Ramón y Cajal 首次描述的小型突起结构。树突棘的密度和分布分析数十年来一直被用作关键解剖学指标，用于评估发育期和成年期不同PN亚型的兴奋性输入，涵盖生理和病理环境，包括神经发育障碍和 neurodegeneration（神经退行性病变）。此外，在成年皮质和海马 principal neurons（主要神经元）中，棘头大小与突触后 AMPA 受体含量和突触强度紧密相关，使棘尺寸成为突触成熟的关键指标。

尽管近期深度学习（DL）方法提升了树突棘映射能力的准确性，但其应用仍受限于功能有限和分析读出的不足。现有方法如 Vaa3D、SpineTool 和 Imaris 缺乏跨数据集的鲁棒性和可扩展性，且对信号和图像质量变化高度敏感。因此，全自动化很少实现，因为每张图像通常需要大量手动干预进行参数优化和后处理校正。这种对人工调整的依赖限制了效率，并引入了人为错误和偏差。

RESPAN的开发

为应对这些挑战，研究团队开发了 restoration enhanced spine and neuron analysis（RESPAN），一个用于神经元和树突棘自动化分析的集成解决方案。RESPAN 结合了最先进的DL方法，用于内容感知图像恢复、增强轴向分辨率和鲁棒的三维分割，所有功能均集成在单一用户友好界面中。该流程在精确分割棘头、棘颈、树突分支和胞体之前，改善了信噪比、对比度和空间分辨率。与其他工具不同，RESPAN 通过直观的图形用户界面（GUI）操作，消除了编码需求，并无缝集成多个软件环境，允许在单一应用程序内进行分析、验证和模型训练。

技术流程概述

RESPAN 流程整合了GPU图像处理和多种DL方法，以实现高通量荧光图像恢复、分割以及树突分支和树突棘的分析。通过结合内容感知恢复和三维卷积神经网络分割，RESPAN 提高了棘检测的准确性和对形态变化的敏感性，特别是在具有挑战性的实验条件下，如体内双光子显微镜和大组织体积的快速体积成像。为确保广泛的可访问性，RESPAN 既作为Python代码提供，也作为独立的Windows应用程序提供，具有直观、统一的GUI，允许用户在同一界面内运行批量分析、训练模型和执行分析验证。

深度学习图像恢复

在分割之前，RESPAN 提供了执行图像恢复以增强信号质量和对比度的选项。这对于在 challenging imaging conditions（具有挑战性的成像条件）下准确检测棘至关重要，其中光毒性和时间分辨率要求限制了图像质量。为实现这一目标，RESPAN 采用了三维内容感知CSBDeep模型，该模型使用配对的低和高信噪比（SNR）图像体积进行训练。这些图像集在各种样本中采集，以最好地反映成像条件和生物特征的多样性，包括胞体、树突分支和棘，从而最大化训练模型的泛化能力。

接下来，使用可选的轴向恢复方法来减少各向异性并提高棘形态测量的准确性。这一步骤对于传统显微镜技术如共聚焦显微镜尤为重要，其中轴向分辨率通常比横向分辨率低2-3倍。对于双光子显微镜，由于延长的点 spread function（点扩散函数），横向和轴向分辨率之间的差异可能达到4-5倍或更多，这使得这一步骤变得更加关键。这些分辨率差异显著影响三维测量的准确性。为应对此类挑战，RESPAN 集成了 Self-Net。这种两阶段无监督神经网络方法利用显微镜数据固有的各向异性来提高轴向分辨率，而不需要配对的训练数据。

图像分割

对于图像分割，RESPAN 采用了三维全分辨率nnU-Net模型，这是一个用于生物医学图像分割的自配置框架。这种方法根据输入数据属性自动优化网络架构和训练参数，确保在不同成像条件下都能实现鲁棒性能。为确保广泛实用性，我们创建了一个多样化的训练数据集，包含47个图像体积，其中包含来自该领域常用多种成像模式的2,489个专家标注的棘：Zeiss Airyscan共聚焦显微镜（63×1.4 NA oil Plan Apochromat物镜）、Yokogawa W1 spinning disk confocal microscopy（转盘共聚焦显微镜，100×1.35 NA Nikon silicone Plan Apochromat物镜）和Bergamo two-photon microscopy（双光子显微镜，25×1.0 NA Olympus SCALEVIEW-A2 Plan物镜）。

除了模态特定模型外，我们还汇集了来自不同模态的图像以创建可泛化的高分辨率模型。这涉及通过将Airyscan共聚焦数据集的数据重采样以匹配转盘共聚焦数据集（体素大小为65×65×150 nm）来标准化训练数据。我们通过增强扩展了数据集以进一步提高模型性能，包括随机旋转、翻转、散粒噪声添加和高斯模糊。这种增强策略与nnU-Net在训练期间生成的动态 patch augmentations（补丁增强）结合时，改善了模型性能。

RESPAN输出与树突棘形态计量学量化

分割之后，RESPAN 执行树突棘的全面分析，提供每个棘的数值测量以及多个验证输出，包括叠加原始数据与棘检测的最大强度投影和距离测量。测量包括每个棘的体积、其质心位置、所有可用通道的强度测量、形态统计学以及距树突轴的距离和距胞体的欧几里得与测地距离。额外的测量，如棘颈长度和棘头宽度，按照先前描述的方法计算。用户还可以指定约束条件（例如，最小和最大棘体积及距树突的距离）以过滤掉虚假检测。

综合性能验证

我们采用了结合像素级和对象级指标的综合验证策略来评估RESPAN的性能，遵循基于DL的显微镜分析中的既定实践。对于像素级评估，我们测量了 intersection over union（IoU）和 Dice coefficient（DC），这些指标对于评估棘和树突边界的精确 delineation（ delineation）特别有价值。对于对象级验证，我们通过采用50%的IoU阈值来量化成功检测到的对象，评估了计数和表征单个棘的准确性。

与人类专家标注的基准测试

为评估RESPAN在检测树突棘方面的准确性和可靠性，我们与多个不同专业知识的用户的 manual annotations（手动标注）进行了全面比较。使用转盘共聚焦显微镜，我们首先采集了五个独立的树突段荧光图像。两位在成像和分析树突棘方面有多年经验的专家仔细标注了这些图像，以创建GT共识数据集。然后，我们使用这些GT数据集来评估棘检测性能，对比（1）四个具有不同专业水平的独立用户和（2）相同图像的RESPAN输出。

图像恢复在棘检测中的重要性

我们接下来研究了内容感知恢复如何改善RESPAN在低SNR成像场景中的分割性能，这些场景在活体或体内双光子实验中常见。尽管我们的全局模型1已经在低SNR数据集上提供了合理的分割，但我们的结果表明，在RESPAN处理之前应用CARE恢复模型进一步增强了低SNR数据的棘检测和分割指标。值得注意的是，在这项研究中，我们 intentionally（故意）使用了极低SNR图像以反映“最坏情况”成像条件。即使在这些严格条件下，IoU≥0.5的棘检测从0.70-0.75的中位数上升，并且TP棘的比例从0.76增加到0.82。

使用已建立表型的生物学验证

我们随后试图验证RESPAN检测成年第2/3层PNs中已建立表型的能力，即来自SRGAP2^+/?小鼠的棘密度增加和棘颈长度增加，但与成年野生型（WT）同窝仔相比，棘体积分布没有显著变化。RESPAN分析通过无偏和盲法方法成功复制了这些已建立的表型。定量分析显示，SRGAP2^+/?突变体显示的棘密度显著高于WT神经元，确认了预期的增加。

棘追踪

在多个时间点保持一致的树突棘映射是纵向棘分析中的关键挑战，特别是在脑组织可能移动或变形的体内条件下。为解决这一问题，RESPAN提供了一个全面的棘追踪功能，将三维体积配准、分割和标签匹配集成到单一工作流中。如所述，我们将此方法应用于通过活体小鼠颅窗获取的两个独立高分辨率z栈。RESPAN首先允许用户对每个栈执行刚性或非刚性三维运动校正，确保相应的树突结构在不同会话间准确对齐。

优势与方法比较

RESPAN解决了棘分析中重现性和效率的关键挑战，在易用性和准确性方面均优于现有工具。为基准测试其性能，我们直接将RESPAN的棘检测结果与DeepD3（一种基于DL的棘检测工具）和Imaris（一种广泛使用的商业三维图像分析解决方案）的结果进行了比较。用于此比较的数据包括使用典型成像参数获取的图像体积，这些参数反映了与蛋白质表达、深度和树突在组织切片内位置相关的多样化图像质量。

讨论

树突棘分析仍然是理解神经元连接性的基石。然而，当前的方法，主要是手动或半自动的，受到交互式标注步骤、图像特定参数、用户依赖的变异性和有限通量的限制。在应对这些挑战方面，RESPAN引入了一个完全集成的、DL增强的解决方案，显著拓宽了自动化棘分析的范围和可靠性。

RESPAN的显著贡献之一是其集成架构，将图像恢复、轴向分辨率增强和基于DL的三维分割整合到一个应用程序中。这种设计最大限度地减少了手动和传统阈值方法固有的偏差，促进了跨不同成像模式的可重现和直接比较。随着对方法学严谨性的日益关注，RESPAN为量化突触可塑性、神经元发育和疾病模型提供了一个简化和鲁棒的框架。

RESPAN还解决了与可访问性相关的显著障碍。利用最先进的计算图像分析历来需要专门知识或昂贵的商业平台。通过将多个软件环境、GPU加速、模型训练和分析验证集成到用户友好界面中，RESPAN降低了这些障碍，并 democratizes（民主化）了先进分析工具的使用。这种广泛的可访问性有潜力加速从基础突触生理学到神经发育障碍和 neurodegenerative diseases（神经退行性疾病）的转化研究领域的发现，在这些领域中，棘形态和分布的细微变化可能揭示神经元功能的深刻转变。

研究局限性

尽管RESPAN解决了自动化树突棘量化中的众多挑战，但它确实存在局限性。值得注意的是，其性能严重依赖于使用准确标注待量化生物特征的数据集训练的DL模型。类似地，当应用于使用与其训练数据不同的硬件和参数获取的数据集时，图像恢复模型表现不佳。虽然RESPAN包含了模型重新训练的工具，但未来的迭代可能受益于更全面、预训练的模型，覆盖更广泛的成像条件。

RESPAN目前仅支持TIFF格式的输入数据，要求在使用前将专有格式转换为TIFF。为解决这一限制，我们提供了一个Fiji宏，以通过OMERO Bio-Formats促进批量转换为TIFF。我们还生成TIFF格式的输出数据以便于使用，但未来的版本将受益于纳入对OME-Zarr格式的支持以提高可扩展性。

用户应注意将DL模型应用于显微镜数据相关的挑战。内容感知恢复和轴向增强模型理想情况下应在匹配预期应用的生物特征、分辨率和成像模式的数据上进行训练。当模型应用于与其训练集显著不同的数据时，它们可能表现不佳，并通过 hallucinating features（幻觉特征）或降解真实结构引入伪影。在比较具有显著形态差异的实验条件时，这一点尤为重要。在这种情况下，训练数据应涵盖预期生物变异的全部范围以确保可靠结果。