深度学习在增强3D地标定位中的应用：解决传统配准方法中的偏差问题

《Evolutionary Biology》：Deep Learning for Enhanced 3D Landmark Positioning: Addressing Biases in Traditional Registration Methods

　　摘要
几何形态测量学已成为跨多种生物学领域进行定量形态分析的广泛使用的工具包。它依赖于在二维（2D）或三维（3D）空间中精确定位解剖学标志点。然而，手动标记标志点，尤其是在三维空间中，不仅劳动强度大、耗时长，而且容易受到观察者内部和观察者之间的差异影响，并需要较高的专业技能。这些限制与高通量成像工作流程的需求越来越不兼容。这一瓶颈促使人们努力自动化标志点的定位，通常通过三维图像、表面或点云的可变形配准来实现。虽然这些方法能够有效捕捉整体形状，但可能会在标志点定位引入偏差，并扭曲方差和协方差的模式。之前使用深度学习（DL）来缓解这些问题的尝试主要集中在某些物种的特定解剖结构上，尤其是人类面部和模式生物的颅面解剖结构。在这项研究中，我们介绍了一种基于DL的流程来优化标志点的定位。该流程首先从基于简单刚性配准的近似标志点预测开始。这些初始预测定义了局部三维表面区域，然后使用最小二乘法共形图将其参数化为二维，并通过考虑多种几何形状和环境光照进行着色处理。所得到的标准化表示随后用于训练Transformer和卷积神经网络（CNN）架构。我们使用了一个包含手动数字化标志点的三维小鼠颅骨模型的开放访问数据集来评估这种方法。我们关注十个不同的标志点，将我们的刚性+DL预测结果与主流的全局配准方法ALPACA的结果进行了比较，评估了与手动真实值的距离精度以及形状变化模式的保留情况。我们还研究了各种超参数设置策略的效果，为未来的实施提供了实用指南。我们的结果证明了使用二维彩色增强局部几何表示结合DL进行准确标志点定位的可行性。所提出的方法减轻了与所考虑的可变形配准方法相关的偏差，并为使用DL进行更通用的高通量形态测量分析建立了方法论基础。

引言
在过去几十年中，几何形态测量学因其基于一系列强大的理论框架和统计工具而广受欢迎，这些工具能够以更高的精度和效率测量和比较形状（Dryden & Mardia, 2016; Mitteroecker & Schaefer, 2022）。其核心是通过在二维或三维空间中一致地放置笛卡尔坐标点（标志点）来详细描述形态。这些标志点代表了不同样本之间的相应解剖位置，并理想情况下反映了生物学意义上的同源性（Bookstein, 1997）。这些标志点放置的准确性和一致性是可靠形态测量推断的基本前提。基于标志点的方法在很大程度上推动了大规模形态数据集的全面解剖图谱和分析工具的发展，使得形状变化的量化以及形态多样化过程的推断成为可能（Dubied et al., 2021, 2022; Martinez et al., 2023; Ollonen et al., 2024; Evin et al., 2025）。例如，研究宏观进化中的大规模进化模式通常需要整合许多物种和长时间尺度上的形态学、遗传学和生态学数据，因此依赖于大型比较数据集（Mennecart et al., 2022; Title et al., 2024; Goswami & Clavel, 2025）。相比之下，针对物种内部水平的研究，旨在理解形状变化的遗传和发育基础，可能需要更大的数据集来捕捉微妙的变异模式（例如，Pallares et al., 2015, Green et al., 2017, Navarro & Maga, 2018, Varón-González et al., 2019, Varón-González & Navarro, 2019）。此外，检测这种微妙的变异水平需要高度精确的标志点放置，以确保不会丢失这些效应（Savriama et al., 2021）。在进化研究所需的尺度上实现这种精度，无论是跨越深远的宏观进化时间尺度还是物种内部，对于手动标志点定位来说都是一个重大的实际挑战，对于自动化方法也是如此。实际上，特别是在三维形状上的标志点标注是一项繁琐且耗时的任务，通常需要手动完成，并且需要较高的专业技能。这种手动方法还阻碍了可重复性，因为它对观察者之间的差异非常敏感（Mu?oz-Mu?oz & Perpi?án, 2010; Fruciano, 2016; Monna et al., 2024）。随着成像技术的不断进步和生成的数据集规模不断扩大，手动标志点标注已成为一个主要瓶颈，限制了可扩展性和可重复性（Karlsson et al., 2003; Liao et al., 2019）。此外，表型组学数据采集的速度也在加快，部分得益于人工智能的进步。结果，我们生成数据的能力迅速超过了我们使用稳健且生物学上真实的进化模型进行分析的能力（Mitteroecker & Schaefer, 2022; Goswami & Clavel, 2025）。这一差距限制了我们捕捉和比较复杂形状的能力，以及推断不同生物体形态变化主要轴线的进化过程的能力。为了解决这些限制，越来越多的研究集中在不依赖于手动放置标志点的形状配准方法上，因为这些方法提供了结合高通量数据采集的潜力，使得在否则无法实现的尺度和分辨率下分析形态变化成为可能。这些方法包括基于粒子的形状模型（Cates et al., 2017）、非刚性密集配准的图谱（B?ne et al., 2018, Mulqueeney et al., 2025）以及使用伪标志点掩码的方法（White et al., 2019）。尽管这些方法提供了有前景的替代方案，但它们也存在显著的局限性，特别是在准确性、可解释性和真实生物变异的保留方面，特别是在更复杂的解剖结构背景下尤为明显（Percival et al., 2019; Devine et al., 2020, Savriama et al., 2021, Szara et al., 2025）。作为另一种替代方案，自动标志点标注引起了极大的兴趣，并且多年来一直是研究的重点，例如在昆虫翅膀的应用（Vandaele et al., 2018; Geldenhuys et al., 2023）中用于自动化物种识别（Porto & Voje, 2020），包括害虫控制协议（Przyby?owicz et al., 2016; Le et al., 2020）或传粉者研究（Santana et al., 2014）。主流的自动化方法基于三维图像、表面或点云的可变形配准（Porto et al., 2021; Zhang et al., 2022; Grammens et al., 2024）。这些方法通常通过将单个参考样本或估计的平均形状（图谱）与目标样本对齐来操作，通过迭代变形参考样本以匹配每个目标的几何形状。然后，将标志点位置从参考形状转移到目标形状作为预测坐标（Porto et al., 2021）。虽然这些算法能够很好地捕捉整体形状，但在标志点定位和方差-协方差结构方面都观察到了偏差（Pantazis et al., 2010; Devine et al., 2020, 2022）。它们还对形态极端值敏感，导致标注错误（插值伪影、不适当的正则化和配准中的一对一对应关系假设的违反（Heckemann et al., 2006）。早期使用深度学习（DL）来纠正这些偏差的尝试仍然有限。大多数现有方法是特定于物种的应用和/或专门针对特定解剖结构，同时预测多个标志点。这些应用通常限于研究较为透彻的系统，如人类面部或模式生物的颅面解剖结构（Lee et al., 2019; Le et al., 2020, Heredia-Lidón et al., 2024），或现代面部识别系统（Paulsen et al., 2018, Zhang et al., 2023）。在大规模系统背景下，可以遵循两条主要路径。一种是定义一个适用于相对广泛分类范围的通用方案，例如哺乳动物颅骨的标志点配置（Marcus et al., 2000; Goswami et al., 2014）。另一种是开发基于解剖特征的通用标志点定位模型，例如骨骼缝合线之间的交点，即使在没有适当解剖同源性的情况下也可以应用于任何系统级别。在这项工作中，我们旨在将标志点定位视为一个局部特征检测问题，而不是全局变形问题。我们首次尝试了一种基于DL的方法，专门用于发现和识别最可靠地细化初始自动变形基标志点预测的局部几何特征。作为一项探索性工作，开发的流程首先通过将参考模型刚性配准到目标对象上来生成近似标志点预测。这些初始预测定义了感兴趣的三维表面区域，然后用于细化标志点位置。每个局部三维表面被参数化为二维（即投影到二维平面上），并根据选定的几何形状和环境光照算法进行着色，以更好地增强几何特征（山脊、缝合线、凹陷等）。二维DL流程的动机在于关注非常局部的区域，以及现有的二维预训练模型（Chollet, 2015, Abadi et al., 2016）和参数化及图像可视化算法（Rolland et al., 2021, 2022; Sieger & Botsch, 2023; Ozdemir et al., 2024）的可用性。我们基准测试了三种DL架构来训练标志点定位：Vision Transformer（ViT）和两种卷积神经网络，ResNet101和Xception。作为案例研究，我们使用了一个包含已知手动标记标志点的中等规模的开放数据集，该数据集由计算机断层扫描图像重建的小鼠颅骨模型组成（Maga et al., 2015）。我们训练了三个预训练的DL模型来预测十个对比标志点的位置，并将这些预测结果与主流的可变形配准方法ALPACA（Porto et al., 2021）在SlicerMorph中的实现结果进行了比较（Rolfe et al., 2021）。评估重点关注与手动真实值的距离精度以及形状变化模式的保留情况。这项工作提供了三个主要贡献。首先，我们评估了使用二维彩色增强局部几何表示训练DL模型的可行性。其次，我们为未来相关工作中实现此类DL模型参数化提供了方法论指导。第三，我们将我们的刚性+DL方法与可变形配准方法进行了性能比较，强调了在自动标志点定位工作流程中添加DL步骤的优势，特别是对于缓解与难以捕捉复杂解剖区域中的形态细微差别相关的先前识别的偏差（Szara et al., 2025）。

材料与方法
小鼠颅骨数据集
从OSF网站（https://osf.io/sn64d/）下载了491个NIfTI格式的小鼠头部文件。它们对应于AJ和C67BL6品系之间的N2代杂交（Maga et al., 2015）。图像在σ = 0.4时进行了平滑处理，并使用ANTSRCore包（Avants等人，2020年）的smoothImage和thresholdImage函数，以lower_40参考值作为灰度阈值对骨骼进行了分割。颅骨的3D表面是通过结合表面保持的Laplace平滑算法的marching-cube算法获得的（Vollmer等人，1999年），使用的是默认的Rvcg包设置（Schlager，2017年）。检查后，有112个个体的骨骼分割失败，因此分别调整了阈值以优化这些情况下3D网格表面的质量。由于网格质量低，移除了28个个体后，最终得到了包含463个个体的数据集，并手动清除了剩余的伪影（浮动多边形或附加的后颅骨组件）。每个头骨都有手动标记点（Maga等人，2015年，Maga，2020年），原始方案包括55个标记点。从这个完整的数据集中，特别选择了10个标记点用于深度学习（DL）训练。这个选择旨在实现三个主要目标：（i）通过包含单侧和双侧标记点来保持头骨的对称性；（ii）捕捉解剖位置和标记点定义的非穷尽但多样的表示（缝合线交点、缝合线边缘交点、元素尖端；图1）；（iii）在探索多种DL架构时平衡标记点覆盖范围、准确的形状估计和计算成本。下面讨论了这一选择的影响。

图1
此图像的替代文本可能是使用AI生成的。
全尺寸图像
头骨标记点配置，在侧面（a，a’）、上部（b）和下部（c）视图中的10个标记点的位置

图像数据集流程和DL模型
通过刚性配准步骤初步预测标记点位置
首先使用刚性点云配准程序（Tam等人，2012年）估计出每个标记点的初始感兴趣区域（ROI）（图2）。随机选择了4个个体作为参考图谱，每个图谱包括一个3D表面网格和相应的10个标记点。目标网格和参考网格的顶点点云都被降采样到大约4500个点，以加速初始对齐。然后使用SlicerMorph（Rolfe等人，2021年）中的ALPACA程序的初始步骤（包括刚性配准、薄板样条变换和标记点投影）对这些稀疏点云进行刚性配准（Rusu等人，2009年）。在此初始对齐之后，使用四个参考图谱在463个目标表面上预测了标记点位置，为每个标记点提供了四个刚性配准位置的副本。根据这些预测，将网格裁剪成ROI的较小3D网格以进行最终的标记点预测。对于每个刚性预测，根据刚性预测与整个网格顶点之间的测地距离定义了三种不同的圆盘大小。为了增强数据，对刚性预测位置进行了轻微平移（0.95 * ‘x坐标’；0.95 * ‘y坐标’）。这个过程产生了每个标记点的24个子网格（对应于4个刚性预测×3种圆盘大小，有或没有平移）。

基于几何的网格子集着色
对这些网格子集应用了一组迭代校正，以确保流形性并尽可能关闭许多孔洞，目标是获得具有少于十个孔洞的双流形网格。一些网格未能通过质量检查并被排除，导致标记点ROI之间的网格数量略有变化。经过验证的网格根据三个不同的通道进行了着色，以更好地反映局部几何特征，使用了环境遮挡、体积遮挡和APSS曲率滤波器。环境遮挡是一种计算机图形学中的阴影技术，用于模拟光线与表面的真实交互方式；体积遮挡通过多条射线的扩散来突出显示被环境遮挡滤波器遮挡的网格部分。最后，APSS曲率（用于代数点集表面）使用底层表面的曲率对网格或点集的顶点进行着色。这些滤波器的选择部分基于Rolland等人（2021年，2022年）的分析。质量检查和顶点着色是使用PyMeshLab库（Muntoni & Cignoni，2021年）计算的，所有参数均为默认值。

网格子集的参数化和光栅化
使用UV映射参数化将每个3D着色ROI网格的表面转换为2D图像。在这个过程中，3D模型的表面被展开到一个由U和V坐标定义的2D域上，这些坐标参数化了表面上的位置，类似于定义3D空间中位置的（x，y，z）坐标。在各种现有的UV映射算法中，选择了最小二乘共形映射（LSCM）算法，因为它可以最小化角度变形，保持三角形的方向，并且与分辨率无关（Lévy等人，2002年），如在Polygon Mesh Processing（PMP）库中实现的（Sieger & Botsch，2023年）。LSCM算法根据网格的边界拓扑计算两个锚点顶点，以确保展开是可重复和稳定的（Sieger & Botsch，2023年）。然后使用rasterio Python库（Gillies，2013年）将参数化图像光栅化为224×224 RGB.tif图像。通过评估每个光栅图像中无数据像素的比例来进行质量控制。信息缺失比例高的图像（缺失数据超过99%）被从数据集中排除。对于模型训练，每个RGB光栅图像都与相应标记点的UV坐标配对，这些坐标是通过在scipy Python库中实现的KDTree搜索找到最接近真实标记点的顶点获得的（Virtanen等人，2020年）。

最终图像集
该程序应用于10个标记点，并为每个标记点训练了10个DL模型。从训练数据集中随机选择了45个测试个体（约占整个数据集的10%）。对于每个标记点，剩余的训练图像数据集被分为80%的训练集和20%的验证集。使用Keras的ImageDataGenerator类增强训练数据，该类在训练期间每次请求批次时动态生成新的图像变体，旋转角度在?30°到30°之间。考虑到我们的模型超参数（见下文），DL模型在1000个周期内处理了大约700万张增强图像。

DL模型架构和超参数
我们评估了三种最先进的DL架构：Xception、ResNet101和Vision Transformer（ViT）。选择这些模型是为了反映在计算机视觉任务中广泛采用的架构范式的代表性多样性（CNN和基于变换器的模型）。Xception和ResNet101是最常用的CNN骨干网络之一，以它们提取层次空间特征的能力而闻名。这两种网络已经在包括医学成像、缺陷检测和基础设施监控在内的多个领域进行了广泛的基准测试（Balaha等人，2022年；Elghaish等人，2025年）。相比之下，ViT之前应用于相关任务，它引入了一种纯粹基于注意力的架构，可以在不依赖卷积操作的情况下学习全局上下文依赖性（Fu，2022年；Chai，2024年）。

所有架构都使用“ImageNet”数据集的预训练权重进行初始化，这些权重通过Tensorflow Keras应用程序提供（Chollet，2015年，Abadi等人，2016年）。利用预训练的特征提取器可以实现迁移学习，从而提高收敛速度和泛化性能，特别是在训练数据有限时（Kim等人，2022年）。每个模型的骨干网络后面是一系列全连接层，最终输出连续值的2D坐标，对应于UV投影的标记点。

损失函数使用了均方误差（MSE）。MSE是回归任务的标准选择，因为它比基于L1的指标更强烈地惩罚预测值和真实值之间的较大偏差，从而在优化过程中促进稳定性和收敛性（Chollet等人，2015年）。作为评估指标，我们使用了均方根MSE（RMSE），以提供与坐标相同尺度上的平均预测误差的可解释度量。此外，我们还计算了测试集上预测标记点和真实标记点之间的欧几里得距离，以进行模型比较。

训练使用批量大小为128，进行了多达1000个周期，基于验证损失设置了早期停止（耐心设置为70）以防止过拟合。我们使用了Adam优化器，学习率为0.0001。在最后的密集层上应用了L1和L2正则化（分别为0.2和0.1）。进行了几轮超参数调整，并保留了每种架构的最佳预测结果。然后运行了三次训练副本以评估结果的一致性和方差。

实验使用DNUM CCUB高性能计算集群（Bourgogne Europe大学的计算中心）的HPC资源进行，该集群配备了Intel Xeon Gold 6226R CPU（2×16核心）和双NVIDIA Tesla V100 GPU。软件环境基于CentOS Linux 7.7.1908，使用Python 3.10、Tensorflow 2.11和CUDA 12.1。

与可变形几何预测的比较
与之前的DL流程并行，我们使用ALPACA（Porto等人，2021年）实现了基于网格的可变形配准来生成自动标记点位置，ALPACA是开源3D平台Slicer（Fedorov等人，2012年）的SlicerMorph应用程序（Rolfe等人，2021年）中的一个模块。ALPACA的开始类似于刚性配准方法，但随后对点云进行了非线性配准，并进行了最终的薄板样条映射以预测目标网格上的标记点（Myronenko & Song，2010年）。为了优化ALPACA的预测，遵循了Zhang等人（2022年）的建议，首先使用SlicerMorph中的MALPACA工具（Rolfe等人，2021年；Zhang等人，2022年）实现的Kmeans程序选择了最佳的4个源个体。在20个验证目标个体和四个可用源个体中的两个上进行调优后，选择了连贯的点漂移参数α和β值为（10,10）。然后对每个（α，β）组合测试的ALPACA预测和手动定位之间的RMSE值和相关误差进行了比较，范围在（1到10）之间（附录A）。然后在DL分割中识别的45个独立测试个体上计算了ALPACA的最终预测。

基于单变量特征的比较
将ALPACA和最佳DL架构的预测与基于每个标记点的欧几里得距离以及它们对标记点构型质心大小的估计与真实（手动）位置进行了比较。质心大小是一个常见的尺寸度量，计算为每个标记点与质心之间距离平方和的平方根（Dryden & Mardia，2016年）。

基于估计形状的比较
为了评估不同方法（手动、ALPACA和DL）之间标记点放置的准确性和一致性，使用Morpho R包（Schlager，2017年）对45个测试个体进行了完整的广义Procrustes分析（GPA）。这种GPA通过最小化相应标记点之间的平方距离之和来对齐标记点配置，消除了平移、旋转和缩放的影响（Gower，1975年；Dryden & Mardia，2016年）。这种GPA适用于手动和两种自动化方法（ALPACA、DL），因为数据集是完全平衡的。

模型性能还通过与手动测量进行了对比，手动测量是基于30个随机选择的个体，这些个体由三名独立操作员进行了两次手动标记。这些数字化副本作为GPA的补充数据进行了对齐。重复性，即操作员内的数字化误差（Liljequist等人，2019年）和再现性，即操作员间的误差（Monna等人，2024年）是基于这种完全交叉设计中的单个副本对比计算的。我们还根据子网格的3D表面上的随机测地采样评估了模型性能。对于每个标记点，在随机选择的个体上，对表面进行了100次随机蒙特卡洛采样，这些采样点的约束测地距离小于手动真实值的100到200微米。这些随机标记点位置也作为原始GPA的补充数据进行了对齐。形状距离是根据Procrustes对齐坐标之间的Kendall距离计算的（Dryden & Mardia，2016年），以提供多变量摘要指标来比较方法和误差。肯德尔距离（Kendall distances）被计算出来，用于比较各个手动标记点与平均形状之间的差异，以估计以下方面：（1）个体间的变异；（2）重复性（即同一操作员在不同数字化重复实验中的结果一致性）；（3）可再现性（即不同操作员之间数字化平均结果的相似性）；（4）根据随机数字化方法得出的形状距离的数量级；（5）自动化方法与手动方法之间的对比程度。为了进一步分析，对齐后的坐标被投影到平均形状的切线上，从而得到一个欧几里得形状空间（Dryden & Mardia, 2016）。然后使用主成分分析（PCA）处理这些切线坐标，以可视化和量化不同标记方法之间的形状变异主要模式。为了评估每种标记方法生成的形状空间之间的关系，我们通过计算每种自动方法与手动参考之间的k维子空间之间的重叠程度来进行Krzanowski子空间比较。我们采用这种方式而不是将三种方法合并在同一分析中，以便专注于与手动方法的成对对比。每种方法的方差-协方差矩阵的前k个特征向量被选中，其中k=10。由于由10个标记点描述的形状空间有23个维度，因此比较只能在最多约10个维度的子空间上进行。子空间之间的成对重叠程度计算公式为\({\mathbf{N}}_{\varvec{i}}=\:{\mathbf{M}}^{\mathbf{{\prime\:}}}{\mathbf{A}}_{\varvec{i}}{\mathbf{A}}_{\varvec{i}}^{\mathbf{{\prime\:}}}\mathbf{M}\:\)（Krzanowski, 2000），其中M是手动方法的特征向量集合，\({\mathbf{A}}_{\varvec{i}}\)来自DL或ALPACA方法。为了估计这些k维子空间之间的差异，计算了两个统计量：（1）两个M和\({\mathbf{A}}_{\varvec{i}}\)子空间之间的成对Krzanowski角度，公式为\({\varvec{\alpha\:}}_{\varvec{i}\varvec{j}}=\:{\mathbf{cos}}^{-1}\left({\varvec{\lambda\:}}_{\varvec{i}\varvec{j}}^{0.5}\right)\:\)，其中\({\varvec{\lambda\:}}_{\varvec{i}\varvec{j}}^{}\)是\({\mathbf{N}}_{\varvec{i}}\)的第j个特征值。这些自动方法与手动标记点之间差异的点估计值与通过替换手动数据集进行自助重采样（bootstrap resampling）以及跨方法进行排列重采样（permutation resampling）得到的不确定性进行了比较（Aguirre et al., 2014）。这两种方法提供了关于估计差异不确定性的见解。（2）第二个使用的指标是“S之和”除以维度数k，它表示每种方法的协方差矩阵之间的总体相似性（Ovaskainen et al., 2008; Aguirre et al., 2014; Hadfield, 2010），0表示没有相似性，1表示子空间完全相同（Krzanowski, 2000）。通过逐渐增加包含在子空间分析中的k个特征向量的数量（从1增加到最大值10），得到了一个累积曲线，从而显示了随着维度增加的总体相似性。使用自助重采样（bootstrap）对S之和的不确定性进行了估计，重采样过程中替换了相同的个体。

本文的完整方法和结果部分比较了不同深度学习（DL）架构的性能。对于研究的10个标记点，最终可用的图像集每个标记点大约有9,500张图像（表1）。UV参数化对象的形状在每个标记点的感兴趣区域（ROI）内存在显著差异（图3a），放置不同标记点的性能可能会根据3D形状的复杂性而变化。在三种DL方法中，Xception架构在预测标记点位置方面表现优于ResNet101和ViT架构。ResNet101的结果与Xception接近，但总体上较差，而ViT的结果明显较低，其预测值与真实位置相差甚远（表1）。

对于研究的10个标记点，最佳预测位置始终来自DL精炼方法，尤其是Xception模型，而不是来自可变形配准（ALPACA）的预测。获得的平均欧几里得距离比最佳DL模型产生的距离高出1.5到3倍（表1）。关注Xception模型与ALPACA的预测结果，结果显示性能因特定标记点而异，这通过距离手动位置的距离来衡量（图3b）。F45和F49标记点是一对位于颧弓上的标记点，对ALPACA和DL模型来说都是更大的挑战，它们的标记点预测准确性较低（图3b；表1）。尽管DL-Xception模型的预测误差标准差始终较小（表1），但两种方法的质心大小估计值似乎是无偏的，并且具有相似的方差（\(\:\stackrel{-}{\varDelta\:}\)ALPACA = 8.6.10??3 mm2; \(\:\stackrel{-}{\varDelta\:}\)DL?XCEPTION =7.1.10??3 mm2）。

肯德尔距离表示每种方法内部个体间的变异，其分布非常相似，表明方法之间的形状集中度相当（图4a）。然而，ALPACA的模式较窄，位于比手动分布略低的值上，这表明总体上它能够准确捕捉到手动形状，但个体数据可能会系统性地向平均值收缩。相比之下，DL-Xception的个体间变异分布质量上更接近手动分布，具有重合的模式和更频繁的较大个体间距离（图4a）。同一个体的方法重复实验与其手动注释之间的形状距离也显示，ALPACA的个体内差异比DL-Xception方法更大，表明ALPACA存在更明显的系统性偏差（图4a）。与操作员内部和操作员之间的变异相比（图4b），ALPACA的方法间形状距离大于操作员间的误差。这表明ALPACA的数字化方式与人类操作员有很大不同。相比之下，基于DL-Xception的形状距离更接近操作员间的误差以及200微米的随机测地采样。这些结果表明，ALPACA的标记点配置与手动数字化有更大的偏差，并且与三位人类操作员的性能形成鲜明对比，而DL-Xception方法则更接近操作员的重复实验结果。

通过PCA对切线坐标进行形状方差-协方差分析，突出了ALPACA和手动形状之间的对比（图5a）。投影到前两个主成分上显示，ALPACA的分布略有偏移，并且方差显著减少，而DL-Xception的预测与手动分布更为吻合（图5）。当计算三个独立的PCA时，观察到方法之间的形状方差集中度存在差异。在ALPACA中，大部分方差（31.5%）由第一个主成分解释，几乎是手动数据集的1.6倍（图5b）。DL-Xception方法处于中间位置，27%的形状方差由第一个主成分解释。

多变量比较使用Krzanowski子空间分析了形状方差和协方差的特征结构，确认了基于DL-Xception的变异与手动方法的相似性更大。具体来说，由手动方法的前10个特征向量与ALPACA或DL-Xception形成的子空间之间的Krzanowski角度很小，并且在第一个维度上相似，表明方法之间的形状变异方向有重要的一致性（图6a）。然而，在更高维度上，这些角度迅速增加，与ALPACA相比差异显著，特别是在k=10时角度高达90°。这些角度与手动过程中的不确定性区间（自助区间）或方法排列区间（模拟方法间无差异）有显著偏差。另一方面，手动方法与DL-Xception矩阵之间的比较显示角度较小，仅略大于手动采样不确定性得到的角度，且这些偏差与方法排列得到的角度相比并不显著。与此一致的是，共享子空间方差的累积度量（ΣS/k）显示DL-Xception和手动矩阵之间存在强烈且更高的相似性，即使是从前两个特征向量开始也是如此（图6b）。在DL-Xception比较中观察到的较大不确定性部分可归因于手动方法中前两个主成分的随机重新排序和重新排列，因为相应的协方差矩阵几乎是球形的（即前两个主成分解释了相似比例的方差）。这些不确定性也受到DL-Xception中类似重新排序的影响，表明该数据集中前两个主成分之间的较大差异及其与手动方法的差异可能是由少数极端个体造成的。这证实了DL-Xception方法呈现的形状变异结构与手动方法更为相似。

Krzanowski子空间分析显示了手动方法与DL-Xception或ALPACA子空间在正交维度上的差异程度。黑色区间对应于基于方法排列的不确定性，蓝色区间对应于手动数据集的自助重采样。较粗的误差条表示±1σ，而较细的线段代表基于排列或自助重采样的第25和第97.5百分位数；不同维度下手动方法与每种自动方法之间的k维子空间的总体相似性（考虑的手动和自动特征向量数量）。误差条来自自助法。y=1处的虚线灰色水平线表示两个待比较矩阵之间的假设完美相似性。

本研究旨在探讨使用深度学习（DL）方法来精炼最初通过刚性配准确定的标记点位置的可行性和潜力。我们将这种经过微调的流程的预测与主流的可变形配准方法ALPACA进行了比较。我们的结果特别评估了DL精炼在减轻这些初始可变形配准过程引入的潜在形状相关偏差方面的潜力。首先，我们比较了三种常用架构的性能：两种卷积神经网络（CNNs），Xception和ResNet101，以及一个视觉变换器模型（ViT）在学习10个不同标记点位置数据集方面的表现。在这项研究中，Xception和ResNet101架构的性能显著优于ViT方法。这些结果与先前的研究一致，表明尽管ViT模型功能强大，但需要更大的数据集才能达到最佳性能（Chai, 2024）。鉴于我们相对有限的数据集（大约10,000张图像），ViT模型表现出欠拟合，其损失收敛不如CNNs明显（表1）。相比之下，CNNs即使在较小的数据集上也能表现良好（Dosovitskiy et al., 2020; Steiner et al., 2021）。结合CNNs和Transformer优势的ConvNeXt架构（Liu et al., 2022）可能提供一种改进的替代方案，以便在数据量有限的情况下获得更好的性能。我们的刚性+DL-Xception模型展示了良好的准确性，其欧几里得距离与手动注释的标记点一致优于ALPACA方法得到的结果（表1）。这些模型的预测性能非常令人满意，平均误差在106微米以内（见表1）。相对于平均小鼠头骨大小（约15毫米），这个误差相当于原始3D扫描中的大约6个体素，假设体素大小为17.5微米。参数化的3D子集的形状似乎对ALPACA和DL-Xception方法的性能都有轻微影响，特别是位于颧弓上的F45和F49这两个标志点——由于它们的圆柱形状——定位不够准确（见图3）。

**标志点的选择**
考虑到从每个标志点生成训练图像所需的时间，我们决定从55个可用标志点中选择10个，以便对DL精细化和ALPACA方法进行性能比较分析。这些标志点的选择基于专家建议，以最好地描述各个形状，并代表局部几何结构中最大的对比度范围。如前所述，一些标志点（F45和F49）对于自动化方法来说难以准确预测，尽管手动定位相对容易。相比之下，F34和F35对于手动操作者来说很难无偏差地定位，但DL-Xception方法能够以较高的准确性进行预测。增加额外的标志点不太可能改变整体结果，因为大多数头骨标志点的局部几何形状与我们这里使用的十个标志点之一相似。因此，基于DL的精细化效果可能介于我们案例研究中观察到的两个极端之间，从显著改进到微小提升不等。尽管如此，在做出任何明确的概括之前，应该在其他解剖结构中探索可能行为更不可预测的额外几何情境。

**注册偏差的缓解**
由于我们的框架依赖于在整个对象初次刚性注册后的局部注册，当形态变化足够大以至于影响刚性步骤时，我们可能会期望其性能不如ALPACA等全局注册方法。在这项案例研究中，我们的流程从刚性注册开始，以产生更独立的预测，并实现方法间的公平比较。此外，由于可变形步骤的计算成本较高，仅从刚性注册开始可以大幅减少处理时间。然而，在形状多样性明显的情况下，我们基于DL的精细化可以应用于可变形注册步骤之上，例如完整的ALPACA流程，以更好地适应更大的形状多样性。同样，基于DL的精细化应用于ALPACA之上，其结果很可能仍然在我们研究中观察到的范围内，因为在存在有信息量的局部几何特征的情况下，精细化不太可能显著改变初始预测。

**关于3D表面平滑对两种自动化方法标志点预测影响的进一步分析**
虽然我们使用了默认的平滑阈值（σ=0.4），但使用不同值的进一步比较可能会以不同的方式突出显示ROI内的表面起伏，从而可能细化我们目前的发现。我们的框架依赖于将局部几何描述符编码为感兴趣的特征。人们可能会认为，对于表面更平滑的对象，位于相对平坦且信息量较少的ROI中的标志点的预测性能会下降。然而，该方法具有灵活性，可以扩展到其他类型的表面信息；例如，在处理低分辨率的平滑表面时，可以从表面扫描仪获得的颜色纹理来替代局部几何描述符。

**使用DLO减轻注册偏差**
我们的研究表明，DL-Xception精细化方法有效地减轻了可变形注册过程引入的偏差。在我们的10个标志点选择中，ALPACA的预测显示出需要手动专家验证，因为一些标志点定位不准确。我们证实了Porto等人（2021年）的观察结果，即ALPACA对网格伪影（例如，浮动的多边形、附加的颅后组件）敏感，这在生成预测之前需要进行严格且通常技术上具有挑战性的网格清理步骤。相比之下，我们的DL-Xception方法在这些伪影存在的情况下仍然系统地保持稳健，消除了对广泛预处理的需求。

**结果讨论**
我们的结果强调，ALPACA的性能偏差比操作者之间的差异更为显著，反映了超出操作者间变异的错误（见图4）。在某些个体中观察到更明显的错误，这可能是由于形状与参考网格的差异更大。相比之下，DL-Xception方法表现得像人类的数字孪生体，显示出更强的规律性。操作者内部的误差分数进一步突显了单个操作者一致放置标志点的固有难度。这种不一致性，通过分布中的第二模式也可以解释两种自动化方法结果中的右偏不对称性（见图4）。最后，DL-Xception方法表现出的变化模式更接近手动标志点定位，其精度水平可与200微米分布内的随机测地采样相媲美（见图4）。

**ALPACA相对于手动标志点的平均形状偏差**
通过使用Kendall距离进行定量形状分析，ALPACA的平均形状偏差清晰地投影到三个数据集共有的第一个主成分上（见图5），表明这种偏差是总形状变化的重要组成部分。除了这种平均形状偏差之外，ALPACA数字化标志点的方式存在显著的结构差异，这一点通过较大的Krzanowski角度得到证实（见图6）。相比之下，DL-Xception方法与手动标志点定位之间的角度差异与采样不确定性预期的一致（见图6）。这一结果强烈表明，DL-Xception方法和手动方法具有高度相似的方差-协方差结构。因此，DL-Xception方法不仅以与人类操作者复制该过程相当的精度数字化形态，还捕捉到了相同的形状，从而提供了平均形状和形状协方差的一致估计。

**总体结论**
总体而言，我们的结果显示，与基于变形的方法ALPACA相比，DL精细化方法显著提高了标志点的精度和个体形状的保留度。这一发现强调了在形态测量项目中，只要技术上可行，就应该用深度学习工具补充自动标志点定位流程的重要性。

**遇到的方法学难题**
虽然我们的DL-Xception方法提供了有希望的结果，但也存在一些值得注意的注意事项。首先，将整个3D图像转换为3D彩色子集，最后转换为2D光栅图像的过程需要大量的临时存储空间（在这里，10个标志点的ROI需要800GB）。此外，UV参数化容易受到计算错误的影响，这取决于ROI的几何形状。这在颧弓上的F45和F49标志点上尤为明显，DL-Xception模型的预测效果最差（见表1）。它们的圆柱形状可能导致2D参数化过程中的图像配置更加多变。此外，参数化对孔洞的存在和流形几何形状非常敏感。要达到低于1.5%的满意误差水平，需要进行大量的探索性测试。这种敏感性还导致每个标志点可用图像数量略有不平衡（见表1），因为一些图像由于这些内部处理错误而被丢弃。虽然我们简要探索了来自Polygon Mesh Processing（PMP）库的谐波参数化（Sieger & Botsch, 2023），但最小二乘共形映射（LSCM）方法可能并不适合我们的特定需求。

**方法学选择：2D还是3D DL架构？**
尽管我们选择的基于2D图像的DL方法遇到了一些方法学挑战，但这一决定主要是基于我们对对象局部几何的关注，以及现有图像算法在分析2D图像几何形状对比度方面的有效性（Jasiewicz & Stepinski, 2013; Rolland et al., 2022; Ozdemir et al., 2024）。此外，大型2D预训练模型的可用性在计算上具有显著优势，超过了3D方法。3D模型通常预训练资源有限，通常局限于非常具体的案例研究，并且需要更高的内存成本（Ioannidou et al., 2017; Rajpurkar et al., 2020; El Khalfi et al., 2024）。实际上，对于我们这种规模的数据集（<500个个体），缺乏预训练权重几乎肯定会降低性能（El Khalfi et al., 2024）。

相反，我们对仅使用3D DL方法进行标志点定位持谨慎态度。鉴于网格的庞大尺寸，3D模型首先需要降采样才能在计算上可行（Wang et al., 2019; Wang, 2020; Li et al., 2023）。因此，为了实现稳健的预测性能，有必要将3D模型与分层多分辨率过程相结合，包括一个专注于局部几何的第二步，无论是3D还是2D，如果数据集过于有限的话（Ioannidou et al., 2017; Zhao et al., 2021）。另一个有前景的替代方案是使用变分自编码器（VAE）（Kingma & Welling, 2013）。这种方法将学习局部几何的潜在表示，可能突出对模型至关重要的信息，并提高其对噪声和输入数据变化的鲁棒性。这可以显著降低数据维度，同时保留关键的几何特征，使学习过程更高效、资源消耗更少。此外，VAE的生成能力可以用于数据增强，通过合成方式扩展我们有限的数据集，使其具有真实的变体（Kingma & Welling, 2013; Doersch, 2016; Antoniou et al., 2017）。

**方法学结论、指导原则和展望**
在这项研究中，我们开发了一种2D DL架构，用于自动化在3D上放置463个小鼠头骨上的10个选定标志点。这些标志点因其多样的位置和定义而被选中，对于每一个标志点，预测的位置都显著优于ALPACA等可变形注册方法生成的位置。这种改进在欧几里得距离到手动真实值的距离以及保持形状变化的属性方面都很明显。DL方法能够消除手动标志点数字化所需的时间和主观性，同时保持专家注释通常实现的生物完整性。这些发现强调了在标志点定位工作流程中需要这样的精细化工具，特别是对于涉及易发生显著位置变化的标志点的研究。

然而，这一流程仍然具有有限的可推广性，因为它是在来自相似数据集的小鼠头骨上训练和推断的。因此，未来的一个研究方向是使用来自多个分类学上多样化物种的更广泛标志点集来训练模型。这一策略旨在实现模型预测的微调，直接提供高质量的标志点放置。初始3D图像获取方法（例如CT扫描、基于表面的方法）和3D模型的质量（例如平滑处理）在我们的当前研究中是同质的，也是需要探索的关键变量因素，特别是在使用多样化3D模型来源的大规模研究中。如果我们希望开发一个真正通用的工具，适用于各种对比对象，并最终成为形态测量学中协作研究的稳健标准，考虑这些特征是至关重要的。