用于手部关键点检测的并行多尺度深度监督网络

《Big Data Mining and Analytics》：Parallel Multi-Scale Deep Supervision Net for Hand Key Point Detection

手部关键点检测通过并行多尺度深度监督网络实现高效特征融合与可解释性提升，在保持精度的同时减少参数量，并成功应用于神经科学中的指尖敲击运动量化。

　　

摘要：

关键点检测在众多应用中发挥着重要作用。然而，预测小型物体（如人手）的关键点是一个具有挑战性的问题。最近的研究通过多层特征整合或多分辨率聚合的方式，融合了深度卷积神经网络（CNN）的特征图。尽管取得了一些成功，但这些特征融合方法增加了CNN的复杂性和透明度。为了解决这个问题，我们提出了一种名为并行多尺度深度监督网络（P-MSDSNet）的新型CNN模型，该模型能够在不同尺度上并行学习特征图，并通过深度监督生成空间注意力图，以实现自适应的特征层间传播。P-MSDSNet采用多阶段并行结构，融合了来自相同和不同深度层次的多尺度特征。深度监督与空间注意力机制相结合，能够增强相关特征，并有助于提高每个阶段特征学习的透明度。在实验中，我们证明了P-MSDSNet在基准数据集上的性能优于现有最先进方法，同时所需的参数更少。我们还展示了P-MSDSNet在神经科学研究中量化手指敲击动作的应用可行性。

引言

手部关键点检测旨在识别手部图像中不同关键点的位置。手部的关键点包括指尖和手指上的关节（如指节）。准确高效的手部关键点检测是许多实际应用的关键，尤其是在医疗保健和人机交互领域。近年来，各种关键点检测方法大量依赖于卷积神经网络（CNN），因为它们能够从视觉数据中学习出可区分的特征[1]。通过将多个卷积层堆叠在一起，并结合池化和归一化等操作，CNN可以学习到不同层次的视觉特征抽象，从而提高定位感兴趣位置的效果[2][3][4][5]。然而，图像中物体的不同大小给特征学习带来了很大挑战。为了解决这个问题，提出了多种架构，包括Hourglass模型[6]、级联网络[7]、HigherHRNet[8]、U-Net[9]和全卷积网络（FCN）[10]。这些方法旨在通过连接多分辨率子网络来学习和融合不同尺度的特征，从而提高性能。在[3]中，从一个大块特征图中提取了多尺度特征，然后对这些特征进行微调并聚合用于预测。然而，大多数多尺度网络以级联方式传播视觉信息，特征图在不同的深度层次生成和学习。因此，同一深度层次上不同尺度特征图的信息会丢失。尽管取得了一些成功，但这些特征融合方法仍然增加了CNN的复杂性和透明度。特别是在手部关键点检测方面，这种尺度差异问题以及深度架构中的不透明性仍然是CNN在实际应用中应用的主要障碍。