基于多模态视角的中药康复训练视觉评估框架

《IEEE Transactions on Neural Systems and Rehabilitation Engineering》：Cross-view Multimodal Vision-Based Assessment Framework for Traditional Chinese Medicine Rehabilitation Training

　　

摘要：

在传统中医康复训练中，基于视觉的评估方法能够提供便捷且经济高效的评价方式，而计算机视觉带来的动作质量评估为这一领域提供了有力的解决方案。现有的物理治疗自动动作质量评估框架通常依赖于从单一视角获取的骨骼数据，这对于需要手部完全遮挡以及复杂手部与物体交互的中医操作，如针灸或推拿来说效率较低。为了解决这些问题，我们提出了CME-AQA，这是一种跨视角、多模态的基于视觉的评估框架，它通过融合视觉信息与姿态数据来更好地理解环境背景，并在训练过程中同时利用第一人称和第三人称视频，以提高评估的准确性。我们收集了两个双视角数据集，TCMAQA61-A（针灸）和TCM-AQA61-T（推拿），每个数据集都包含61名受试者的第一人称和第三人称同步录像，同时还配有专家标注。实验结果表明，与现有基准方法相比，我们的方法在关键评估任务上的平均性能更优或相当，在针刺深度和快速进针等任务上，其加权F1值比最优的竞争方法高出10%以上，同时还能降低进针时间和操作频率等量化指标的均值绝对误差。在心肺复苏数据集上的测试也显示出，在多个与姿势相关的评估标准上，我们的方法具有相当的性能，这表明它也适用于那些以参与者动作作为评估核心的相关结构化模拟临床技能评估。总体而言，CME-AQA提升了传统中医康复训练的评估精度，有助于实现更为便捷有效的以训练为导向的技能评估。