《Sensors》：Sparse Image Registration-Based Marker-Free Hand Acupoint Localization Using TCM Template Queries
编辑推荐：
基于传感器的医学成像深度学习为解剖表面分析与个性化中医（TCM）应用提供了非接触、数据驱动的途径。然而，由于专家标注穴位数据集有限且受试者间解剖变异显著，从相机获取的手部图像中准确实现手部穴位定位仍具挑战。研究人员提出一种基于深度特征对应学习与稀疏图像配准的无
基于传感器的医学成像深度学习为解剖表面分析与个性化中医（TCM）应用提供了非接触、数据驱动的途径。然而，由于专家标注穴位数据集有限且受试者间解剖变异显著，从相机获取的手部图像中准确实现手部穴位定位仍具挑战。研究人员提出一种基于深度特征对应学习与稀疏图像配准的无标记手部穴位定位方法。该任务被建模为模板到目标的对应估计问题，将中医模板图像中专家标注的穴位作为查询点映射至光学成像传感器获取的目标手图像。采用基于Transformer的架构关联多尺度图像特征，并利用不确定性感知匹配公式同时估计穴位位置与不可靠匹配。与传统关键点检测网络不同，该方法利用中医模板先验，降低对密集目标图像穴位标注的依赖。构建的数据集包含378名参与者的1400张图像，按参与者级别划分后留出38名参与者（140张图像）的测试集。手掌与手背视图分别与关键点检测基线及COTR对比评估。在该受试者独立的内部测试集上，所提方法手掌图像平均穴位定位误差（AAPE）为18.42像素，手背图像为12.60像素，推理时间由COTR的11000毫秒降至600毫秒。结果表明了以专家标注为参照、模板引导的基于图像手部穴位定位的可行性。
研究背景方面，基于传感器的医学成像日益依赖深度学习算法将相机采集图像转化为定量解剖信息，中医国际化进程中对手部穴位准确视觉定位需求上升。现有方法分有标记与无标记两类，有标记法易遮挡皮肤且准备步骤繁琐；无标记法常建模为关键点检测，但穴位标注需资深针灸师、数据集稀缺导致直接检测模型泛化差，间接法依赖传统骨度分寸等比例规则、对受试者体表差异敏感。为缓解对大规模标注的依赖，研究人员将穴位定位重构为稀疏图像配准任务，借中医模板先验把专家标注从模板图迁移到目标图，从而增加有限标注下的对应监督量。论文发表于《Sensors》，核心贡献为：提出无标记手部穴位定位框架、中医模板查询稀疏配准策略、高效多尺度特征图精炼模块，并构建医生标注手掌（7穴）与手背（21穴）数据集。
关键技术方法上，研究人员整合光学RGB手图像（来自11K Hands筛选870张及160名志愿者智能手机采集530张，共378人1400张，按参与者级7:2:1分训练265人/980张、验证75人/280张、测试38人/140张），同视图内成对内仅保留共标穴位生成稀疏配准对（训练2512对、验证737对、测试368对）；骨干采用权重共享ResNet50-FPN（含金字塔池化PPM、Transer、DenseFusion）提取多尺度特征图，以特征图裁剪替代COTR的图像域重复裁剪；匹配头为三粒度（粗/中/细，通道64/128/256）Transformer编解码，线性位置编码，仅前向模板到目标受监督，反向仅用于循环一致性约束，并预测不确定性分数经验证集F1选阈过滤不可靠匹配；训练用Adam、不确定性正则系数粗中细0.1/0.05/0.01，评估指标为AAPE、PCK@0.01/0.03/0.05、平均推理时间（AIT）。
研究结果部分，3.1无标记手部穴位定位实验显示：手背AAPE 12.60像素优于手掌18.42像素，因手背关节轮廓更稳定；所提法较YOLOv8-pose、YOLOv11-pose精度更高，较COTR精度略优且AIT由11000毫秒降至600毫秒（约降94.5%），但参数量31.44M、FLOPs 283.08G、峰值显存9.31GB高于YOLO类；3.2.1组件消融表明渐进粗→中→细把手掌AAPE从30.84降至18.42、手背21.63降至12.60，特征图裁剪较图像域裁剪AIT由2180毫秒降至600毫秒，去循环一致或不确定性加权均劣化；3.2.2不确定性可靠性分析得手掌Spearman相关正、手背亦正，验证集选阈τ=0.790 F1最大，测试集拒识后AAPE改善且保留覆盖率；3.2.3配对Bootstrap（1万次）显示所提法对基线AAPE差95%CI不含0、PCK@0.05差95%CI不含0，统计显著。
讨论部分指出，模板查询把专家先验嵌入对应估计，较直接检测获更多同集对应监督；特征图级精炼免重复骨干推理是提速主因；手背优于手掌源于掌纹皱褶与姿态变形干扰；局限含数据集规模与标注不平衡、跨设备光照姿态未分层、未做临床体表放置验证、模板选择与标注一致性依赖、Transformer仍慢于YOLO；意义在于为科研标注、教学引导、机器人辅助提供非接触视觉定位模块。
结论部分翻译：本文提出一种基于深度特征对应学习与稀疏图像配准、面向基于传感器医学图像分析的无标记手部穴位定位方法。所设计的稀疏配准网络学习中医模板图与相机获取目标手图间穴位级对应，使目标穴位在中医先验引导下被估计。Transformer架构强化跨图特征关联，多尺度精炼查询模块逐步提升定位精度同时避免冗余特征提取。在内部构建的医生标注手掌与手背数据集上，该方法在评估条件下较所选基线取得改进的图像定位表现。未来工作将增加数据集多样性、进一步验证后拓展至其他身体区域、开展外部与受试者独立验证，并探索更鲁棒高效的深度学习模型用于基于传感器的穴位定位。
