交互式回放可视化器结合小波方法分析关节角度共调制：在自发对话中姿态-声音关系的应用

《Machine Learning and Knowledge Extraction》：Interactive Playback Visualizer to Analyze Joint-Angle Co-Modulation with a Wavelet Approach: Application to Pose-Voice Relationships During Spontaneous Conversation

　　

深度视觉识别可将普通视频转化为可解释的运动知识，然而社交互动中单一个体各关节之间的协调在很大程度上仍未被探索。研究人员提出一种交互式回放可视化器，将无标记姿态估计（markerless pose estimation）与交叉小波变换（cross-wavelet transform, XWT）相结合，量化所有关节对之间的振幅共调制（amplitude co-modulation）。振幅共调制被证明具有解剖结构：双侧同源对（bilateral homologous pairs）超过跨肢体对（cross-limb pairs）和头-体对（head–body pairs），即使在共享零关键点的对中也是如此，而相关跟踪误差无法产生这种结构。肢体内部对（within-limb pairs）也得分较高，但共享关键点，因此其升高与测量误差混淆，不被视为已确立。共调制集中在低频姿态频率，且无系统性时间趋势；每个轮廓在会话内保持时间一致性，但未建立与平坦趋势的等效性。语音活动与手势频率下的上肢运动相关。每位参与者的78维轮廓具有个体特异性：半分识别（split-half identification）达到28.6%（95% CI 19.3–40.1%），而随机概率为1.4%，表明是会话内可识别性而非跨会话特质。在总体或类别水平共调制中未检测到性别差异，且未对任何指标建立等效性；女性在微运动频带（micro-movement band）中超过男性，该频带最窄且受预处理衰减最严重，因此该差异被报告但不作解释。

面对面交谈中，人体持续产生涵盖头部、躯干和四肢的关节运动，但传统研究多聚焦人际同步，单一个体内部关节协调却很少被系统研究。运动控制理论（如自由度问题、协调结构、肌肉协同、最优反馈控制及中枢模式发生器（central pattern generator, CPG））提示体内协调应具有结构，然而在自然交谈这种无约束、认知要求高的情境中，是否存在类似模块结构并可作为临床标记，仍是开放问题。帕金森病与自闭症谱系障碍等疾病涉及运动协调异常，现有临床评估缺乏敏感性，而深度学习姿态估计与小波时频分析为无标记捕捉全身协调提供了可能。为此，研究人员利用70名健康年轻人的自发对话视频，结合无标记姿态估计（markerless pose estimation）与交叉小波变换（cross-wavelet transform, XWT），开发了交互式回放可视化器，以表征体内关节振幅共调制结构。

该研究招募了70名健康年轻人（47名女性，23名男性，年龄20-35岁，右利手），每人与各自同伴进行15分钟自发对话，单摄像头（1920×1080，60 fps）记录。利用DeepLabCut中的SuperAnimal-HumanBody预训练模型估计17个关键点，计算13个关节角度；对信号进行调理和归一化后，使用连续小波变换（continuous wavelet transform, CWT）和XWT，构建78对关节的会话平均振幅共调制矩阵。研究得出五项主要结论：共调制呈解剖结构化（双侧同源对高于跨肢体对和头-体对）、主要集中于低频姿势带、会话内时间一致、语音活动与手势频率带的上肢运动相关、78维轮廓支持会话内个体识别（28.6% vs 随机1.4%）。除微运动带外未发现性别差异。该论文发表在《Machine Learning and Knowledge Extraction》。

关键技术方法如下：样本队列为70名健康年轻人（47女，23男，20-35岁，右利手），每人与同伴进行15分钟自发对话，单摄像机记录。姿态估计使用DeepLabCut的SuperAnimal-HumanBody预训练模型（RTMPose-x骨干），零样本迁移并采用测试时视频自适应；关键点经质量控制和身份校正后，计算13个关节角度；信号经NaN插值、中值滤波和min-max归一化；采用Morlet小波（ω₀=6）计算CWT，进而计算XWT获得78对关节的振幅共调制功率；语音包络从单声道音频提取，计算语音-身体XWT；统计采用Wilcoxon符号秩检验、Friedman检验、置换检验和Benjamini-Hochberg FDR校正。

研究结果按原小节归纳如下：

**3.1 从视频到共调制