《Frontiers in Artificial Intelligence》：DXSP: gesture-only temporal localization of decisive moments in dyadic persuasion
编辑推荐：
说服系统必须实时检测用户参与度以调整其策略。现有方法主要依赖面部表情或语音信号，但二者均引发隐私担忧，且在低视频质量、运动模糊和背景噪声下性能会下降。身体手势提供了一种保护隐私的替代方案，因为骨架表示不编码可识别的面部特征。目前所缺乏的是一种能够定位手势起作用
说服系统必须实时检测用户参与度以调整其策略。现有方法主要依赖面部表情或语音信号，但二者均引发隐私担忧，且在低视频质量、运动模糊和背景噪声下性能会下降。身体手势提供了一种保护隐私的替代方案，因为骨架表示不编码可识别的面部特征。目前所缺乏的是一种能够定位手势起作用的特定时刻、而非在整段交互中平均行为的方法。研究人员提出了双人跨稀疏池化（Dyadic Cross-Sparse Pooling, DXSP），这是一种仅使用手势的神经架构，在不使用面部、语音或言语内容的情况下，定位双人说服中的稀疏决定性时刻。DXSP通过交叉注意力对两名参与者进行建模，通过一致性门（concordance gate）按人际同步性对候选时刻加权，并通过硬top-k机制为每个双人组合精确选择k = 3个窗口。研究人员在46个日语双人说服对话上评估了DXSP，使用了来自Sapiens Goliath基础模型的上半身姿态数据。首先，决定性时刻分布在整段交互中，而非集中于任一单一阶段。三组分混合模型能够拟合所选位置，但在k取1至10的每个取值下，随机选择相同数量的窗口都能再现这一证据。其次，决定性时刻在不同阶段间的相对集中程度在成功与失败结果之间存在差异。成功的双人组合将49.1%的峰值置于开场阶段，失败的双人组合将42.0%置于中间阶段。三项检验汇聚于这一对比，包括考虑组内聚集的置换检验。仅开场阶段的比较在校正后仍显著，且该关联在k值之间并不稳定。第三，在七个关节层面，差异在校正后均未达到显著，关节排序仅为探索性。该研究贡献了一种返回显式决定性位置的机制、关于基于混合的聚类声明需与匹配零模型进行校准的证据，以及决定性时刻位置与结果之间的初步阶段水平关联。因此，仅手势感知在阶段分布水平上与说服相关，而非检测出三阶段结构。这为阶段感知的干预时机提供了初步指导。
**研究背景与问题**
说服系统（persuasive systems）需实时感知用户参与度以动态调整策略。当前非言语感知方法主要依赖面部表情或语音，但面部信号在低分辨率、运动模糊及遮挡下不稳定，语音信号易受噪声和距离影响，且两者均涉及隐私泄露风险。相比之下，骨骼姿态表示不包含可识别面部特征，为隐私保护性感知提供了可能。然而，既有手势分析多基于全交互平均或全局同步度量，无法定位手势起作用的特定时刻；而动作识别架构通常面向短剪辑，不适用于长时对话。因此，研究人员提出假设：显式定位少数决定性手势时刻可捕获被聚合基线忽略的说服相关结构，并开发了仅依赖上半身骨架序列的DXSP模型。
**研究内容与意义**
研究人员在函馆未来大学（Future University Hakodate）收集了46个日语双人说服对话（共92名参与者），使用Sapiens Goliath基础模型提取七个上半身关节坐标，通过留一对交叉验证评估DXSP。DXSP采用交叉注意力建模双人交互，以一致性门加权候选时刻的人际同步性，并以硬top-k机制强制每对选取k=3个窗口。研究发现：决定性时刻呈近似均匀分布，无内置三阶段结构；成功与失败结果在决定性时刻的阶段分布上存在差异——成功组更早（开场阶段占49.1%），失败组集中于中间阶段（42.0%），且该对比在置换检验和FDR校正后仍显著；关节水平差异未达显著。其意义在于：手势信号可仅依靠阶段分布提供说服相关的时序信息，为隐私保护型说服AI的相位感知干预时机提供初步设计依据。
**关键技术方法**
本研究使用了以下主要方法：
1. 基于Sapiens Goliath基础模型离线提取视频中七个上身躯干关节的二维坐标及置信度（每帧生成7×3数组），经肩宽归一化和速度差分后形成(30, 28)的窗口表示。
2. 构建DXSP架构，其核心包括共享权重的窗口编码器、双向交叉注意力模块、基于滞后容限余弦相似度的一致性门，以及硬top-k注意力机制（精确选择k=3个窗口）。
3. 以留一对交叉验证（46次训练）训练分类头，并使用AdamW优化器和总变差正则项。
4. 统计检验采用高斯混合模型与BIC、置换检验（保留组内聚类）、Mann–Whitney U检验、Wilcoxon符号秩检验及bootstrap置信区间。样本来源为日本大学生双人对话语料，排除两名因遮挡致姿态提取失败的受试。
**研究结果**
**3.1 双人注意力峰值的时间分布**
通过提取46个双人组合的top-k注意力位置（共138个归一化峰值），发现峰值在开场（33.3%）、中间（32.6%）和结尾（34.1%）三个修辞阶段近似均匀分布。三组分高斯混合模型（GMM）的BIC最低（52.32），模式中心位于0.090、0.439和0.815，bootstrap置信区间窄且不重叠。然而，与匹配零模型（随机选择相同数量的窗口）比较后，观察到的ΔBIC=16.53对应经验p=0.210，且k=1至10均未超过各自零模型，因此三阶段结构不能视为数据固有的时序组织，而仅是描述性模式。
**3.2 按说服结果划分的决定性时刻阶段分布**
将双人组合按平均自评说服分数分为成功组（≥4，n=19）和失败组（≤3，n=27）。成功组将49.1%的峰值放在开场阶段，失败组将42.0%放在中间阶段。皮尔逊χ2检验显示χ2=12.72，p=0.0017，Cramér V=0.304；置换检验（10,000次随机打乱结果标签）给出经验p=0.020；双人水平的Mann–Whitney U检验在开场阶段显著（FDR校正p=0.020），中间阶段呈非显著趋势（p=0.094），结尾阶段无差异。bootstrap Cramér V的95%置信区间为[0.141, 0.488]，下限超过小效应阈值，表明成功说服与开场的决定性时刻集中相关，失败则与中间阶段集中相关。
**3.3 决定性时刻的关节水平特征**
比较top-k窗口与全部窗口的平均速度幅度，鼻尖关节的提升最大（+0.086），左手腕次之（+0.069），但Wilcoxon符号秩检验经Holm-Bonferroni校正后均不显著（最小原始p=0.064）。Friedman检验也无整体效应（χ2=4.873，p=0.560，Kendall W=0.018）。阶段×关节的描述性分析显示鼻尖在中间阶段活动最高（1.927），但研究人员将其视为探索性结果，不确立头部运动为参与度标志。
**3.4 结果预测性能**
DXSP在留一对交叉验证下取得AUC=0.536、准确率56.5%，略低于多数类基线（58.7%）。与BlockGCN、SkateFormer、ProtoGCN及随机森林特征基线相比，无模型达到高于随机的AUC，所有bootstrap置信区间均包含0.5。这表明说服结果无法在当前样本量下从手势中直接分类，DXSP的贡献在于定位而非分类。
**3.5 逐对案例研究**
选取模型预测置信度最高的两个成功和两个失败双人组合，展示其注意力时间线。峰值出现在阶段边界和结尾处，且伴随一致性升高，但研究人员强调这些个案是变异性示例，不能作为聚合模式的证据。
**讨论总结与结论翻译**
讨论指出：三组分混合拟合需与匹配零模型对照，否则会产生虚假聚类结论；成功与失败之间的阶段不对称可能反映早期融洽关系建立的重要性，但该解释是初步的；DXSP更宜定位为“候选时刻定位器”而非“结果分类器”，其价值在于提供阶段水平的结构信息。关节水平差异无统计显著性，仅提示头朝向和左右腕不对称的可能方向。样本量小、文化特异、结果自报、固定k值及实验室录制条件构成主要局限。未来方向包括跨文化拓展（已有泰语平行语料）、多模态融合、实时部署及语言对齐整合。
结论：研究人员提出了DXSP，一种仅手势的神经架构，用于在双人说服互动中识别稀疏决定性时刻。该架构结合了交叉注意力、一致性门和硬top-k注意力机制，通过构造强制结构化稀疏性。研究人员在46个日语双人说服对话上使用Sapiens Goliath基础模型的上身姿态数据评估了DXSP。得出三项主要发现。第一，所选位置的三阶段结构混合证据在与匹配随机选择零模型校准时不再成立，且在k=1至10的所有取值下均如此。第二，决定性时刻在阶段间的相对集中程度在成功与失败说服结果间存在差异；成功双人组将决定性时刻集中于开场阶段，失败双人组集中于中间阶段；三项相互印证的统计检验支持该发现，效应量为中等。第三，关节水平差异在七个关节的校正后均不显著，关节排序仅为探索性。这些发现初步表明，仅手势分析携带了说服相关时刻落在何处信息，且未显示其恢复三阶段组织。结果区分出现在阶段分布层面，而非直接分类，并且在该样本量下仍属初步。若被重复验证，该模式将支持设计根据交互阶段调整干预时机的隐私保护型说服AI系统。位置内容区分提示，手势分析更适合描述为候选时刻定位器，而非内容分类器。这一视角为多模态整合、跨文化扩展及说服技术中的实时部署开辟了方向。
