二元组特定多模态情感动态：整合时序跨模态一致性与概率一致性

《Technologies》：Dyad-Specific Multimodal Affective Dynamics: Integrating Temporal Cross-Modal Consistency and Probabilistic Agreement

　　

摘要

重复的双人交互不仅以平均多模态信号水平为特征，还以跨模态一致性随时间演变的方式为特征。本研究调查了人际内部面部 - 身体跨模态一致性和概率跨模态情感一致性的联合时间组织（由情感同步一致性指数 (CIAS) 和概率多模态一致性指数 (PMCI) 量化）是否能产生与重复双人交互相关的可重现会话级动态表示。主要分析包括 24 次即兴会话和 17 次自然会话，每种条件下各有 12 对双人。来自双方的时变信号通过动态状态占用、停留结构、转换特征和时间变异性进行总结，并使用带有共享参与者和技术控制的置换分析进行评估。在自然交互中，同一双人的重复会话显著更相似 ( = ?2.0180, FDR q = 0.0114)，在超出共享参与者相似性之外具有显著的双人特异性 ( = ?2.4670, q = 0.0033)。表示消融实验表明，PMCI 提供了主导的状态分离结构，而 CIAS 提供了适度且依赖于条件的补充信息。最值得注意的是，对来自六对双人和 11 名先前未见过的参与者的 73 次自然会话进行的冻结参与者不相交评估保留了显著的双人相关结构，并实现了 0.8356 的会话加权最近双人准确率和 0.8512 的宏观双人准确率。额外的稳健性分析表明，主要模式在状态计数规范、时间窗口设置、伙伴顺序反转和显式技术质量调整中持续存在。总体而言，研究结果支持存在与重复双人交互相关的可重现会话级多模态动态结构及其向先前未见过的参与者的迁移，但这并不意味着直接的人际同步或心理学定义上的交互状态。