摘要
本文介绍了正在开发的用于上肢康复的更广泛的严肃游戏生态系统BLEXER v3中的多模态感知与特征级融合层的实现情况及其技术可行性评估。该框架将基于Kinect的动作追踪、Polar H10和Bangle.js的生理信号检测、可穿戴加速度计数据以及面部情感线索整合到基于中间件的架构中。各种不同的传感器数据首先在本地进行预处理、时间对齐，然后转化为统一的、考虑质量的多模态特征表示，这些特征包括与动作、心率及心率变异性相关的描述符、情感信息、设备可用性指标、信号质量元数据以及数据新鲜度描述符。此外，根据预定义规则，这些融合后的特征还会被映射为一些启发式的操作描述符，如需求低、状态稳定、积极投入、身体负荷、情感活跃、需求高以及状态不确定等。这些描述符并非用于临床诊断、独立验证的用户状态判定或最终的适应决策。通过对12,675个完整的多模态数据窗口进行的探索性K均值分析，发现数据驱动的聚类结构与预定义的操作描述符之间存在一定对应关系：某些描述符对应的聚类模式较为集中，而其他描述符则存在重叠现象且内部结构较为复杂。这些研究结果证明了生成结构化的多模态特征表示的技术可行性，这类特征表示可为后续的上下文感知推理提供输入。未来还需要对操作描述符进行独立验证、完成整个系统的评估，并通过康复患者进行临床验证。
