《Technology and Disability》：MERATA: A proof-of-concept framework for integrating multimodal emotion recognition into assistive technology assessment
编辑推荐：
辅助技术（assistive technology，AT）评估是一个以人为中心的多学科过程，在评估辅助技术设备（assistive technology device，ATD）的适用性和使用情况时，需综合考虑用户的功能需求、目标、偏好、心理社会体验及情境因素。
辅助技术（assistive technology，AT）评估是一个以人为中心的多学科过程，在评估辅助技术设备（assistive technology device，ATD）的适用性和使用情况时，需综合考虑用户的功能需求、目标、偏好、心理社会体验及情境因素。已有方法能够提供有关用户感知心理社会体验的宝贵信息，但其本身并未在设备交互过程中提供情感反应的客观多模态测量。本研究提出MERATA，一个概念验证性的多模态情绪识别框架，旨在探索客观情感信息如何补充既有的AT评估方法。MERATA利用基于深度学习（deep learning）的模态专用模型与特征级融合（feature-level fusion）技术，整合面部、语音和生理信号，以估计效价（valence）和唤醒度（arousal），并对选定的情感状态进行分类。一个探索性的情绪到指标映射层将模型推导的情感输出与选定的PIADS对齐项目相关联。该框架使用K-EmoCon多模态数据集，通过单模态、双模态和三模态实验进行评估。多模态融合验证了整合互补情感模态的技术可行性，其中三模态配置展现出最强的性能。然而，类别不平衡以及使用非辅助技术情境下采集的数据集限制了结果的解释性和泛化性。MERATA证明了将客观情感信息纳入既有以人为本的辅助技术评估中的可行性，其目的在于支持而非取代临床推理和以用户为中心的决策。
### 研究背景与问题
辅助技术设备（assistive technology device，ATD）在帮助残障人士参与日常活动、维持独立生活以及改善生活质量方面发挥着关键作用。然而，辅助技术（assistive technology，AT）的放弃使用（abandonment）仍是该领域面临的重要问题，研究表明相当比例的用户最终停止使用其辅助设备。放弃使用是一种复杂且多因素交织的现象，可能受到功能适配性、可用性、用户期望、个人偏好、环境条件、培训与支持，以及用户与设备互动过程中的心理社会体验等多方面因素影响。放弃使用不仅影响个体，还意味着用户、家庭及公共卫生系统投资的损失，造成资源浪费，并减少社会参与机会。
过去的AT评估实践已经建立多种以人为中心的理论框架与评估工具。技术接受模型（technology acceptance model，TAM）侧重感知有用性和感知易用性；整合技术接受与使用理论（unified theory of acceptance and use of technology，UTAUT）纳入绩效期望、努力期望、社会影响和促进条件；辅助技术心理社会影响量表（psychosocial impact of assistive devices scale，PIADS）从能力感、适应性和自尊三个维度评估用户对辅助设备的感知心理社会影响；人与技术匹配模型（matching person and technology，MPT）则强调个体、技术与使用情境之间的适配性。这些方法虽然能够提供有价值的主观报告信息，但本质上均依赖回顾性自陈问卷，无法在设备交互过程中连续、客观地采集用户的情感反应。
多模态情绪识别（multimodal emotion recognition，MER）通过整合面部表情、语音特征和生理信号等多种信息源来推断情感状态，为获取客观情感信息提供了技术路径。已有的研究表明，多模态融合方法在情绪识别性能上普遍优于单模态方法，能够利用各模态间的互补信息获得更全面的情感解释。然而，MER在AT评估中的潜在作用尚未被充分探索，尤其是如何将多模态情感信息与既有的心理社会评估指标建立关联，并作为补充性观察信息提供给临床人员，这一问题仍待研究。本研究正是基于这一研究空白提出MERATA框架，旨在回答一个核心研究问题：多模态情绪识别能否与既有辅助技术评估方法整合，以提供可能补充传统以人为中心评估的客观情感信息。
### 研究内容与结论
研究人员开发了MERATA（multimodal emotion recognition to assess assistive technology adoption）概念验证框架，该框架整合面部视频、语音和心率（heart rate，HR）三类信号，利用多模态深度学习方法估计效价（valence）和唤醒度（arousal），并对选定情感状态进行分类。框架包含两个主要组件：多模态情绪识别模块和收养推断层（adoption inference layer）。后者将模型输出的情感状态与PIADS量表中与快乐、困惑和挫败相关的项目进行实验性映射，从而探索客观情感信息能否以与既有心理社会评估工具概念相关的结构化形式呈现。需要强调的是，这一映射属于实验性的情绪到指标关联，不构成对个体ATD采用或放弃的有效预测。
实验采用K-EmoCon多模态数据集进行模型训练与评估。该数据集包含在认知挑战性交互任务中同步采集的视频、音频和生理记录，虽然并非在辅助技术使用情境中采集，但其涉及的情绪化问题解决交互特征与ATD使用中可能出现的适应性和任务导向行为情境具有一定相似性。研究人员设置了单模态、双模态和三模态共七种配置进行多模态贡献分析，并进一步评估了收养推断层对快乐状态和认知情感状态（困惑、中性、挫败）的推断性能。
研究结果表明，多模态融合在技术上是可行的，三模态配置（视频+音频+心率）在效价和唤醒度预测上均取得最佳性能。视频模态是单模态中最具判别力的信息源，音频模态提供了有益但稳定性较低的补充信息，心率模态单独使用时性能最弱且存在过拟合倾向。双模态融合均优于单模态，其中视频+音频组合的性能增益最为明显。收养推断层验证了将连续情感输出映射为结构化PIADS对齐指标的可行性，但分类结果受类别不平衡影响明显，模型倾向于预测主导类别，限制了其对低频情感状态的判别能力。
MERATA的研究意义在于证明了在既有的以人为中心AT评估基础上增加客观情感信息层的技术可行性。该框架被定位为一种附加的观察性信息源，而非取代临床推理或用户自陈体验的独立决策工具。情绪反应仅代表ATD体验的一个维度，挫败或困惑等情感信号应被视为引导进一步临床调查的线索，而非自动判定设备应被否弃的依据。
### 关键技术与方法
研究人员使用K-EmoCon数据集作为模型的训练和评估数据来源，采用监督学习框架，将预处理后的数据集按60%训练、20%验证、20%测试的比例划分。模型基于TensorFlow-Keras环境，使用Adam优化器，训练50个轮次，批大小为4，学习率设定为1×10
-4，损失函数采用分类交叉熵。视频子网络采用三维卷积神经网络（3D-CNN）提取面部时空动态特征；音频子网络采用二维卷积神经网络（2D-CNN）处理梅尔频谱图以提取韵律和频谱线索；心率子网络采用一维卷积神经网络（1D-CNN）学习短期生理变化，并补充手工设计的HRV描述符。各模态嵌入在特征级拼接融合后，依次通过两个多层感知机（MLP）分层完成效价-唤醒度预测和情感状态分类。
### 研究结果
**单模态模型结果**
视频单模态模型表现最强，训练收敛平稳且泛化良好，证实面部线索对情绪识别具有高度判别力。音频单模态模型取得中等精度但稳定性不足，反映韵律信号受情境影响较大。心率单模态模型性能最弱，存在过拟合倾向，表明单独使用生理信号缺乏足够的情境深度。
**双模态融合结果**
视频+音频融合取得最显著的双模态性能提升，源于视觉表情线索与语音韵律线索的互补性。视频+心率融合也优于单模态配置，证实生理信号能够强化行为信息的解读。音频+心率融合虽优于单模态，但由于缺乏视觉信息，整体判别能力仍然受限。上述结果支持多模态假设，即整合外部行为信号与内部生理信号能够比单一通道识别获得更稳健和准确的性能。
**三模态融合结果**
视频+音频+心率三模态系统在效价和唤醒度预测上均超越所有其他配置，训练与验证趋势良好对齐，表明模型学习稳定且过拟合有限。效价分类的混淆矩阵呈现明显对角线优势，多数样本被正确分类，错误仅集中于相邻类别；唤醒度预测在邻近强度级别之间存在较大重叠，反映唤醒度的连续本质以及生理和行为信号离散化的内在难度。但极端唤醒状态之间的混淆极少，说明模型捕获了有意义的强度相关结构。
**收养推断层评估结果**
收养推断层使用三模态模型输出估计两个PIADS对齐构面：快乐状态和认知情感状态。训练和验证精度均表现较高，但混淆矩阵分析揭示了类别不平衡的明显影响。快乐状态模型的预测被多数类别主导，对低频状态的判别有限；认知情感状态模型也主要预测主导类别，导致精度接近完美但实则对困惑、中性和挫败状态缺乏有效区分。该结果与情绪理论一致，即困惑和挫败在生理和行为信号上经常高度重叠，缺乏更丰富情境或任务特异性线索时难以分离。尽管如此，该结果验证了在监督学习框架内将连续情感输出映射为结构化PIADS对齐指标的技术可行性。
### 讨论与结论
研究人员指出，MERATA的性能指标，尤其是收养推断层的评估结果，受到数据集类别不平衡和受控实验条件的影响。因此，研究结果应被解释为技术可行性的证据，而非完全可泛化的收养决策模型的验证。研究人员强调，情绪反应仅是辅助技术体验的一个维度，挫败或困惑等情感信号应被视为可能触发进一步临床调查的信号，而非自动指示设备应当被否弃的判定依据。情感状态可能源于不充分的培训、设备配置不当、任务要求过高、环境障碍或对技术不熟悉等多种因素，解读时应置于更广泛的人-活动-技术-情境关系中。
研究人员认为，MERATA的贡献在于：提出一个多模态深度学习框架整合面部、语音和生理信号进行情感状态识别；设计探索性情绪到指标映射层将模型输出与选定PIADS对齐项目关联；使用K-EmoCon数据集对多模态融合进行实验评估；提出一个临床整合路径描述MERATA生成的客观情感信息如何补充既有以人为中心的AT评估。该框架被明确定位为支持而非取代临床推理和共享决策的辅助工具。
研究的局限性包括：K-EmoCon数据集不能完全再现辅助技术使用中的具体身体、认知、社会、临床和环境条件；仅考虑快乐、困惑和挫败三种代表性情感状态，不能全面反映ATD选择和使用的复杂情感体验；情绪到PIADS对齐项目的映射属于概念性和实验性关联而非有效临床映射；收养推断层的性能受类别不平衡影响；研究未在实际临床AT评估流程中评估MERATA的实际效用。未来研究应聚焦于使用真实辅助技术设备的个体采集多模态数据，纳入多样化的用户、设备、活动和临床情境，调查更广泛的情感状态，并开展涉及康复专业人员和多学科团队的前瞻性临床验证研究，以评估MERATA生成的观察信息能否带来评估、培训、设备配置或随访决策的有意义改变。
