一种用于隐私保护的个性化多模态情感识别的机器学习框架

《Scientific Reports》：A machine learning framework for privacy preserving personalized multimodal emotion recognition

　　

摘要

本文提出了一种新颖的机器学习框架——隐私保护个性化多模态情感识别（P3MER），该框架同时解决了情感计算中的三个基本挑战：实现最先进的识别准确率、确保强大的隐私保护以及实现针对个体用户的有效个性化。该框架将分层多模态融合与联邦学习和差分隐私相结合，无需集中式数据收集即可实现协作模型训练，从而保护面部表情、语音记录和生理信号等敏感生物特征数据的机密性。一项关键创新是引入了联邦元学习，它允许在仅需极少量本地数据的情况下，将全局模型快速个性化为用户个体表达模式，同时保持形式化的隐私保证。在三个基准数据集（CMU-MOSEI、DEAP 和 MAHNOB-HCI）上的广泛实验评估表明，P3MER 在识别准确率上比最先进的中心化模型平均提高了 4.1%，同时提供了正式的 \((\epsilon , \delta )\)-差分隐私保证。在隐私预算为 \(\epsilon = 3.0\) 的情况下，该框架保持了 95.8% 的非私有联邦性能，显著优于传统的差分隐私联邦学习方法。元学习个性化机制仅需五个适应步骤即可产生 14.7% 的平均个性化增益，有效解决了个体间情感表达固有的异构性问题。此外，该框架展现出对现实世界挑战的卓越鲁棒性，包括极端数据异构性（与现有的个性化联邦方法相比，性能方差减少 39%）、模态不完整（当生理信号不可用时，保持 86.3% 的全模态性能）以及少样本学习场景（仅需 20-50 个本地样本即可实现最大个性化增益的 78%）。这些结果共同验证了 P3MER 成功协调了多模态情感识别中准确率、隐私和个性化之间相互竞争的目标，为实现可部署、符合伦理且尊重用户隐私同时保持自适应智能的情感计算系统提供了一条切实可行的途径。所提出的框架为隐私保护情感计算建立了新标准，并为开发通过技术能力和伦理设计赢得用户信任的情感感知技术提供了理论基础和实际实现。通过证明隐私保护和个性化无需以牺牲识别准确率为代价，这项工作推动了该领域向以人为本的人工智能系统发展，这些系统同时具备智能性、自适应性并尊重基本隐私权利。