基于同态加密与差分隐私的安全高效多模态情感分析

《Neurocomputing》：Secure and efficient multimodal sentiment analysis with homomorphic encryption and differential privacy

　　

**摘要** 多模态情感分析（MSA）处理面部表情、声音模式和语言选择，这些均构成敏感的生物特征数据，容易受到先进深度伪造技术的滥用。因此，任何执行此类分析的系统都必须实施稳健的措施来保护用户隐私。然而，开发此类系统一直十分困难，主要面临两大挑战：计算量增加和效用降低（例如模型准确率或实用性下降）。多模态学习涉及庞大的矩阵运算，这对于同态加密（HE）来说并不实际；而模态之间的相互作用极为微妙，在输入中添加差分隐私（DP）噪声会破坏性能。本文提出一个框架，以平衡隐私、计算与效用之间的三角权衡。我们的关键观察是：不同模态需要不同程度的安全保护。因此，我们提出对高度可识别的模态实施严格的隐私保护，对剩余模态采用更为宽松的保护。具体而言，视觉和音频特征通过同态加密进行加密，而文本特征在发送至在线模型之前先通过差分隐私进行扰动处理。模型在处理接收到的输入时无需解密敏感数据，也无需完全了解自身的预测结果。与以往专注于基于差分隐私方法的隐私保护MSA工作不同，我们的工作是首次以计算可接受的方式引入同态加密的使用。此外，我们的方法允许用户控制他们愿意在更准确预测与隐私之间做出的让步程度。数据和代码将在发表后发布。

**引言** 情感分析系统的目标是准确识别用户对某一主题的观点——例如是否支持或反对——或推断其情绪状态，如快乐或悲伤。传统上，从产品或评论中提取的情感已被用于开发推荐系统[1]、[2]。然而，这些方法完全依赖文本输入，从而将模型限制在语言信息上。在可预见的未来，人类情感将越来越多地被用于构建能够交付个性化、自适应且自然响应的对话智能体。因此，现代方法开始将非语言行为纳入分析，范围从面部表情到语调。此类语言和非语言信息嵌入在多模态数据中，包括文本、视觉和音频内容。具体而言，多模态情感分析（MSA）指的是利用这些数据流来预测说话者情感的模型[3]。然而，由于说话者的身份和情绪状态在与MSA系统交互过程中会暴露，挑战因此是双重的：我们不仅要提升现有MSA模型的性能，还必须确保终端用户的隐私。现代深度学习模型已经变得如此庞大，以至于每位用户各自托管MSA应用程序既不可行也不实际。相反，每次收到用户查询时，都会调用一个预训练的集中模型。查询以短视频的形式描述用户的外貌、说话方式以及所使用的词汇模式。这些关于大量私人信息的描述如果落入错误的手中，可能会造成严重损害。安全事件可能引发社会广泛关注[4]，从而阻碍MSA模型的普遍使用。有时，用户也不愿向情感分析提供商披露其情感。设想一家公司希望评估员工对工作环境的感觉，但依赖于第三方MSA服务：它就有理由向该提供商隐瞒录音和由此产生的情感评分。能够实现这一额外目标的服务可以吸引更多用户，服务提供者也能免受数据泄露威胁。因此，隐私保护的MSA是终端用户和服务提供者共同的目标。保护多模态数据的隐私比单模态数据更具挑战性。在隐私保护的单模态学习中的一种方法是通过随机噪声注入来模糊输入或梯度[5]。在多模态学习中，模态之间的相互作用在效用（即性能）方面提供了学习优势，因为模态包含互补信息。这种效用优势成为安全隐患，因为没有保证攻击者无法利用同样的冗余信息，即使单模态数据已被模糊处理。这在多模态学习中被称为相关性攻击[6]，相同原理也可被投毒攻击利用[7]。另一种方法专注于推理过程中的加密方法[8]。基于加密的方法提供了最高级别的安全保护，但缺点是比未加密方法慢数千倍。多模态数据与单模态数据相比需要呈指数级增长的计算资源；加密保护无法简单地扩展到多模态学习。最后，增强隐私是以牺牲效用和计算为代价的，因为天下没有免费的午餐。我们怀疑，正是上述挑战导致了MSA隐私领域研究的匮乏，尽管其重要性显而易见。仅有的几项关于隐私保护MSA的先前工作专注于分布式协同学习，框架包括联邦学习和分裂学习。在这些框架下，训练（有时也包括测试）在客户端和服务器端同时进行。例如，DPCRL [9]使用编码器-解码器模型学习相关和不相关的表示，添加拉普拉斯噪声以创建扰动表示，最后将带噪声的表示发送到服务器进行隐私保护预测。差分隐私（DP）[10]为添加的噪声表示提供统计隐私保证，隐私预算是隐私水平的界限。由于客户端需要足够的计算资源来支持训练流水线，因此会产生额外的通信和计算成本。所有模态是否都需要相同级别的隐私保护？如果答案是否定的，那么这将是开发多模态模型保护方法的关键见解——该方法将不同于单模态模型。直觉上，MSA中的音频和视觉特征似乎比文本特征更敏感。这一见解被用于开发PriMonitor [11]，其中不同的隐私预算被自适应地重新分配给不同模态。不幸的是，结果显示当应用于现有MSA模型时，F1分数从0.79大幅下降至0.55（相对降低30%）。将同样的见解推向更极端的方向，HyDiscGAN [12]提出仅在测试时传输文本特征，其他模态的伪造特征通过GAN模型生成。尽管真实的音频和视觉特征在测试时完全隐藏，HyDiscGAN并未为文本模态提供任何隐私保护。此外，训练过程仍然涉及客户端与服务器之间的协作。在本文中，我们提出了一个名为HEDP-MSA（本文其余部分简称HEDP）的框架。该名称源自于该框架结合了同态加密（HE）和差分隐私（DP）用于多模态情感分析（MSA）。在HEDP中，使用HE方案加密视觉和音频特征，为这些模态保证最高级别的隐私保护。对于文本模态，添加DP噪声以提供DP保证，而不受HE带来的额外计算负担。我们注意到文本数据有时可能包含隐私敏感信息，如姓名、地址或秘密披露；然而，此类信息在MSA中并不常见。此外，现有的文本隐私保护广泛技术，如个人身份信息移除（PII），可以简单地应用于DP步骤之前。基于这些原因，该框架的设计假设在MSA中从文本模态中提取的隐私信息较少。与先前工作不同，HEDP不要求客户端协作来保护其隐私，使其适用于范围更广的、使用低端硬件的个体用户。此外，框架的加密特性使用户确信没有其他方（包括好奇的服务器）能够推断其情感。总之，本工作的贡献如下：•我们提出了一种新颖的隐私保护MSA框架。与分布式协同学习不同，该框架在训练期间不需要客户端和服务器之间的任何协作，从而减轻了客户端端的计算负担（第4节）。•我们设计了一个专为HEDP定制的MSA模型。实验结果表明，我们的模型在性能上与最先进的（SOTA）水平相当，同时保护了终端用户的隐私（5.2节 安全版HEDP模型，6.1节 与SOTA模型比较）。•我们进行了关于精度-隐私-计算三角权衡的额外分析。该分析为选择在其工作中采用HEDP的读者提供了选择和参考（6.2节 推理时间与加密权衡，6.3节 影响）。

**多模态情感分析** 大量工作致力于构建MSA数据集和模型。在数据构建方面，近期工作中最常见的数据集包括IEMOCAP [13]、CMU-MOSI（MOSI）[14]、CMU-MOSEI（MOSEI）[15]和CH-SIMS [16]。IEMOCAP于2008年收集，是多模态情感识别研究中最早的基准之一。IEMOCAP的参与者被指示"扮演"某些情绪，如快乐、愤怒和悲伤。近十年后，MOSI（2016）和MOSEI的收集……**野外多模态情感分析** 情感分析是从一个人或组织产生的输入数据中推断情绪状态或主观观点的任务。输入数据可以是各种类型，如文本、音频或视频。在本工作中，我们关注视频，它可以分解为文本、音频和视觉模态。通常，自动多模态情感分析的任务是开发一个模型，能够使用部分或全部模态来预测情感标签。

**概述** 如第1节所述，我们的主要动机是保护用户隐私并在多模态情感分析（MSA）系统中建立信任。因此，我们从用户视角出发介绍我们提出的框架。图1展示了完整的推理流水线，分为两个主要部分：客户端和服务器。客户端在用户设备上处理本地计算，而服务器在集中式云计算平台上执行处理；**数据集与特征提取模型** 在本工作中，我们使用两个流行的MSA基准数据集进行了实验，分别是MOSI [14]和MOSEI [15]。MOSI数据集共包含来自89位不同说话者的2199个意见片段，每片段平均长度为4.2秒。这些片段由五名不同的工作者标注情感强度标签，范围为（强烈负面）至（强烈正面）。其中1284个片段用于训练，229个片段用于验证，686个……**与SOTA模型比较** 在表5和表6中，我们将安全版HEDP在MOSI和MOSEI上与基线模型的性能进行了比较，未采用任何隐私增强措施。表格显示，安全版HEDP的明文版本在400M参数以下的其他MSA模型中实现了SOTA性能。我们将此提升归因于使用现代大语言模型DeBERTa-v3。具体而言，在MOSI上，安全版HEDP超越了第二好的模型，F1分数高1.01个百分点，皮尔逊相关系数高0.0105个单位。对于MOSEI，差距……**结论** 本工作提出了一个隐私保护的多模态情感推理框架。该框架结合两种方法——同态加密和差分隐私——为不同模态提供不同级别的隐私保护。我们展示了构建高效且隐私的模型是可行的，尽管会有一定的性能下降。同时，我们也承认与明文推理相比，受保护的推理流水线仍然耗时，而且……

**CRediT作者贡献声明** Hung Le：撰写——初稿，验证，方法论，调查。Shogo Okada：撰写——审阅与编辑，指导，方法论，概念化。Van-Nam Huynh：撰写——初稿，方法论，调查，形式化分析，概念化。

**生成式AI及AI辅助技术在写作过程中的声明** 在准备本作品过程中，作者使用了Claude（Anthropic）以调试并改善手稿的语言和可读性。

在使用该工具后，作者已根据需要审查和编辑了内容，并对出版物的内容承担全部责任。
利益冲突声明
作者声明，他们没有已知的竞争性财务利益或个人关系可能会影响本文所报告的工作。
Hung Le 是日本科学技术研究大学院大学（JAIST）信息学院的博士生候选人。他于 2020 年毕业于越南信息技术大学信息系统系，并于 2023 年获得 JAIST 信息科学硕士学位。他目前的研究兴趣包括多模态表示学习、隐私保护机器学习和以人为本的人工智能。
Hung Le|Shogo Okada|Van-Nam Huynh