Mobile-SST-RIR：面向物联网视觉设备的资源感知型人脸图像隐私处理技术，支持基于密钥条件的可逆恢复

《Internet of Things》：Mobile-SST-RIR: Resource-Aware Face Image Privacy Processing for IoT Visual Devices with Key-Conditioned Reversible Recovery

　　摘要：在资源受限的情况下，移动设备和物联网视觉设备越来越多地处理面部图像，这在存储、传输和云处理过程中带来了隐私风险。现有的可逆面部匿名化方法主要侧重于正确密钥的恢复，而对移动端部署及错误密钥的安全性关注不足。本文提出了Mobile-SST-RIR，这是一种针对物联网视觉设备的资源感知型面部隐私框架，具备基于密钥条件的可逆恢复功能。该框架采用源端保护机制，在图像传输或存储之前将其转换为能够保护隐私的表示形式，只有拥有有效密钥才能实现身份恢复。为适应资源受限的设备，隐私生成在源端通过轻量级的前馈过程完成，而密钥验证和图像重建则交由可信的边缘或云环境处理。Mobile-SST-RIR结合了多尺度AdaIN残差块、门控跳过连接以及FiLM-after-AdaIN密钥注入策略，以平衡身份混淆度、视觉可用性以及授权恢复能力。此外，还引入了密钥验证器和错误密钥约束机制，以加强访问控制并防止未经授权的图像重建。在CelebA数据集上的实验表明，该方法能够实现高质量的正确密钥恢复，PSNR值为29.47 dB，SSIM值为0.869，LPIPS值为0.040。受保护图像与原始图像的身份相似度降至0.295，而错误密钥下的重建结果相似度仅为0.344。密钥验证器的匹配准确率可达0.964，安全评估结果显示该框架具备抵御黑盒攻击和有限查询攻击的能力。这些结果表明，Mobile-SST-RIR为移动设备和物联网视觉应用提供了在源端生物特征隐私保护、授权恢复、视觉可用性以及错误密钥风险控制之间的实用平衡。

引言：移动设备和物联网视觉设备已成为处理面部图像的重要平台。智能手机、移动支付终端、门禁控制终端、可穿戴摄像头以及边缘摄像头不断捕获、处理、传输和存储面部图像，用于身份认证、移动支付、智能监控、门禁控制、公共安全以及人机交互等领域。尽管这些应用提升了服务便捷性和视觉智能水平，但也带来了严重的隐私风险。如果原始面部图像在经过保护处理之前就被上传到远程服务器或存储在本地设备中，那么在本地缓存、无线传输、边缘处理、云存储或被未经授权的第三方访问时，生物特征信息都可能被泄露。与普通视觉数据不同，面部图像包含不可更改的生物特征信息。一旦这些信息被泄露，就无法像密码那样被撤销或替换。因此，移动设备和物联网中的面部图像处理不仅需要关注识别精度或视觉质量，还需在图像传输或存储之前考虑源端隐私保护。在许多物联网应用中，拍摄面部图像的设备也是实施隐私保护的第一环节。这促使人们采用资源感知型保护策略，尽可能早地将原始面部图像转换为受保护图像，同时确保在提供有效密钥时能够实现授权恢复。近年来，深度面部识别技术如ArcFace和CosFace显著提升了身份提取能力，在标准测试集上实现了较高的验证准确率[1]、[2]。然而，这样的进展也增加了在面部图像收集、传输或分析过程中缺乏足够保护时生物特征隐私泄露的风险。作为不可更改的生物特征，面部信息一旦泄露，可能会导致个人长期面临身份滥用和隐私侵犯的问题[3]。现实世界中发生的大规模未经授权的面部图像采集事件进一步凸显了这一问题的严重性，引发了多个司法管辖区的调查和监管行动[4]、[5]。欧盟《通用数据保护条例》和中国《个人信息保护法》等法律框架也将面部数据列为敏感个人信息，要求对其处理采取严格的保护措施[6]。这些发展表明，面向移动设备和物联网应用的面部隐私保护不仅要实现有效的去标识化，还需要具备可控的授权和恢复机制。现有的面部隐私保护方法大致可分为两类。第一类是基于对抗性扰动的面部混淆技术[7]、[8]，它通过添加干扰信息来误导面部识别模型，从而保护面部图像。然而，这种保护方式可能会因自适应攻击、图像压缩、预处理或黑盒转换而被削弱。第二类则是基于生成模型的面部匿名化技术[9]、[10]、[11]，它通过改变面部外观来删除或修改身份信息。虽然生成式匿名化能够实现更强的视觉去标识化效果，但大多数现有方法都是不可逆的，因此无法满足合法审计、用户授权访问以及可问责的移动服务等场景中对身份可追溯性的要求。为解决这一缺陷，近期的一些研究开始探索可逆面部匿名化技术，即通过密钥来控制匿名化和恢复过程。在这种机制下，正确的密钥可以用于身份恢复，而在密钥泄露后则可以生成新的密钥，进而产生新的受保护输出。代表性的方法包括PRO-Face[12]、IVFG[13]、CanFG[14]、RiDDLE[15]和iFADIT[16]。这些方法通过提升匿名化强度和正确密钥下的重建质量，推动了可逆面部隐私保护技术的发展。不过，它们大多只注重正确密钥下的恢复效果，而对错误密钥路径的行为则缺乏足够的约束和评估。从更广泛的视角来看，目前的面部隐私技术只是解决了问题的部分方面。深度伪造风格或生成式匿名化方法可以通过生成视觉上逼真的合成面部来替代真实身份，但它们通常会丢弃可恢复的身份信息，因此无法支持授权后的重新识别。而基于加密或模板保护的方法则侧重于访问控制和可撤销性，但它们通常是针对加密信号或生物特征模板设计的，而非用于视觉上可用的受保护面部图像。现有的可逆面部混淆方法则介于这两者之间，但通常仅以正确密钥下的恢复质量作为评估标准。因此，本研究要解决的空白在于为移动/物联网应用场景共同设计源端视觉混淆机制、基于密钥条件的可逆恢复机制以及明确的错误密钥抑制机制。在可逆匿名化领域，一个常见的假设是错误的密钥会自然阻止原始身份的恢复。但实际上，训练目标本身并不能保证这一特性。由于优化过程主要限制的是正确密钥下的重建质量，错误密钥路径仍可能与原始身份保持统计相关性。在移动和物联网服务场景中，这种风险尤为重要，因为攻击者可能会截获受保护的图像，临时获取恢复接口的访问权限，或者通过受损的客户端反复测试候选密钥。错误密钥下的重建虽然可能无法完全复原原始面部，但仍能生成视觉上逼真的面部图像，使得下游的识别模型能够从中提取与身份相关的特征。这就产生了一种伪恢复风险，仅依靠视觉重建质量是无法完全衡量这种风险的。从可取消生物特征的角度来看，这一问题与多样性、可撤销性、不可逆性以及性能保持性等要求密切相关[17]。尤其是可撤销性和不可逆性意味着，使用错误密钥或已被撤销的密钥生成的输出不应与原始身份存在关联。然而，现有的可逆面部匿名化方法很少将错误密钥下的身份泄露作为独立的评估维度。例如，有些方法会验证虚拟或匿名化后的身份在错误密钥下是否失效，但并未明确评估原始物理身份是否仍有可能被泄露。总体而言，当前的研究更多关注匿名化强度和正确密钥下的恢复质量，而对错误密钥安全性的专门建模和评估仍然较为有限。除了安全性之外，面向移动设备和物联网的面部隐私保护还面临着隐私强度、视觉可用性、可逆性以及处理成本之间的权衡。资源受限的设备通常具有有限的计算能力、内存、能耗预算以及实时响应能力。因此，实用的解决方案应避免复杂的迭代优化，减少图像传输前的计算量。在这种情况下，源端的前馈式隐私转换比迭代式或复杂的生成流程更为合适。风格迁移为此提供了一种有效的机制：它可以在保留面部结构及视觉可用性的同时，破坏那些对身份敏感的纹理特征。此外，当与基于密钥条件的恢复机制结合使用时，基于风格的隐私生成技术可以将受保护图像的生成与授权后的身份重建分开处理，从而更适合模块化的移动边缘计算架构。需要明确的是，Mobile-SST-RIR的创新之处并不在于将AdaIN、FiLM或多尺度残差结构视为独立的创新组件，这些都是风格迁移和条件生成技术中已有的成熟技术。本文的贡献在于将它们适配并结合起来，用于特定的移动/物联网面部隐私保护场景：采用基于AdaIN的纹理替换技术实现源端身份混淆，故意在AdaIN之后加入FiLM结构以保留依赖密钥的潜在特征，同时通过密钥验证器来控制残差重建过程，从而使授权恢复路径和未授权恢复路径表现出不同的行为。基于上述考虑，本文提出了Mobile-SST-RIR，这是一种针对物联网视觉设备的资源感知型面部图像隐私处理框架，具备基于密钥条件的可逆恢复功能。其核心思路是在图像传输或存储之前将原始面部图像转换为受保护图像，同时仅允许拥有正确密钥的授权用户进行高保真度的图像恢复。该框架采用模块化的移动边缘部署架构：移动设备或物联网设备负责执行前馈式的隐私生成流程，而密钥验证器和重建模块则可由可信的边缘/云服务或安全的应用环境来处理。这样一来，该框架既能在源端降低原始生物特征信息的暴露风险，又能保持授权恢复的功能。本文的主要贡献如下：•我们提出了Mobile-SST-RIR，这是一种面向移动设备和物联网视觉设备的资源感知型面部图像隐私处理框架。该框架将源端隐私生成与基于密钥条件的恢复功能整合到一个统一的生成-重建架构中，从而在图像传输或存储之前降低原始生物特征信息的暴露风险。•我们将成熟的AdaIN残差块和门控跳过连接技术加以改造，构建了一个结构化的基于风格的隐私生成器。这种改造专为源端面部图像保护而设计，能够抑制对身份敏感的局部纹理，同时保留面部的几何结构及视觉可用性。•我们引入了FiLM-after-AdaIN密钥注入机制，以实现基于密钥条件的可逆恢复。其创新点在于将FiLM结构置于AdaIN归一化之后，这样可以避免密钥相关的调制信息被InstanceNorm操作消除，从而更好地保留可解码的潜在特征。•我们设计了一种基于密钥验证器和双阶段锐化门控的授权感知型重建机制。在训练阶段采用软门控机制以保持梯度传播，而在推理阶段则使用陡峭的Sigmoid函数，从而在正确密钥和错误密钥下的恢复结果之间形成更清晰的区分。•我们将错误密钥下的重建结果纳入明确的评估和风险分析范畴。我们在像素空间和身份嵌入空间都引入了EWKCS约束，并在黑盒攻击、有限查询攻击以及重复查询的白盒攻击场景下分析了系统的安全边界。•我们还给出了移动/物联网部署方案以及初步的资源感知型复杂度分析结果，包括分阶段的参数数量、FP32格式的参数内存占用情况，以及生成和重建流程的延迟和帧率估算值。本文的其余部分安排如下：第2节回顾相关研究文献，第3节详细介绍所提出的方法，第4节阐述实验设置、结果及分析，第5节总结全文并探讨未来研究方向。

片段摘录：面部识别与面部隐私保护：深度面部识别技术在LFW[1]、[2]等测试集上的表现已超越人类水平，但其大规模应用也带来了严重的隐私泄露风险。作为不可更改的生物特征，面部信息一旦被泄露，就可能对个人的权益造成不可逆转的损害[3]。现有的面部隐私保护技术主要沿着两个方向发展：不可逆匿名化技术和可逆面部匿名化技术[18]。不可逆匿名化技术用于保护隐私。所提出的方法：为解决现有可逆面部匿名化方法在隐私强度、视觉保真度以及授权恢复能力之间存在的内在矛盾，以及缺乏对错误密钥恢复路径的明确约束问题，我们提出了SST-RIR。与传统基于像素级变换、虚拟身份替换或潜在空间扰动的方法不同，SST-RIR通过三种关键机制实现非对称的隐私保护功能：（i）用于……的数据集：我们在大规模的CelebA面部数据集以及WikiArt艺术风格数据集上对所提出的方法进行了评估。CelebA数据集包含来自10,177个不同身份的202,599张面部图像。按照标准流程，我们按索引对这些图像进行排序，其中前50,000张图像用于训练，索引从50,000到60,000的图像用于超参数调整和模型选择，其余图像则用于进一步的测试。所有图像都被调整为128×128像素的大小，并进行了标准化处理。

结论与未来工作：本文提出了Mobile-SST-RIR，这是一种针对物联网视觉设备的资源感知型面部图像隐私处理框架，具备基于密钥条件的可逆身份恢复功能。该框架在传输或存储之前将原始面部图像转换为受保护图像，从而降低源端的生物特征信息暴露风险，同时在提供有效密钥时允许恢复授权身份。这一设计适用于智能手机认证、移动设备等物联网视觉应用场景。作者声明，在本手稿的撰写、准备、修订或编辑过程中未使用任何生成式AI或AI辅助技术。未引用的参考文献：图4.C缺失。CRediT作者贡献说明：张雄——撰写——初稿、方法论、概念设计；傅宇——撰写——审阅与编辑、资金获取；王涛——调研、数据整理；蒋宗宝——可视化、验证；张明庆——撰写——审阅与编辑、监督。利益冲突声明：作者声明不存在可能影响本文所述工作的已知财务利益或个人关系。张雄|傅宇|王涛|蒋宗宝|张明庆中国湖北省武汉市430000，海军工程大学