面向三维点云的语义隐私保护与效用保持框架

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Semantic Privacy Protection with Utility Preservation for 3D Point Clouds

　　

点云数据在采集、传输和跨机构共享过程中面临严重的语义隐私风险。现有方法大多依赖几何扰动或破坏性加密，虽可降低原始类别的可识别性，但往往损害下游可用性。本文提出一种基于类别迁移的点云语义加密框架，旨在隐藏原始类别信息的同时保持任务效用并支持授权恢复。具体而言，研究人员构建了一个具有共享主干归一化流（Normalizing Flow）的统一潜空间，并结合低秩适应（LoRA）与特征级调制（FiLM）实现参数高效的类别条件自适应。进一步引入扩散引导流对齐（Diffusion-Guided Flow Alignment, DGFA）以正则化潜分布，构建基于能量的类别迁移图（Category Transition Energy Graph），并通过全局匹配获得最优类别迁移表。随后，潜空间中的神经常微分方程（Neural ODE）将源类别潜变量连续演化为目标类别潜变量，再经逆流解码为目标类别点云。研究人员采用面向攻击者的评估指标，包括新类别识别率（New-Class Recognition Rate, NCRR）、原始类别泄露率（Original-Class Leakage Rate, OCLR）和原始标签恢复率（Original Label Recovery Rate, OLRR），以评估隐私保护与效用保持性能。在分类与分割基准上的实验表明，所提方法实现了可控的语义变换，有效降低了原始类别语义泄露，保持了受保护域中的下游可学习性，并支持可靠的授权重建。

一、研究背景与问题提出

三维点云深度学习近年来在自动驾驶、机器人感知、工业检测和三维重建等任务中取得了快速发展。随着激光雷达等三维传感技术的进步，现代传感设备能够捕获高精度真实环境点云，点云已成为分类、分割、定位和三维重建等任务的核心数据表示。然而，点云数据往往包含大量敏感信息，如行人、车辆及详细环境结构。当这些数据被上传至云端、与第三方平台共享或用于跨机构协同训练时，未经授权的访问、分析或重训练可能导致隐私泄露和商业信息暴露。

现有二维图像领域的隐私保护方法主要包括：移除敏感属性或替换特征的内容保护方法、构造对抗样本干扰模型学习的对抗方法，以及采用差分隐私和同态加密等密码学技术。然而，由于数据表示的根本差异，这些方法难以直接迁移到三维点云。点云不仅是离散且无序的三维几何样本，其隐私风险往往并非源于局部像素或局部属性，而是源于整体对象类别语义及其空间结构。

现有三维点云隐私保护方法主要通过坐标打乱、噪声注入、光学混沌加密或混合密钥机制来降低原始点云的可识别性。然而，这类方法通常会破坏几何结构，从而削弱受保护数据在下游任务中的可用性。王等人提出的不可学习三维点云方法虽然能在一定程度上抑制原始类别识别，但往往牺牲受保护数据的结构稳定性和下游效用，可控且可逆的语义级点云保护仍未被充分探索。

然而在诸多实际场景中，数据所有者并不需要"彻底破坏点云使其不可用"，而是需要"在防止原始敏感语义暴露的同时，仍允许共享点云用于授权任务"。例如，在协同自动驾驶开发中，点云数据可能需要与第三方感知模型提供商共享以继续训练检测或分割模块；在工业检测和仓储物流中，三维扫描数据需要与协作者共享用于场景理解、缺陷识别或机器人抓取。因此，当隐私风险源于整体类别语义而非局部属性时，仅依赖属性抑制、局部遮挡或破坏性几何变换是不够的。

基于此，研究人员研究了语义级隐私保护问题：给定原始点云样本，目标是将其变换为另一个合理的目标类别表示，而不暴露其原始类别语义，同时尽可能保持下游效用并支持授权恢复原始表示。类别到类别的语义变换将样本从原始类别语义流形迁移到另一个合理的目标类别语义流形，既削弱了共享样本与原始类别之间的直接语义对应关系，降低了原始语义泄露风险，又保持了样本在受保护域中的结构合理性和可学习性。据研究人员所知，这是首个通过类别条件可逆变换实现语义级隐私保护的三维点云语义加密框架。

二、主要关键技术方法

研究人员构建了基于归一化流（Normalizing Flow）的潜空间表示框架，将点云映射到统一潜空间，并在流主干中引入低秩适应（LoRA）和特征级调制（FiLM）实现参数高效的多类别建模。基于类别迁移能量（Category Transition Energy）定义类别间迁移成本，将类别分配建模为最小代价匹配问题，采用匈牙利算法获得最优类别映射表。进一步引入基于神经常微分方程（Neural ODE）的连续可逆流，使样本在类别特定流形间平滑迁移，并通过逆流解码回点云空间。研究人员采用三阶段渐进训练策略：先独立预训练流模型，再冻结流参数训练类别条件扩散模型，最后通过分布对齐损失进行联合微调。

三、研究结果

条件流可逆映射与参数共享。 研究人员构建了基于条件归一化流的点云加密与可逆变换框架，通过类别条件约束实现类内稳定表示和类间清晰可分性。为应对多类别建模中模型参数线性增长的问题，提出基于参数共享的双重调制机制：低秩适应（LoRA）在参数层面实现类别自适应，特征级调制（FiLM）在特征层面提供语义控制。双重级别尺度控制模块确保跨类别可比性和可逆性。语义对比损失和类别嵌入分散正则化进一步增强了类别条件潜空间的结构一致性。

扩散引导流对齐。 针对流模型潜空间缺乏显式语义约束的问题，研究人员提出扩散引导流对齐（DGFA）框架，将扩散模型作为流模型的语义正则化器。扩散模型在流潜空间内学习类别条件分布，通过对称KL散度对齐损失强制流潜结构向扩散模型定义的平滑语义核收敛，在保持几何可逆性的同时提升语义一致性和线性可分性。

类别迁移能量与最优映射。 研究人员定义了类别迁移能量以量化潜空间中类别间迁移成本，通过局部二次假设和线性迁移路径近似，最终表示为类别中心距离与KL散度的加权和。基于所有类别间能量关系构建有向加权图，采用匈牙利算法求解最小权重完美匹配，获得全局最优类别映射表。

类别迁移流与能量守恒。 研究人员引入基于常微分方程的连续流建模，通过神经流场实现类别间平滑迁移。能量守恒约束使流方向与能量梯度近似正交，确保样本沿等能面滑动，保持潜能量结构稳定。分布对齐损失、可逆性一致性损失和局部能量平滑损失联合优化，实现语义连贯、几何可逆且稳定的类别变换。

加密与解密过程。 加密阶段将原始点云编码为潜变量，根据最优类别映射表确定目标类别，沿能量守恒流演化潜变量，再经逆流解码生成加密点云。解密阶段通过时间反向积分和逆类别映射严格恢复原始点云，密钥集包含流参数、神经ODE流参数、能量函数参数和类别映射表。

实验评估。 在ModelNet40、ScanObjectNN和ShapeNetPart基准上的实验表明，所提方法在分类和分割任务中均取得良好性能。在ScanObjectNN和ModelNet40上，加密数据上训练的模型精度与原始数据接近，表明受保护域中的下游可学习性得到保持。新类别识别率（NCRR）显示变换样本有效聚合到目标类别，原始类别泄露率（OCLR）和原始标签恢复率（OLRR）表明原始类别语义泄露得到有效抑制。

四、结论与意义

该论文提出了首个面向三维点云的语义加密框架，通过类别条件可逆变换实现语义级隐私保护。该框架在抑制原始类别语义泄露的同时保持了受保护域中的下游效用，并支持授权恢复。研究为三维视觉中的可信隐私保护提供了新的语义级解决方案，与特刊"可信开放世界视觉识别"主题高度契合，为点云共享场景中的隐私保护与效用保持权衡提供了有效途径。