一种考虑场景和上下文的纹理隐私保护方法,用于摄影测量三维城市模型 周倩文(Qianwen Zhou)、 任娜(Na Ren)、 朱长青(Changqing Zhu)和 蔡敬义(Jingyi Cai)

《Remote Sensing》:A Scene-Context-Aware Texture Privacy-Preserving Method for Photogrammetric 3D Urban Models Qianwen Zhou, Na Ren, Changqing Zhu and Jingyi Cai

【字体: 大 中 小 】 时间:2026年05月09日 来源:Remote Sensing 4.1

编辑推荐:

  **亮点** - 主要发现是什么? - 在多级3D城市模型中,将敏感对象检测的召回率提高了0.42,精确度提高了0.14。 - 通过场景感知重建和多级映射,纹理连续性提高了56.9–79.5%。 **主要发现的意义是什么?** - 提高了隐私保护

  **亮点**
- 主要发现是什么?
- 在多级3D城市模型中,将敏感对象检测的召回率提高了0.42,精确度提高了0.14。
- 通过场景感知重建和多级映射,纹理连续性提高了56.9–79.5%。

**主要发现的意义是什么?**
- 提高了隐私保护3D城市模型的可用性和视觉一致性。
- 为智慧城市应用中的安全数据共享和隐私合规处理提供了有效的解决方案。

**摘要**
纹理隐私保护是实现三维(3D)城市模型安全共享和合规使用的关键技术。然而,由于模型中纹理的碎片化存储,保持隐私保护处理后的视觉连续性仍然是一项具有挑战性的任务。考虑到3D场景内纹理表示的连续性,本文提出了一种基于场景上下文的3D城市模型纹理隐私保护方法。具体来说,首先引入了一个纹理碎片化指标,以自适应地确定敏感目标的最佳检测级别,从而实现敏感区域的准确定位和分割。随后,将与检测区域相关的场景级纹理上下文信息纳入纹理修复策略,实现空间上一致的纹理重建。此外,建立了一个多级纹理金字塔映射机制,以确保模型不同细节级别之间的纹理表示一致性。实验结果表明,与依赖碎片化纹理图的代表性方法相比,所提出的方法将保护后的纹理连续性提高了约56.9–79.5%,显著提升了隐私保护结果的可用性和可靠性。总体而言,这项工作为3D城市模型的隐私保护处理提供了一个新的技术框架,并为智慧城市应用中的安全数据共享提供了新的见解。

**1. 引言**
3D城市模型作为一种地球观测数据,通常由三角形网格和纹理图组成,提供了城市环境的详细表示,并在数字经济应用、智慧城市管理和空间信息服务中发挥着重要作用[1,2,3,4,5]。然而,在实际的数据采集和建模过程中,纹理图不可避免地会捕获敏感信息,包括个人身份、机密设施和关键基础设施细节[6]。未经授权的这些信息泄露可能导致严重的隐私侵犯,甚至对公共和国家安全构成威胁[7,8,9,10]。因此,对数据共享越来越严格的法规大大限制了大规模3D城市数据集的利用,凸显了有效纹理隐私保护技术的迫切需求。

**纹理隐私保护的目标**
通过检测和修改来消除敏感内容的可识别性,同时保持原始数据的可用性[11,12,13,14]。早期的方法主要依赖于手动编辑,这对于大规模数据集来说效率低下且不切实际。随着计算机视觉的进步,基于对象检测和图像修复的自动化方法已被广泛采用[15,16,17]。然而,由于3D城市模型的独特结构特性,直接将这些技术应用于3D城市模型仍然具有挑战性。

**3D城市模型的特点**
通过倾斜摄影测量生成的3D城市模型由大量不规则的三角形网格组成,通常采用分层的细节级别(LOD)结构组织,不同级别对应不同的空间分辨率和纹理粒度。在重建过程中,纹理图像被分割成许多独立的纹理块,导致纹理表示高度碎片化[18,19]。如图1所示,虽然简单的几何表面可以映射到连续的纹理域,但3D城市模型中的纹理表现出不连续的空间分布。此外,如图2所示,不同LOD级别的纹理特征差异显著:较高级别提供更详细的细节,但碎片化更严重;而较低级别保留了更完整的上下文信息,但分辨率不足。由于纹理恢复严重依赖于上下文信息,这些特性给实现视觉上连贯的隐私保护结果带来了挑战。

**3D城市模型中的隐私保护研究**
最近关于3D城市模型隐私保护的研究可以大致分为三类:基于纹理伪装的方法、基于多视图图像的方法和基于纹理图的方法。

- **基于纹理伪装的方法**
旨在通过将敏感目标融合到周围背景中来降低其视觉显著性[20,21,22,23,24]。例如,Guo等人提出了GANmouflage,它使用神经隐函数学习连续3D空间中的纹理分布,以实现视角依赖的视觉伪装[22]。然而,这些方法主要在渲染层面操作,并不能在数据层面不可逆地移除或替换敏感纹理,存在敏感信息恢复的风险。

- **基于多视图图像的方法**
在数据采集阶段(如无人机或倾斜摄影测量)捕获的图像上执行敏感内容检测和修改,然后再进行3D重建[25,26,27,28,29]。例如,Li等人将语义分割网络与生成对抗网络结合,自动检测和修复多视图图像中的隐私敏感区域[26]。尽管这些方法有效防止了敏感信息出现在重建模型中,但它们需要访问原始图像,因此不能直接应用于现有的3D城市模型,限制了其实际应用性。

- **基于纹理图的方法**
直接在从3D模型导出的2D纹理图上操作,具有很强的适用性和数据级安全性[30,31,32,33]。例如,Xu等人将YOLOv5s与PatchMatch结合,用于执行敏感目标检测和纹理替换,证明了这种方法的可行性[32]。然而,这些方法独立处理碎片化的纹理块,忽略了3D场景中的空间关系,常常导致明显的视觉不连续性和不同LOD级别之间的恢复不一致性。

**总结**
基于纹理伪装的方法提供有限的数据级安全性,而基于多视图图像的方法适用性受限。尽管基于纹理图的方法应用广泛,但由于纹理表示的碎片化,它们难以保持空间连续性和层次间的一致性。因此,从碎片化纹理构建连续的纹理表示并确保多个LOD级别之间的一致纹理恢复仍然是一个关键挑战。

**本文的结构**
为了解决这些问题,本文提出了一种基于场景上下文的3D城市模型纹理隐私保护方法。该方法建立了3D场景几何与连续纹理表示之间的映射,实现了基于场景上下文和空间连贯的纹理重建。具体来说,引入了一种考虑碎片化的检测策略来选择适当的纹理级别,设计了一种基于场景的重建方法以实现上下文一致的恢复,并采用了一种多级映射机制来在不同LOD级别之间传播重建的纹理。实验结果表明,与现有方法相比,所提出的方法有效去除了敏感内容,同时显著提高了视觉连续性。

**本文的其余部分安排如下**:第2节介绍所提出的方法;第3节报告实验结果和分析;第4节和第5节分别进行讨论和结论。

**2. 材料与方法**
**2.1. 所提出方法的概述**
3D城市模型通常组织为分层结构,每个节点存储几何信息和相关的纹理图。对这些模型的纹理隐私保护涉及两个基本任务:敏感内容定位和敏感内容移除。现有方法通常在单个节点内的2D纹理图上独立执行检测和修复。然而,这种范式忽略了3D场景中纹理的空间关系,常常导致视觉连续性下降和不同LOD级别之间的结果不一致。

**2.2. 考虑碎片化的检测策略**
敏感对象检测是纹理隐私保护的前提,旨在在复杂的多级纹理数据中准确定位与隐私相关的目标。在本研究中,敏感对象指的是包含隐私相关信息的场景元素,如车牌和文字标志。采用预训练的对象检测模型作为前端组件,提供初步的定位结果。此外,通过对公开可用的数据集和从摄影测量3D城市模型收集的领域特定样本进行轻量级微调,进一步适应目标领域。这些样本被手动注释以包含与城市场景相关的隐私相关类别。

**2.3. 碎片化感知检测策略**
敏感对象检测是纹理隐私保护的前提,旨在在复杂的多级纹理数据中准确定位与隐私相关的目标。在本研究中,敏感对象指的是包含隐私相关信息的场景元素。采用预训练的对象检测模型作为前端组件,提供初步的定位结果。然后,通过对这些样本进行轻量级微调,进一步适应目标领域。

**2.4. 纹理重建**
为了实现纹理隐私保护,需要准确定位与隐私相关的目标。在检测到敏感区域后,利用3D几何约束建立连续的上下文表示,实现高质量的纹理恢复。该策略避免了在多个纹理片段上进行冗余处理,显著降低了计算成本,同时提高了重建的一致性。为了生成高质量的纹理恢复场景图像,必须满足两个关键要求:(1)敏感区域应完全可见,以避免遮挡;(2)应保留足够的空间分辨率,以防止在投影过程中丢失细粒度纹理细节。为了满足这些要求,基于敏感区域的几何特性构建了一个正交投影坐标系,如图4所示。具体来说,在执行检测阶段(第2.2节)时,场景渲染阶段优先访问最高可用细节级别的纹理数据。这种设计将检测效率与重建质量分离,使得该方法能够同时实现降低计算成本和高分辨率纹理重建。图4. 场景纹理图像的生成。检测到的中文文本对应于“高压油管”。从第2.2节的检测结果开始,首先将2D敏感对象掩码映射到3D空间中,以获得相应的空间区域。基于提取的敏感三角形集,构建一个局部平面近似来描述该区域的几何结构。具体来说,使用最小二乘法将平面拟合到三角形顶点上,并导出单位法向量来表示局部表面方向。基于这种几何表示,定义了一个虚拟的正交相机。选择敏感区域的3D边界框的中心作为参考点,确保相机朝向目标方向。为了获得正面平行观察并最小化几何失真,相机沿着拟合平面的法线方向定位:(5) 其中表示相机位置,是沿法线方向的自适应偏移距离。在本研究中,根据边界框的空间范围成比例确定。这种设计确保敏感区域在相机视野内完全可见,同时避免过度缩放失真。由于正交投影消除了透视效应,观察体积被定义为一个以参考点为中心的矩形窗口。其大小根据敏感区域的空间范围确定,并增加了一个额外的边距:(6) 其中是经验缩放因子,设置为1.5。这种设计确保敏感区域在相机视野内完全可见,同时避免过度缩放失真。由于正交投影消除了透视效应,观察体积被定义为一个以参考点为中心的矩形窗口。其大小根据敏感区域的空间范围确定,并增加了一个额外的边距:(7) 其中是缩放因子,设置为1.5,和分别表示敏感目标在中的宽度和长度。这保证了投影图像完全覆盖目标及其周围环境。在构建的正交坐标系下,执行场景渲染以获得连续的图像。在此过程中,优先使用最高可用细节级别的纹理数据,以确保渲染图像保留最大的空间分辨率和细粒度纹理细节。与直接处理碎片化的2D纹理图相比,渲染的场景图像提供了敏感区域及其周围环境的紧凑、连续且语义上连贯的表示。这显著减少了冗余和无关信息的内容,同时为后续重建提供了更强的上下文约束。然后将渲染的场景图像输入到2024年发布的预训练修复网络BrushNet [35]中执行纹理恢复,得到最终的修复结果。总体而言,这种设计将碎片化的纹理表示转换为统一的基于场景的表示,实现了高效和高质量的纹理重建,同时保持了空间连续性和计算效率。2.4. 多级稳定映射由于3D城市模型在不同级别上的纹理分辨率和碎片化程度存在固有差异,单独在每个级别进行纹理替换通常会导致明显的级别间不一致性。为了解决这个问题,整个模型被构建为一个层次化的纹理金字塔,并提出了一种多级稳定映射策略,以确保所有级别上的纹理重建全局一致。与在每个级别独立进行修复的传统方法不同,所提出的方法仅在选定的检测级别(第2.2节)使用场景感知上下文(第2.3节)进行一次纹理重建,然后通过几何引导的无缝重投影机制将重建结果传播到其他级别。这种设计有效地避免了冗余的修复操作,并提高了计算效率。所提出策略的一个关键特点是纹理更新在像素级别而不是三角形级别进行,从而实现了细粒度和无缝的重建纹理集成。具体来说,对于每个节点,首先遍历所有相关的三角形面,根据它们与检测到的敏感区域的空间关系来识别敏感三角形:(8) 其中表示三角形的空间坐标,表示敏感目标边界框,是体积交集比。如果满足条件,则认为该三角形包含敏感纹理信息,并被选为纹理替换对象。对于选定的三角形,使用第2.3节中建立的正交相机参数将其UV坐标映射到场景图像中的像素坐标。根据相应的场景掩码,进一步识别出位于敏感区域内的像素。只有满足掩码约束的像素才会被更新,确保纹理替换仅限于精确的敏感区域,而不是整个三角形。然后执行纹理更新:(9) 其中表示当前节点的纹理图,表示UV坐标处的像素值,是重建场景图像中相应的像素值。通过三角形选择和像素级掩码过滤的联合约束,重建的纹理被无缝重投影到原始3D表面上。与传统的三角形级别替换策略相比,这种方法有效地消除了边界伪影,并避免了区域过渡处的视觉不连续性。最后,重建的纹理在层次结构中的所有相关级别上一致地传播,确保相同的敏感区域在整个模型中得到统一更新。这种多级映射策略不仅保持了全局纹理一致性,还减少了冗余计算,从而提高了视觉一致性和计算效率。3. 实验与分析3.1. 实验数据集为了评估所提出的隐私保护方法的安全性及其保持场景级视觉连续性的能力,选择了来自不同地理区域的三个3D城市模型作为实验数据集。这些数据集展示了多样的数据规模和场景复杂性,从而涵盖了实际应用中常见的代表性特征。数据集的基本信息和可视化结果分别在表1和图5中呈现。数据集坐标采用CGCS2000坐标系定义,并以OSGB格式存储。在3D坐标系中,X轴对应东方,Y轴对应北方,Z轴对应向上方向。表1. 实验数据集信息。图5. 实验数据集。为了定量评估检测性能,为所有实验数据集构建了敏感目标的真实注释。具体来说,根据它们对应的3D空间位置,在纹理图像上手动注释敏感区域。注释过程遵循标准的对象检测协议,其中定义边界框以紧密包围敏感区域。这些注释用于计算第3.3节中的指标。所有实验都在配备Windows 11、Intel? Core? i7-13700(第13代)CPU、64 GB RAM和NVIDIA GeForce RTX 3090 GPU的工作站上进行。所提出的方法使用C++和Python 3.9实现,并在整个实验过程中启用了GPU加速,以确保计算效率。为了系统地评估所提出框架中每个关键组件对隐私保护性能的贡献,设计了两种比较算法。比较算法A采用了Xu等人(2023年)[32]提出的基于2D纹理的隐私保护方法,称为AL. A。该方法使用非深度学习的PatchMatch算法在碎片化的纹理区域内进行纹理修复。比较算法B是从所提出的框架中移除了场景感知策略和多级一致性映射模块,同时保留了基于深度学习的敏感目标修复组件。该算法表示为AL. B,用于分析场景感知和多级映射带来的性能提升。3.2. 评估指标为了全面评估所提出方法的有效性,考虑了三个方面:(1)敏感目标检测准确性;(2)场景纹理视觉连续性;(3)隐私保护结果的安全性。相应的评估指标定义如下。3.2.1. 敏感目标检测指标准确检测和定位敏感目标是确保隐私保护处理的完整性和安全性的基础。在本研究中,使用召回率、精确度和交并比(IoU)来评估检测性能。召回率衡量检测的完整性,定义为:(10) 其中表示正确检测到的敏感目标数量,表示敏感目标的总数。接近1的召回率表示较低的漏检率,因此具有更高的隐私保护安全性。精确度通过测量所有检测中正确检测到的目标的比例来评估检测的可靠性:(11) 其中表示错误检测到的敏感纹理区域。为了进一步评估空间定位准确性,采用了IoU指标:(12) 其中表示敏感目标检测边界框的体积,表示真实边界框的体积。接近1的IoU值表示正确分割的敏感区域比例更高,从而实现更完整的检测和更彻底的隐私保护处理。3.2.2. 场景纹理视觉连续性指标视觉连续性对于保持隐私保护3D城市模型的感知质量和可用性至关重要。在本研究中,从两个方面进行评估:空间视觉连续性和级别间一致性。为了量化空间连续性,引入了边界梯度一致性(BGC)指标:(13) 其中表示输入图像,表示梯度幅度图,表示像素坐标。和分别表示内外边界带内的像素数量。较低的BGC值表示处理区域和未处理区域之间的过渡更加平滑。为了评估级别间一致性,采用了学习感知图像块相似性(LPIPS)指标:(14) 其中和表示要比较的两张图像,索引网络层,和表示特征图的高度和宽度,是学习到的权重向量,是归一化的特征表示。LPIPS衡量深度特征空间中纹理图像的感知差异,有效反映了人类对纹理变化的敏感性。LPIPS值的范围是从0到1,其中较小的值表示更高的感知相似性。3.2.3. 修复后敏感目标重新检测指标为了从机器感知的角度评估隐私保护结果的安全性,引入了重新检测率(RD)。RD衡量处理后是否仍能识别敏感目标。具体来说,将预训练的对象检测器应用于修复后的纹理,并降低置信度阈值以提高对残余线索的敏感性。在初始检测阶段,采用0.75的置信度阈值以确保敏感目标的高精度定位,从而避免不必要的纹理修改。相比之下,在重新检测阶段,阈值降低到0.60。这种调整旨在提高检测器对修复后可能仍然存在的弱残余特征的敏感性。通过放宽置信度约束,检测器更有可能识别出虽然视觉上不显著但可能仍包含可利用线索的可疑区域。在这种设置下,RD定义为:(15) 其中表示敏感目标的总数,表示在隐私保护处理后重新检测为疑似敏感区域的原始敏感目标区域的数量。较低的RD表示更有效地移除了敏感特征,而接近零的RD表明纹理隐私保护结果的安全性更高。3.3. 结果与分析3.3.1. 敏感目标检测准确性3D城市模型表现出明显的多级特征。为了分析不同级别上的敏感目标检测准确性,根据建模粒度将测试数据集分为三个级别区间:低级别(L17–L18)、中级别(L19–L21)和高级别(L22–L24)。对每个级别区间进行了敏感目标检测的统计分析。如表2和图6所示,AL. A和AL. B的召回率主要集中在0.60–0.85范围内。最小召回率分别限制在0.57和0.59,表明有明显的漏检现象。这种现象可以归因于AL. A和AL. B在每个级别上独立进行敏感目标检测。随着级别的提高,纹理分辨率得到改善,但纹理碎片化问题变得更加严重。因此,低级别的场景由于分辨率不足容易导致检测遗漏,而高级别的场景则容易因为纹理高度碎片化而出现检测失败。表2显示了敏感目标检测的召回率。图6展示了(a) AL.A、(b) AL.B和(c) 所提出方法的召回率。相比之下,所提出的方法引入了一种考虑碎片化的自适应检测级别选择策略,使得在纹理分辨率和完整性相对平衡的级别上能够进行敏感目标检测。实验结果表明,所提出方法在所有测试数据集上实现的最小召回率为0.94,最大召回率达到了1.00,表明可以高完整性和可靠性地检测到敏感目标。如表3和图7所示,精确度值进一步揭示了各方法在检测可靠性方面的差异。与召回率分析类似,AL.A和AL.B在每个级别上独立进行检测,这使得它们对不同细节层次(LOD)的纹理质量变化非常敏感。具体来说,在较低级别上,相对较低的纹理分辨率导致特征表示不足,使得背景纹理更有可能被错误地识别为敏感目标,从而增加了误报的数量,精确度值也随之降低。相比之下,所提出的方法在所有数据集和级别上保持了较高的精确度。这表明该方法有效地抑制了误报,同时确保了敏感目标的准确定位。结果证明,所提出的考虑碎片化的检测策略不仅提高了检测的完整性,还通过减少错误响应来增强了检测的准确性。表3显示了敏感目标检测的精确度。图7展示了(a) AL.A、(b) AL.B和(c) 所提出方法的精确度。表4和图8从空间分割准确性的角度进一步分析表明,AL.A和AL.B在不同级别上的空间定位存在显著波动,表明分割结果在不同级别之间不一致。低级别和高级别的IoU值主要分布在0.50–0.70范围内,表明部分敏感区域没有参与到隐私保护过程中。相比之下,所提出的方法通过空间聚合检测结果和多级一致映射有效地提高了空间分割准确性。实验中,不同级别的IoU值分别达到了0.99、1.00和0.95,与对比算法相比提高了超过7.5%,并且在不同级别上保持稳定。这些结果表明,所提出的方法实现了敏感目标的高精度空间定位,并有效确保了安全性,这与之前的理论分析一致。表4显示了敏感目标检测的IoU值。图8展示了(a) AL.A、(b) AL.B和(c) 所提出方法的IoU值。

3.3.2. 场景纹理视觉连续性
隐私保护纹理的视觉连续性不足不仅会降低3D场景的整体表现,还可能引起处理区域的异常视觉感知,从而增加敏感区域被重新识别的风险。这种伪影严重损害了隐私保护3D城市模型的可用性和可信度。从3D场景感知和多级渲染的角度来看,场景纹理的视觉连续性可以通过两个方面来表征:空间视觉连续性和层级间一致性。空间视觉连续性反映了重建区域与其周围纹理之间的平滑过渡,而层级间一致性描述了同一敏感目标在不同细节级别上的重建结果的一致性,这对于连贯的多尺度渲染至关重要。为了全面评估所提出的方法,进行了定性和定量分析。从定性角度来看,选择了三个具有代表性的敏感目标:(a) 模型A中的限高标志,(b) 模型A中的建筑文字,以及(c) 模型C中的建筑招牌。原始敏感目标如图9所示,AL.A、AL.B和所提出方法在多级渲染下的隐私保护结果分别列在表5、表6和表7中。表5显示了敏感目标(a)的隐私保护对比。表6显示了敏感目标(b)(“高压油管”)的隐私保护对比。表7显示了敏感目标(c)(“JD No.1”建筑招牌)的隐私保护对比。由于3D城市模型中纹理的碎片化存储特性,2D纹理图像通常包含大量无意义的黑色区域。在这种情况下,AL.A采用2D纹理图像作为重建上下文,PatchMatch算法依赖于局部块传播。结果,非信息性的块经常被引入到重建区域,导致明显的噪声伪影,如目标(a)和(c)所示。此外,在纹理缺失区域较大的情况下,AL.A难以重建细粒度纹理结构,产生块状伪影,实际可用性有限。相比之下,所提出的方法在所有数据集和级别上保持了较高的精确度。这表明该方法有效地抑制了误报,同时确保了敏感目标的准确定位。结果表明,所提出的考虑碎片化的检测策略不仅提高了检测的完整性,还通过减少错误响应来提高了检测的准确性。表3显示了敏感目标检测的精确度。图7展示了(a) AL.A、(b) AL.B和(c) 所提出方法的精确度。表4和图8进一步分析表明,AL.A和AL.B在不同级别上的空间定位存在显著波动,表明分割结果在不同级别之间不一致。低级别和高级别的IoU值主要分布在0.50–0.70范围内,表明部分敏感区域没有参与到隐私保护过程中。相比之下,所提出的方法通过空间聚合检测结果和多级一致映射有效地提高了空间分割准确性。实验中,不同级别的IoU值分别达到了0.99、1.00和0.95,与对比算法相比提高了7.5%以上,且在不同级别上保持稳定。这些结果表明,所提出的方法实现了敏感目标的高精度空间定位,并有效确保了安全性,这与之前的理论分析一致。表4显示了敏感目标检测的IoU值。图8展示了(a) AL.A、(b) AL.B和(c) 所提出方法的IoU值。

3.3.2. 场景纹理视觉连续性
隐私保护纹理的视觉连续性不足不仅会降低3D场景的整体表现,还可能引起处理区域的异常视觉感知,从而增加敏感区域被重新识别的风险。这种伪影严重削弱了隐私保护3D城市模型的可用性和可信度。从3D场景感知和多级渲染的角度来看,场景纹理的视觉连续性可以通过两个方面来表征:空间视觉连续性和层级间一致性。空间视觉连续性反映了重建区域与其周围纹理之间的平滑过渡,而层级间一致性描述了同一敏感目标在不同细节级别上的重建结果的一致性,这对于连贯的多尺度渲染至关重要。为了全面评估所提出的方法,进行了定性和定量分析。从定性角度来看,选择了三个具有代表性的敏感目标:(a) 模型A中桥梁上的限高标志,(b) 模型A中的建筑文字,以及(c) 模型C中的建筑招牌。原始敏感目标如图9所示,AL.A、AL.B和所提出方法在多级渲染下的隐私保护结果分别列在表5、表6和表7中。表5显示了敏感目标(a)的隐私保护对比。表6显示了敏感目标(b)(“高压油管”)的隐私保护对比。表7显示了敏感目标(c)(“JD No.1”建筑招牌)的隐私保护对比。由于3D城市模型中纹理的碎片化存储特性,2D纹理图像经常包含大量无意义的黑色区域。在这种情况下,AL.A使用2D纹理图像作为重建上下文,PatchMatch算法依赖于局部块传播。结果,非信息性的块经常被引入到重建区域,导致明显的噪声伪影,如目标(a)和(c)所示。此外,在纹理缺失区域较大的情况下,AL.A难以重建细粒度纹理结构,产生块状伪影,实际可用性有限。与AL.A相比,AL.B用基于深度学习的BrushNet替换了PatchMatch,这在一定程度上改善了局部纹理重建。然而,由于修复过程仍然依赖于2D纹理图像,场景级别的视觉连贯性仍然不足。具体来说,对于敏感目标(a),修复区域与其周围场景严重分离,出现大规模的视觉伪影。对于敏感目标(b),局部纹理发生扭曲,墙体结构变得不连续。对于敏感目标(c),不同级别之间存在显著差异。总体而言,AL.B的隐私保护结果在视觉上仍然明显,限制了其适用性。相比之下,所提出的方法利用场景纹理作为修复上下文,在所有级别上完全移除了敏感信息,同时保持了与周围环境的连贯整合。对于敏感目标(a),修复区域没有伪影;对于敏感目标(b),墙体纹理保持结构连续;对于敏感目标(c),在不同级别上保持了强烈的视觉一致性,没有重新引入敏感内容。总体而言,所提出的方法产生了具有高场景纹理连续性的隐私保护结果,满足了3D城市模型实际应用的要求。从定量角度来看,使用BGC指标评估空间视觉连续性,而使用LPIPS指标评估层级间一致性。表8报告了AL.A、AL.B和所提出方法的BGC统计结果。尽管每个敏感目标的样本数量有限,箱形图有效地揭示了多个级别上BGC值的分布趋势和稳定性。因此,图10展示了BGC对比箱形图。表8显示了BGC结果。图10展示了BGC对比。如表8和图10所示,不同方法的BGC分布存在显著差异。对于敏感目标(a),AL.A和AL.B的BGC值在不同级别上有显著波动,特别是在第22和23级别上有所增加。这表明基于2D纹理的修复方法在较高分辨率下更容易引入边界不连续性。相比之下,所提出的方法在所有级别上保持较低的BGC值,与AL.A和AL.B相比分别平均减少了约56.9%和79.5%。这表明结合场景纹理上下文可以使得修复区域与周围纹理之间的梯度过渡更加平滑。总体而言,所提出的方法不仅显著降低了BGC值,还有效抑制了多个级别上的边界梯度不连续性,从而在隐私保护结果中保持了空间纹理连续性。层级间一致性使用LPIPS指标进行评估。通过比较相同视角下相邻级别的纹理结果,量化了隐私保护处理引入的感知差异。表9报告了不同敏感目标的LPIPS统计结果。表9显示了LPIPS结果(↓表示隐私保护处理后相邻级别之间的感知相似性更高,*表示未应用隐私保护处理)。结果表明,AL.A和AL.B在多个敏感目标上引入了明显的感知不一致性。相比之下,所提出的方法将模型视为分层金字塔,并对修复后的纹理进行精确的多级映射,实现了与原始数据相当甚至更低的LPIPS值。考虑到级别转换本身会引入分辨率和纹理细节的自然变化,仅凭绝对LPIPS值不足以完全描述隐私保护处理的影响。因此,进一步分析了隐私保护处理前后的LPIPS变化,即ΔLPIPS,如图11所示。当ΔLPIPS接近零时,对层级间一致性的影响有限。图11显示了目标(a)、目标(b)和目标(c)的LPIPS变化。如图11所示,AL.A和AL.B在不同级别对之间的ΔLPIPS波动较大,主要为正值,表明这些方法通常放大了相邻级别之间的感知差异,破坏了原有的层次关系。相比之下,所提出的方法产生的ΔLPIPS分布更集中,围绕零或负值。例如,对于敏感目标(a),L20和L21级别之间的LPIPS减少了约13%,对于敏感目标(c),L22和L23级别之间的LPIPS减少了约63%。总之,基于场景感知和多级映射的隐私保护策略有效地缓解了层级间的不稳定性,并为多尺度渲染和应用场景提供了可靠的视觉连续性。

3.3.3. 重新检测到的敏感目标的比率
将3D城市模型分为低、中、高LOD后,敏感目标的重新检测比率总结在表10中,并在图12中进行了说明。表10显示了敏感目标的重新检测比率。图12展示了(a) AL.A、(b) AL.B和(c) 所提出方法的敏感目标重新检测比率。如表10和图12所示,尽管AL.A和AL.B在敏感目标检测方面的召回率表现相当(如3.2.2节所讨论),但它们在纹理重建后的鲁棒性存在显著差异。具体来说,AL.A的重新检测比率明显高于AL.B。例如,在模型C的中等LOD下,检测召回率分别为0.88和0.90(表2),而在纹理修复后,相应的重新检测比率增加到0.14和0.10。这表明AL.A的重建结果仍然包含明显的残余线索,导致敏感信息泄露的风险增加。主要原因在于AL.A采用了基于PatchMatch的纹理修复策略,该策略侧重于局部纹理一致性,但缺乏足够的语义级重建能力。结果,修复区域可能保留了与原始敏感目标相关的隐含结构模式,使其更容易被机器视觉模型重新检测到。相比之下,所提出的方法在大多数数据集和LOD级别上实现了接近零的重新检测比率。这表明,通过准确的敏感目标检测和高质量的纹理重建,重新识别的可能性显著降低。处理后的纹理有效地消除了机器可识别的敏感区域线索,从而满足了安全和可公开共享的3D城市模型的要求。

4. 讨论
4.1. 碎片化程度阈值对准确性和效率的影响
碎片化程度阈值直接决定了检测层的自适应划分。本小节分析了不同碎片化程度阈值设置对所提出方法整体性能的影响,目的是确定适用于实际应用的合理参数范围。为了清晰起见,将纹理碎片化程度阈值表示为FD。为了进行统计分析,使用了实验数据集中总共13,083个节点的纹理图像作为碎片化程度计算的输入。根据公式(16)移除了异常值,然后使用箱形图对有效的FD值分布进行了统计分析和可视化。相应的结果分别列在表11和图13中。公式(16)中,和分别表示FD分布的第一和第三四分位数,而表示四分位数范围。表11显示了FD值。图13显示了不同层次上的最小碎片化程度始终保持在相对较低的水平,而平均和最大FD值随着层次深度的增加而明显增加。这些统计数据显示,当采用平均FD作为衡量每个层次纹理碎片化的标准时,γ值的增加会导致越来越多的高级纹理节点被分类为检测层,从而参与到敏感对象检测中。例如,当γ设置为0.1时,只有到第20层的纹理被纳入检测过程;当γ达到0.4时,实验数据集中的所有层次都被纳入检测范围。从理论角度来看,这表明γ不仅直接影响敏感对象检测的完整性和准确性,还对后续的隐私保护过程的计算成本有显著影响。为了定量验证这些效应,在实验数据集上不同γ设置下评估了敏感对象检测的准确性和效率。相应的结果分别记录在表12、表13和表14中,并在图14中进行了说明。表12显示了召回率;表13显示了IoU(交并比);表14显示了效率;图14展示了碎片化程度阈值对(a)召回率、(b)IoU和(c)效率的影响。如图14所示,当γ从0.1增加到0.2时,检测性能有显著提升,召回率从大约0.5增加到0.9,IoU从约0.6增加到0.9。然而,当γ进一步增加到0.2以上时,检测准确性的提升变得微乎其微,显示出明显的收益递减效应。相比之下,效率与γ呈负相关:随着阈值的增加,参与检测的层次数量也随之增加,导致对象检测网络需要反复处理,从而导致总处理时间的持续增加。总之,尽管提高γ可以在一定程度上增强敏感对象检测的准确性,但隐私保护效率仍然是实际应用中的关键因素。根据实验结果,在实验条件下选择了FD值为0.2,因为它在保持相对较高效率的同时提供了较高的检测准确性。需要注意的是,这个阈值仍然是基于有限数据集得出的经验性选择。未来的工作将致力于开发更系统、数据驱动的自适应参数选择机制,以进一步提高γ确定的科学稳健性。

4.2 不同纹理组织条件下的鲁棒性
尽管第4.1节已经验证了碎片化程度阈值γ在典型OSGB数据集中的有效性,但在实际应用中,3D城市模型的纹理组织(如纹理图谱划分和碎片化程度)可能会因摄影测量重建工作流程和参数设置的不同而显著变化。这些变化可能会影响纹理碎片化的统计分布,从而影响阈值γ的适用性。因此,有必要评估所提出方法在不同纹理组织条件下的适应性和鲁棒性。为此,在保持几何结构和语义信息不变的情况下,我们通过调整与纹理相关的参数构建了四种具有不同纹理组织特征的数据集(见表15)。基于这些数据集,统一应用FD阈值γ=0.2进行敏感纹理目标检测,召回率作为评估指标,实验结果见表16。表16显示,在不同纹理组织条件下,使用γ=0.2进行敏感目标检测能够保持稳定的性能,召回率始终较高。具体来说,当纹理结构更加规则(Datatype=2)时,整体FD分布向下移动;在固定阈值下,更多的层次被纳入检测范围,确保了对敏感目标的充分覆盖,从而保持了检测性能。相反,当纹理碎片化程度显著增加(Datatype=3)时,FD分布向上移动,导致被选中的检测层次减少,可能会略微降低覆盖范围。因此,在偏离典型纹理组织模式的场景中,需要根据应用需求适当提高阈值γ以保持检测效果。当仅改变纹理存储格式(Datatype=4)而不影响FD分布时,检测性能保持不变。这表明所提出的方法对纹理存储格式不敏感。总之,γ=0.2可以被视为一种普遍有效的经验参数,适用于不同类型3D城市模型中的纹理隐私保护任务,并具有良好的泛化能力。同时,在实际应用中,可以根据特定平台特性和纹理组织模式进一步调整该参数,特别是在高度碎片化的场景中,以提高方法的适应性和鲁棒性。

4.3 挑战与未来研究方向
尽管所提出的3D城市模型隐私保护纹理处理方法在安全性和可用性方面已经通过理论分析和实验评估得到了验证,但仍存在改进的空间。从方法论的角度来看,当前的隐私保护策略仍然依赖于在2D纹理图像空间中运行的敏感对象检测范式。这些方法隐含地假设敏感对象在图像空间中表现为连续、完整的区域,并具有稳定的视觉特征。然而,如第2.1节所分析的,3D城市模型中的纹理通常被分割成多个空间不连续的块,并以分布式方式存储。这种结构上的碎片化使得传统的卷积神经网络难以全面感知敏感对象,从而在实际应用中导致漏检或不完整的检测结果。此外,3D场景中的某些类型敏感对象与几何结构有很强的相关性。这些对象在二维纹理空间中往往缺乏稳定且可区分的视觉模式,其区分特征更多地依赖于空间配置、几何关系或高级语义信息。这些要求超出了传统对象检测网络的表示能力。这一限制对当前方法构成了根本性挑战,特别是在准确识别纹理空间中的三维敏感目标和支持几何-纹理协同隐私保护处理方面。基于上述分析,未来研究的一个关键方向是引入更多全局场景感知机制到敏感对象检测和隐私保护工作流程中,从而减少对纯二维纹理表示的依赖。此外,从三维角度来看,探索整合语义信息、几何结构和纹理特征的合作隐私保护方法有望进一步推进3D地理空间数据的隐私保护技术。

5. 结论
解决由于3D城市模型中纹理存储碎片化导致的修复纹理视觉连续性不足的问题仍然是隐私保护处理中的一个关键挑战。通过考虑3D场景渲染过程中的纹理表示连续性,本研究提出了一种场景上下文感知的纹理隐私保护方法。具体来说,建立了3D场景结构与连续2D纹理表示之间的映射,使得可以在全局场景约束下处理碎片化的纹理块。这种设计有效缓解了现有基于纹理图的隐私保护方法中常见的视觉不连续性问题。此外,引入了一种基于纹理碎片化程度的自适应检测层划分策略,以提高敏感对象检测的完整性。通过根据纹理分布特征动态调整检测区域,所提出的机制增强了敏感内容识别的可靠性。实验结果表明,与现有方法相比,所提出的方法显著提高了敏感对象检测的准确性和修复纹理的视觉连续性。特别是,与代表性的基于纹理图的隐私保护方法相比,所提出的方法将修复后的纹理连续性提高了约56.9%-79.5%。这些结果表明,结合场景感知的纹理表示可以有效弥合强数据级隐私保护与3D城市模型中高视觉保真度之间的差距。总体而言,所提出的框架为大规模3D城市模型的隐私保护处理提供了新的视角,并在智慧城市数据共享、数字孪生系统和地理空间数据治理方面展示了强大的应用潜力。未来的工作将探索几何语义和神经渲染技术的集成,以进一步提高复杂3D环境中的隐私保护性能。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号