跨层频域-空间域特征交互感知融合在细粒度视觉分类中的应用

《Information Fusion》：Cross-layer Frequency-spatial Domain Feature Interaction Awareness Fusion For Fine-Grained Visual Classification

本文提出Traveller框架，结合自回归时间规划和扩散空间建模，通过提取个体时空模式（空间锚点与时间模式）指导轨迹生成，解决无条件扩散模型忽略重复访问、运动范围和时空规律的问题，实验证明其生成的轨迹在时空准确性和下游任务实用性上达到最优，同时保障隐私。

　　在现代社会中，城市作为人类社会的核心节点，经历了文化、经济、政治和技术等多方面的深刻变革。随着城市化进程的加快，城市规模不断扩大，功能也日益复杂，这使得对城市的有效分析、规划和治理面临前所未有的挑战。为应对这些挑战，Urban Computing（城市计算）作为一种新兴的研究范式，正逐渐成为解决城市问题的重要工具。Urban Computing依托于传感技术和大规模计算基础设施，能够从城市环境中产生的海量数据流中提取出具有实际意义的洞察。这一领域的一个关键组成部分是跨域数据融合（Cross-Domain Data Fusion），它涉及整合来自多个领域的异构大数据，例如环境传感器数据、基础设施使用数据和人类移动数据等。这些数据的整合有助于更全面地理解城市运行机制以及人类行为与城市空间之间的互动关系。

在众多跨域数据中，人类移动数据尤为重要，尤其是对个体日常活动路径的详细记录。这些路径不仅反映了个人的出行习惯，也揭示了城市空间结构、交通网络和社交模式等深层次信息。然而，获取高质量、大规模的个体级移动数据仍然是一个昂贵且受限的过程，主要原因包括隐私保护法规的限制以及数据采集技术的局限性。因此，合成数据技术，如轨迹生成（Trajectory Generation, TG），成为解决这一问题的关键手段。轨迹生成不仅能够作为数据生成器，还能作为移动模拟引擎，广泛应用于数字孪生模拟、犯罪风险评估、交通优化以及疫情控制等领域，同时通过合成数据保障了隐私安全。

近年来，生成模型在轨迹生成任务中展现出巨大的潜力。最初，机制驱动的模型通过捕捉人类移动的统计规律来模拟路径，这类模型通常依赖于少量具有物理意义的参数。例如，探索与偏好返回（Exploration and Preferential Return, EPR）模型通过平衡探索行为和重复访问行为来生成轨迹。然而，随着深度学习技术的发展，轨迹生成逐渐转向基于深度学习的模型，如生成对抗网络（GANs）和扩散模型（Diffusion Models）。这些模型能够更有效地捕捉复杂的时空依赖关系，从而生成更加真实和多样化的移动轨迹。其中，扩散模型因其在图像和视频生成中的出色表现，也逐渐被应用于轨迹生成任务，展现出在准确捕捉复杂空间移动模式方面的强大能力。

尽管生成模型在轨迹生成中取得了显著进展，但它们仍然面临一些挑战，尤其是在与真实城市居民的移动行为对齐方面。一方面，无条件生成方法，如TraGDM，通常生成的是整体的移动分布，而忽略了个体移动行为中的关键特征，如移动范围、重复访问地点以及时间规律等，这导致生成的轨迹在空间和时间上存在不一致性。另一方面，一些方法尝试通过引入轨迹语义来增强生成效果，如通过精确的活动类型（如在家、工作、购物等）或推断出的基本活动序列（如家-工作-其他地点）来引导轨迹生成。然而，这些方法通常需要大量的手动标注数据，而现实中的大规模个体移动数据往往仅包含原始的时空信息，缺乏语义标注。此外，一些基于语义的方法仍然依赖真实数据进行生成，这在一定程度上影响了其隐私保护能力。

为了解决上述问题，我们提出了一种新的轨迹生成框架——Traveller，该框架通过将自回归的移动模式建模（Autoregressive Temporal Planning, AR-TempPlan）与基于扩散的轨迹生成（Travel-Pattern Conditioned Diffusion, TravCond-Diff）相结合，实现了对个体移动行为的更精确模拟。Traveller的核心思想是，通过从轨迹数据本身提取出特定的移动模式，而不依赖于外部的语义标签，从而在生成轨迹时能够更自然地反映真实个体的时空特征。具体来说，我们定义了两个关键组成部分：空间锚点（spatial anchor）和时间模式（temporal modes）。空间锚点通常指的是个体的家地点，而时间模式则通过自回归模型生成，表示个体在不同时间点上可能访问的地点序列。

在Traveller框架中，AR-TempPlan模型负责生成时间模式，即个体在不同时间点上访问地点的顺序。这一过程基于自回归模型的优势，能够有效捕捉时间序列中的动态变化和行为规律。通过时间模式，我们不仅能够预测个体接下来可能访问的地点，还能够确保生成的轨迹在时间维度上保持连贯性。与此同时，TravCond-Diff模型则利用这些时间模式和空间锚点，引导空间生成过程。该模型通过离散的扩散过程来模拟个体在城市空间中的移动路径，能够更精确地反映个体在不同地点之间的转移模式。为了进一步提升生成轨迹的时空一致性，我们引入了Travel-Pattern Diffusion Transformer（TravDiT）模块，该模块通过MeanClamp操作对生成过程进行去噪，从而确保轨迹在空间和时间上与真实数据保持一致。

Traveller框架的创新之处在于，它能够通过自回归模型和扩散模型的协同作用，生成既符合时空规律又具备隐私保护能力的轨迹数据。具体而言，AR-TempPlan模型通过自回归机制捕捉个体在时间维度上的行为模式，而TravCond-Diff模型则利用这些模式和空间锚点，在空间维度上进行精确建模。这种双重引导机制使得生成的轨迹不仅在时间上具有连贯性，而且在空间上也能够反映出真实个体的移动特征。更重要的是，Traveller不依赖于任何敏感的个体级数据，而是通过从轨迹数据中学习到的模式进行生成，从而有效避免了隐私泄露的风险。

在实验部分，我们使用了来自中国两个大城市的实际移动数据集——北京和深圳。这两个城市具有不同的城市结构和移动特征，北京以其同心圆结构和相对稳定的移动模式著称，而深圳则呈现出多中心结构，并沿东西轴线发展，形成了带状的空间布局。通过在这些数据集上的测试，我们验证了Traveller在生成高质量轨迹数据方面的有效性。实验结果表明，Traveller在时空一致性方面表现出色，生成的轨迹能够准确反映真实个体的移动行为，同时在下游任务（如下一个地点预测）中也展现出与真实数据相当的实用性。

此外，Traveller的隐私保护特性也得到了充分验证。由于该框架不依赖于任何个体级的敏感信息，而是通过学习轨迹数据中的模式来生成新的轨迹，因此它能够有效避免隐私泄露问题。这使得Traveller在应用于城市规划、交通管理、疫情防控等敏感领域时具有显著的优势。例如，在疫情防控中，生成的轨迹数据可以用于模拟疫情传播路径，从而为公共卫生决策提供支持，而无需访问个人的详细移动记录。

总的来说，Traveller不仅在生成高质量轨迹数据方面取得了突破，还在隐私保护方面提供了新的解决方案。它通过自回归模型和扩散模型的协同作用，实现了对个体移动行为的更精确模拟，同时避免了传统方法在数据依赖性和隐私风险方面的不足。这一框架为城市计算中的跨域数据融合提供了新的思路，也为未来的研究和应用奠定了坚实的基础。未来的工作可以进一步探索Traveller在不同城市结构和移动模式下的适用性，以及如何将其与其他数据生成技术相结合，以实现更全面的城市模拟和分析。