基于噪声感知的起讫频率张量可解释性增强与可解释移动性聚类（Noise-Aware Explanatory Enrichment of Origin–Destination Frequency Tensors for Interpretable Mobility Clustering）

《Sensors》：Noise-Aware Explanatory Enrichment of Origin–Destination Frequency Tensors for Interpretable Mobility Clustering

　　

本文提出一种噪声感知（Noise-Aware）的迭代方法，通过依次加入解释性变量对初始移动性聚类进行增强。该框架将一次性基于密度的聚类发现与在固定分析总体上的可扩展特征刻画相分离。候选变量仅在其改善预设分布判据并与最新被接受划分保持连续性时才被保留。在来自瓦伦西亚（Valencia）的大规模传感移动性数据集上的评估表明，所提出的架构支持可扩展且可审计的解释性增强，同时保持观测集不变，并明确区分分布可接受性与划分间连续性。

一、研究背景与问题

城市移动性分析通过识别地点间的重复流动，为交通规划、拥堵管理与服务设计提供支撑。保留聚合时空结构而无需直接可识别轨迹的隐私保护型起讫（Origin–Destination）表示具有特殊价值。起讫频率张量（Origin–Destination Frequency Tensor）为时空移动性交互提供了结构化表示。已有研究先后提出基于小波的移动模式提取张量，以及逐步纳入解释性属性并评估其对聚类影响的增量解释性变量增强方法。

前期框架存在三方面局限：噪声观测在每一增强阶段均被保留；HDBSCAN需在数百万条记录上反复执行；密度聚类的持续使用妨碍了在众多候选变量间的自动化。为此，研究人员提出将发现与刻画相分离的框架：HDBSCAN仅执行一次以识别密度支持的观测与参考分辨率；此后每种表示均由BIRCH将固定保留总体压缩为聚类特征摘要，再由MiniBatchKMeans在叶摘要而非全部原始观测上执行全局刻画。候选变量须同时改善分布判据并与最新被接受划分保持连续性方可被接受。

二、主要关键技术方法

研究采用一次性HDBSCAN（Hierarchical Density-Based Spatial Clustering of Applications with Noise）完成密度发现与噪声识别，确定有效观测集与参考分辨率K；以固定有效性掩码构建不变分析总体；采用BIRCH（Balanced Iterative Reducing and Clustering using Hierarchies）构建CF树（Clustering Feature Tree）叶摘要，并将叶质心与权重交由MiniBatchKMeans执行全局划分；采用相对Shannon熵与归一化Gini–Simpson多样性构成第一阶段分布可接受性判据，以标准化互信息（Normalized Mutual Information, NMI）构成第二阶段连续性判据。数据来源为2025年5月瓦伦西亚136个传感点位约1770万条移动设备检测记录，经不可逆加盐哈希匿名化后聚合为5,897,113条张量观测。

三、研究结果

案例研究与接受的增强序列。 全部运行使用同一1,763,591条保留观测、相同行序与K=2176的请求分辨率；HDBSCAN配置为min_cluster_size=100、min_samples=16、cluster_selection_epsilon=0.1；BIRCH阈值0.1、分支因子50；MiniBatchKMeans批大小5000、随机状态42、三次初始化。有序候选依次为起讫坐标、行程时长、时间表示与路径距离；数值小时表示先被检验并拒绝，随后评估分类时间替代表示，采用夜间、上午、下午/晚间三个互斥未缩放指示变量。由此得出接受的表示在延续既有空间增强的基础上进一步纳入行程时长、分类日时段与路径距离，并使拒绝与重构过程可审计。

根聚类与基线验证。 HDBSCAN保留1,763,591条密度支持观测并确立2176个有效簇。受限HDBSCAN根划分与BIRCH–MiniBatchKMeans第0轮基线的比较得NMI=0.768、ARI=0.531，表明二者共享信息显著但仅具中等成对对应，非几何等价；Silhouette由0.835降至0.276、Davies–Bouldin由0.628恶化至1.198，而Calinski–Harabasz由24,187.035升至6,920,681.897，反映质心型方差最小化几何的偏好。由此得出第0轮作为增强链的操作起点，0.768仅验证算法交接而不初始化接受阈值。

受控运行时间基准。 在25万、50万、100万与1,763,591条样本上比较HDBSCAN与完整BIRCH–MiniBatchKMeans流程，后者在全尺度下耗时4440.321秒（74.005分钟），HDBSCAN为16,879.325秒（281.322分钟），加速3.80倍、运行时间减少约73.7%。单独MiniBatchKMeans消融在全尺度张量矩阵上仅需33.112秒、峰值RSS 0.619 GB、占用1266个质心（58.180%）。由此得出该架构整体具备运行时间优势，但消融不复现CF树压缩交接，不推断开销比。

跨刻画轮次的性能剖面。 张量基线耗时1.983分钟、峰值RSS 1.334 GB；加入空间坐标后为4.020分钟与2.151 GB；时长表示为5.005分钟与2.341 GB；分类日时段表示增至110.186分钟与3.712 GB；路径距离为111.263分钟与3.843 GB。CF树叶节点由3519增至28,932，叶亚簇由105,709增至857,769。由此得出在样本量、BIRCH参数与请求分辨率固定时，性能仍取决于累积特征表示及CF树复杂度。

候选变量的内部验证。 第1轮将相对熵由0.528升至0.680、Gini–Simpson多样性由0.908升至0.977；第2轮升至0.686与0.978；数值小时候选将二者降至0.564与0.918而被拒绝；分类日时段在未变的第2轮参照下升至0.899与0.998；路径距离再升至0.920与0.999。由此得出除数值小时外全部候选通过第一阶段并进入NMI比较。

初步打乱对照评估。 早期阶段对前两个增强候选及五个独立打乱变体进行对照，使用2025年5月上半月与不同候选顺序，其轮次标签与数值不可直接比较。真实划分占用全部2176个请求簇，而至少一次打乱运行留有一至两个未占用簇；打乱值在五个种子间存在重叠。由此得出支持性主张限于未打乱序列相对其前一被接受表示的观测增量，而非真实值优于打乱范围，亦不构成属性特定语义相关性的证据。

合格轮次间比较。 四个合格增强转换中，第1轮在第一阶段通过后确立初始BIRCH连续性值NMI=0.778；随后各次接受均满足非递减规则：第2轮0.787≥0.778、第3轮0.847≥0.787、第4轮0.970≥0.847。数值小时因未通过第一阶段而无NMI值，故第2轮继续作为分类日时段候选的参照。由此得出从第0轮到第4轮的接受链，并区分了第二阶段前即被拒绝的候选与经历轮次间比较的候选。

四、讨论与结论

讨论部分指出：HDBSCAN将5,897,113条张量观测中的4,133,522条标为噪声、保留1,763,591条（29.9%），固定掩码在增强前移除70.1%，该比例应理解为由Wi-Fi传感条件与低密度移动性共同生成的分析性排除总体，而非实测错误率；按起点传感器的描述性分析显示噪声分布于136个点位网络而非集中于少数站点，最大单一传感器仅占全部被排除观测的3.34%，前20个传感器内部噪声比例介于71.15%至81.72%。请求分辨率固定为K=2176而有效占用随轮次变化，基线及前两次接受转换为2176个占用标签，分类日时段为2144、路径距离为2160，对应利用率100.000%、98.529%与99.265%，占用变化仅作结构诊断而不改变比较基线或接受决策。增强轮次的解释强调：接受链在固定总体与请求分辨率下呈现成员分布与连续性的渐进变化；数值小时与分类日时段的对比表明同一时间概念的两种表示可产生不同可接受性结果，应解释为编码特定结果而非时间信息无关。增强依赖于已被接受的轨迹而非对每个属性的孤立评估，早期增强可能为后续变量创造可接受语境，但本研究未在相同条件下比较替代候选序列。可扩展性贡献在于HDBSCAN、BIRCH与MiniBatchKMeans各自角色的组合架构。局限性包括：依赖初始HDBSCAN配置且仅适用于密度支持观测；仅基于广播Wi-Fi检测；固定分辨率与严格接受规则可能拒绝真实集中或强重构模式；候选顺序依赖与打乱对照范围有限；性能配置仅单次测量，泛化性限于单一城市与单月。

研究结论为：本文提出一种噪声感知框架，通过将一次性HDBSCAN发现与固定观测集上的可扩展刻画相分离，扩展了既有增强方法；刻画阶段结合BIRCH与MiniBatchKMeans，由BIRCH为每种累积表示构建CF树摘要，MiniBatchKMeans在所得叶摘要上执行全局划分；两阶段接受规则进而区分分布可接受性与同最新被接受划分的连续性，这些均为瓦伦西亚案例的受控设计选择而非移动性聚类的普适要求。实验表明该架构可应用于大规模城市移动性数据集：从5,897,113条张量观测中，HDBSCAN识别出4,133,522条噪声观测并保留1,763,591条记录的稳定集合；组合流程在相同总体与共同请求分辨率上评估张量基线与解释性增强，有效占用另行报告。证据支持三项主要结论：其一，噪声消除界定稳定分析总体并减少重复计算，计算贡献来自组合刻画架构，受控全尺度基准下运行时间由HDBSCAN的281.322分钟降至74.005分钟，加速3.80倍、减少约73.7%，单独MiniBatchKMeans结果仅作为消融解释，表示级剖面显示组合流程成本随累积特征与CF树复杂度变化且重复运行变异性尚未测量；其二，候选变量选择可通过固定门控规则形式化，相对熵与归一化Gini–Simpson多样性构成强制性第一阶段，仅当二者均提升时才执行连续转换的NMI比较，未通过内部验证的候选其NMI状态为未计算，仅被接受划分成为后续比较的参照，接受增强轮次数并非预先固定而由有序候选集与接受—拒绝决策涌现，同一分阶段规则使接受、拒绝、重构与延续可复现而非依赖事后解释，且因各条件可客观计算，完整决策循环可对其他含标签、簇或预测的集合自动化；其三，实验在各轮次间保持共同请求分辨率而另行报告有效占用。已完成实验达到第4轮，顺序决策为：第1轮接受经纬度；第2轮接受行程时长；相对第2轮拒绝数值小时；相对第2轮接受重构后的分类日时段变量作为第3轮；相对第3轮接受起讫路径距离作为第4轮。该距离变量表示两点间经交通网络通行所需行程长度而非欧氏直线距离。最终序列确认候选变量可被拒绝、重构与重测，同时保持仅被接受划分成为后续比较参照的规则。