STEval：一个用于评估时空犯罪预测模型的框架

《Engineering Science and Technology, an International Journal》：STEval: A framework for evaluating spatio-temporal crime prediction models

空间时间预测模型评估框架STEval提出，通过数据准备、空间结构定义、模型训练和评价四个模块，标准化评估犯罪预测模型。在巴西米纳斯吉拉斯州40万条犯罪记录测试中，STKDE在精细网格（100㎡）下暴力犯罪命中率超0.98，STARIMA在短时预测 theft crime HR达0.65，但Extra Tree Regressor执行最快（<5秒）。研究表明模型适用场景差异显著，需结合时空分辨率、数据量及预测时长选择最优方案。

　　在当今社会，犯罪预测已成为公共安全领域的重要课题。随着城市化进程的加快，城市中的人口密度和复杂性不断上升，这使得犯罪的发生更加频繁且难以预测。为了应对这一挑战，科学家们致力于开发更加精准和高效的犯罪预测模型。然而，尽管已有大量研究提出各种模型，这些模型在评估和比较方面仍然缺乏统一的标准。因此，建立一个标准化、可复制且具有扩展性的评估框架显得尤为重要。

STEval的提出正是为了填补这一空白。该框架旨在为时空预测模型提供一个全面而灵活的评估工具，帮助研究者和实践者更好地理解和选择适合特定场景的模型。STEval的结构由四个主要模块组成：数据准备、空间结构定义、模型训练和模型评估。每个模块的设计都充分考虑了实际应用中的各种需求和限制，确保了框架的通用性和实用性。

在数据准备阶段，STEval强调了数据清洗、组织和预处理的重要性。高质量的数据是任何模型评估的基础，因此这一阶段需要对原始数据进行深入的分析和处理，以确保后续步骤的准确性。数据清洗包括去除异常值、处理缺失数据以及标准化数据格式，这些都是确保模型能够有效学习和预测的关键步骤。

空间结构定义模块则是将研究区域划分为相同大小的网格，以便于模型对空间数据的处理和分析。这一模块允许研究者根据不同的空间分辨率进行调整，从而评估模型在不同尺度下的表现。通过这种方式，STEval能够揭示模型在处理不同空间粒度时的敏感性和适应性。

模型训练模块涵盖了多种预测算法的实现，包括回归模型、聚类与时间序列结合的模型、基于核的方法以及最近的神经架构模型。这些算法的选择不仅基于其在不同场景下的适用性，还考虑了计算资源的限制和模型的复杂度。STEval的设计使得研究者可以轻松地集成新的模型，以适应不断变化的需求和技术发展。

模型评估模块则是整个框架的核心，它提供了多种评估指标，如均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）、命中率（HR）、预测准确率指数（PAI）、预测效率指数（PEI）和平均对数得分（ALS）。这些指标能够全面地反映模型在不同条件下的性能，从而为模型的选择和优化提供科学依据。

为了验证STEval的有效性，研究团队使用了巴西米纳斯吉拉斯州的犯罪数据集，该数据集包含超过4000万条记录，涵盖了853个市镇的各类犯罪事件。这些数据不仅提供了丰富的犯罪类型信息，还包括了时间和空间的详细记录，使得模型能够在不同的粒度和场景下进行测试和评估。

在实验设计中，研究团队配置了五个不同的场景，以全面评估模型在各种条件下的表现。这些场景包括时间粒度的变化、空间分辨率的调整、时间间隔的测试、数据量的变化以及训练窗口大小的调整。通过这些场景，研究者能够深入了解不同模型在面对不同挑战时的优劣，从而为实际应用提供指导。

实验结果表明，没有单一的模型能够在所有场景中表现最佳。例如，在时间粒度测试中，STHSL模型在长期预测中表现出色，其精度甚至在与训练数据间隔较远的时间段内依然保持较高水平。而SARIMA模型则更适合短期预测，其在较短的时间间隔内能够提供较为准确的预测结果。空间分辨率测试进一步证明了STKDE模型在精细尺度上的有效性，其在小网格单元中能够实现高达0.98的命中率。然而，在某些空间测试中，Extra Tree Regressor模型虽然命中率较低，但其执行速度却显著优于其他模型，通常在5秒以内完成预测任务。

这些结果不仅展示了STEval框架的灵活性和鲁棒性，也为模型选择提供了重要的参考。不同模型在不同场景下的表现差异表明，模型的选择应基于具体的应用需求和数据特点。例如，在需要高精度预测的场景中，可以优先考虑STKDE或STHSL模型；而在需要快速响应的场景中，Extra Tree Regressor可能是一个更优的选择。

此外，STEval的模块化设计使得其具有良好的扩展性。研究者可以根据实际需求添加新的模型或调整现有模型的参数，以适应不同的数据类型和应用场景。这种灵活性不仅提高了框架的适用性，也为未来的研究提供了便利，使得新的模型和技术能够迅速集成到评估体系中。

通过这些模块和实验设计，STEval不仅为犯罪预测模型的评估提供了标准化的流程，还通过提供详细的实验结果和分析，帮助研究者更好地理解模型的优缺点。这种全面的评估方法能够促进更深入的研究，推动犯罪预测技术的进步。

总的来说，STEval的提出为时空预测模型的评估提供了一个全新的视角。它不仅解决了现有模型评估中缺乏统一标准的问题，还通过详细的实验设计和结果分析，为模型的选择和优化提供了科学依据。随着技术的不断发展，STEval有望成为犯罪预测领域的重要工具，为公共安全组织提供更加精准和高效的预测支持。