《Signals》：Time Is of the Essence: A Comparative Study of Continuous (NCDE) and Discrete (LSTM) Time Models for User Anomaly Detection
编辑推荐：
摘要：用户行为分析（User Behaviour Analytics, UBA）严重依赖序列数据来检测内部威胁等异常行为。传统方法通常使用循环神经网络（Recurrent Neural Network, RNN）——如长短期记忆（Long Short-Term
摘要：用户行为分析（User Behaviour Analytics, UBA）严重依赖序列数据来检测内部威胁等异常行为。传统方法通常使用循环神经网络（Recurrent Neural Network, RNN）——如长短期记忆（Long Short-Term Memory, LSTM）网络——将用户行为建模为离散事件序列，这类方法隐式地假设时间步均匀，忽略了用户日志中固有的不规则时间间隔。本文首次将神经控制微分方程（Neural Controlled Differential Equation, NCDE）——一类能自然处理非等间隔时序数据的连续时间模型——应用于用户行为分析。研究人员在 CERT 4.2 和 CERT 6.2 内部威胁数据集上对比了简单 LSTM 预测器与 NCDE 预测器的性能，证明标准离散时间模型（LSTM）在稀疏数据上产生噪声损失信号，迫使下游分类器依赖脆弱的误差尖峰；而神经 CDE 可生成稳定、连续的误差信号。在具有挑战性的 CERT 6.2 数据集上，NCDE 使离散基线的 F1 分数约提升三倍（0.364 vs. 0.133）。
论文解读：《Time Is of the Essence: A Comparative Study of Continuous (NCDE) and Discrete (LSTM) Time Models for User Anomaly Detection》
一、研究背景与动机
用户行为分析（User Behaviour Analytics, UBA）是现代网络安全、特别是内部威胁（Insider Threat）检测和账户接管（Account Takeover, ATO）识别的关键组成部分。企业产生海量日志数据，促使机器学习方法广泛应用。传统深度学习方法（如隐马尔可夫模型 Hidden Markov Model, HMM 及长短期记忆 Long Short-Term Memory, LSTM 网络）将用户行为建模为离散事件序列，隐式假设相邻事件间的时间间隔均匀或无关，丢弃了实际日志中高度不规则的时间信息——用户可能在数秒内产生数十个事件（如脚本执行），随后数小时甚至数天无活动。这种离散化处理在极度稀疏、类别极端不平衡的真实内部威胁数据集中可能削弱异常区分能力。神经控制微分方程（Neural Controlled Differential Equation, NCDE）作为连续时间模型，通过常微分方程（Ordinary Differential Equation, ODE）定义隐状态沿连续时间路径演化，天然适配非等间隔采样时间序列且无需插值填补。本文由研究人员首次将 NCDE 应用于 CERT 内部威胁数据集上的用户异常检测，并与经典离散 LSTM 基线进行同等条件下的直接比较，探讨连续时间建模在该领域的优势与适用场景。本文发表于 MDPI 期刊《Signals》。
二、主要关键技术方法概要
研究人员选用 CERT 4.2（1000 名员工，17 个月，70 名注入内部人员，密集正例）与 CERT 6.2（4000 名员工，17 个月，5 名注入内部人员，极度稀疏正例；为计算可行按固定随机种子随机抽取含全部恶意用户的 500 用户子队列）两个标准内部威胁基准数据集。按文献方法提取两种特征集：Simple（7 种基本事件）和 Comprehensive（16 种事件，含工作日/工作时间区分），并按用户—周聚合。采用两阶段自监督下一事件预测（Next-Event Prediction）范式训练序列表征模型（LSTM / NCDE），前 20 周无攻击数据用于全局模型训练，之后逐用户—周打分；将预测误差构造为特征输入下游无监督阈值法（Z-score、IQR）及有监督二分类器（Logistic Regression、Random Forest、XGBoost）。LSTM 为层次双向+单向 LSTM 架构，参数量约 400k；NCDE 将事件流按经过尺度归一化的消逝时间（Elapsed Time，小时）线性插值为连续路径 X(t)，以自适应步长 ODE 求解器（Diffrax）解算神经 CDE 得到终端隐状态，向量场参数量匹配 LSTM 保证公平比较。分别用交叉熵损失优化，PyTorch 实现 LSTM，JAX + Diffrax 实现 NCDE。
三、研究结果
3. Results（结果总体概述）
模型训练与逐用户打分后保存周度异常分数。LSTM 训练与打分约 2 小时，NCDE 约 20 小时且偶遇数值刚性导致中断需续跑。研究人员用两类下游检测器评估：原始周误差直接做每用户 Z-score/IQR 阈值，及基于排序损失特征训练二分类器。CERT 6.2 上原始信号阈值分离能力弱（PR-AUC 接近先验 0.01），需学习式聚合。XGBoost 在 Comprehensive 特征下 NCDE 达 F1 = 0.364、AUC = 0.775、PR-AUC = 0.288，显著优于 LSTM（PR-AUC = 0.034）。各分类器结论一致：CERT 6.2 上 NCDE 全面优于 LSTM（如 Random Forest AUC 0.740 vs. 0.636，Simple 特征）；CERT 4.2（70 名恶意用户，较不稀疏）两者相当甚至 LSTM 微优（XGBoost Simple 特征 AUC 0.987 vs. 0.980）。Time-LSTM（加入事件间隔门控）消融实验显示加时间信息提升排序能力（AUC 0.628→0.846，Comprehensive），但 PR-AUC 仍低（0.044 vs. NCDE 的 0.288），表明仅靠离散时间门控不足，连续时间建模才是获得清晰可分正类信号的关键。
四、讨论与结论翻译总结
4.1. Continuous vs. Discrete Modelling（连续与离散建模讨论）
实验证实连续时间建模具性能优势。两模型在较密集 CERT 4.2 上相当，而稀疏 CERT 6.2 上 NCDE 明显更优：AUC 0.775 vs. 0.628，PR-AUC 0.288 vs. 0.034，F1（Comprehensive）0.364 vs. 0.133（约三倍）。NCDE 允许隐状态在观测间隔连续演化，捕获 LSTM 离散更新遗漏的细微模式；即便 Comprehensive 特征向 LSTM 提供时间编码仍无法匹敌。Time-LSTM 虽改善排序却未转化为极端不平衡下的精确检测，印证原生连续时间形式是关键。连续时间建模可作为过采样/SMOTE 之外稳健替代方案，利用 NCDE 在不规则间隔维持稳定隐态表征异常行为。
4.2. Case Study: The Anatomy of a Detection (User MBG3183)（案例研究：检测机制剖析）
以 CERT 场景 5 知识产权窃取用户 MBG3183（恶意活动集中于 2010?10?12 四周事件）为例：LSTM 损失信号弥散嘈杂（值 0.7–1.2 无异常周突出），NCDE 损失在标记恶意周内从基线 ~1 剧升至 >1500 后回落，呈局部尖锐偏移。五名恶意用户中四人表现类似 NCDE 局部化尖峰，佐证其更强分离能力。
4.3. Robustness of Representation Learning Under Sparsity（稀疏下表征学习的鲁棒性）
下游 XGBoost 特征重要性显示：LSTM 误差信号高方差、靠孤立最大误差（rank_0）驱动分类，易与日常噪声混淆致弱检测；NCDE 在异常窗口产生稳定抬升误差，使分类器可依赖较稳健的中位秩特征（如 rank_46）而非单一脆弱离群值，反映 NCDE 连续性起时间平滑作用，配合更高检测性能。
五、结论（Conclusions 部分翻译）
研究人员对 CERT 两个数据集上 LSTM 与 NCDE 用于用户异常检测进行了比较研究。连续时间 NCDE 的优势具情境依赖性：在较密集、较不不平衡的 CERT 4.2 上两模型相当；而在稀疏、严重类别不平衡的 CERT 6.2 上，NCDE 明确优于离散 LSTM 基线（F1 0.364 vs. 0.133；PR-AUC 0.288 vs. 0.034），以锐利局部化误差信号识别出五名恶意用户中的四名。该增益伴随显著更高计算开销——逐用户打分需数小时而非数分钟；实时场景此为局限，但每日批量筛查可接受，且高利害安全场景下漏检内部威胁代价远高于额外算力成本。NCDE 优势恰集中在最贴近真实内部威胁数据的稀疏不平衡场景中，使额外开销具有价值。未来工作需建立 NCDE 在此特定应用中的理论根基（渐近稳定性、一致性及收敛性，尤当 UBA 数据具极端稀疏与突发性时），并可探索平衡经验性能与严格理论离散化极限的新型连续时间架构。
