《Machine Learning with Applications》：A leakage-free benchmark of offline policy learning for SOC alert triage
编辑推荐：
安全运营中心（SOC）必须对远超分析师处理能力的告警量进行分诊，这是一个顺序性、成本敏感的决策问题，非常适合强化学习（RL）。然而，有两个障碍使得先前的研究局限于受控环境：在线探索在实时基础设施上是不安全的，且公开的入侵数据集仅暴露独立的流记录，而非离线RL所
安全运营中心（SOC）必须对远超分析师处理能力的告警量进行分诊，这是一个顺序性、成本敏感的决策问题，非常适合强化学习（RL）。然而，有两个障碍使得先前的研究局限于受控环境：在线探索在实时基础设施上是不安全的，且公开的入侵数据集仅暴露独立的流记录，而非离线RL所需的决策轨迹；评估进一步受到时间泄漏和仅报告均值的影响，这使得退化策略看起来可以部署。研究人员通过三个组件解决这些局限性：一种伪轨迹重建方法，通过在主机标识符上因果分组流、按时间分段，并以多目标奖励标注转移，将平面流表转换为离线决策片段；一个严格无泄漏的时间协议（按时间顺序划分、仅训练归一化、扩展窗口交叉验证和分割后审计）；以及多指标、稳定性感知的报告。研究人员在五个随机种子下，使用Friedman、Nemenyi和Wilcoxon检验，在两个标识符完整的数据集UNSW-NB15和CIC-IDS-2017上，对跨越四个家族的七个离线策略学习智能体进行了基准测试——无记忆和循环模仿（行为克隆）、优势加权循环策略（GRU、LSTM）、基于价值的离线RL（CQL、IQL）以及返回条件序列模型（决策Transformer）。无奖励的循环模仿器（循环行为克隆）在两个数据集上都是最强且最泛化的智能体（在UNSW-NB15上马修斯相关系数MCC为0.752，在CIC-IDS-2017上为0.621），相较于无记忆模仿基线，检测MCC分别提高了约59%和26%，并超过优势加权循环策略0.086和0.095——这证明增益来自循环和轨迹上下文，而非奖励工程。基于价值的方法和决策Transformer退化为平凡检测器，F1和ROC-AUC的崩溃掩盖了这一点，但MCC将其揭示出来。研究人员以咨询式、人在回路的模式部署该框架，并设置确定性严重性下限，防止任何中或高严重性告警被自动丢弃，且遏制操作由分析师掌控。
**离线策略学习在SOC告警分诊中的无泄漏基准：研究解读**
**一、研究背景与问题**
安全运营中心（Security Operations Center, SOC）是现代网络安全防御体系的核心枢纽，负责监控、分析和响应海量安全告警。然而，随着网络遥测数据的规模、速度和异构性持续增长，入侵检测系统（Intrusion Detection System, IDS）产生的告警流已远超分析师的处理能力。在这些海量告警中，仅有极小比例对应于真实的恶意活动。因此，分析师必须在严重的时间约束下对告警进行分诊，决定事件应被忽略、深入调查或升级遏制。这一过程本质上是序列化的且对成本敏感：错误地忽略恶意告警可能导致横向移动或入侵升级，而不必要地遏制良性流量则可能干扰业务连续性并产生可观的组织成本。
尽管机器学习已被广泛用于入侵检测，但大多数现有方法将该问题框定为静态分类、异常评分或告警优先级排序，而非序列化的运营决策。强化学习（Reinforcement Learning, RL）为建模此类序列决策过程提供了理论框架，但先前的RL用于入侵检测的研究大多依赖在线交互或合成环境，允许在训练期间进行无限制的探索行为。这种假设与运营网络安全环境不相容，因为对实时基础设施进行探索性遏制操作是不可接受的。离线强化学习（Offline Reinforcement Learning）则完全从先前记录的交互相中学习，无需进一步的环境探索，因此代表了SOC自动化中更贴近实际部署的范式。
然而，将离线RL应用于网络安全存在重大挑战：分布偏移、稀疏且不平衡的安全结果，以及缺乏真实的序列决策数据。同时，当前的评估方法存在数据泄漏问题：随机分割或全局拟合的预处理流程可能使未来流量模式无意中影响模型训练，导致性能评估过于乐观。广泛使用的入侵数据集如UNSW-NB15以独立流记录的平面集合形式提供，而非离线RL所需的序列轨迹，这进一步阻碍了该方向的实证研究。
**二、研究方法概述**
研究人员提出了由三个核心组件构成的方法论框架。第一，伪轨迹重建（pseudo-trajectory reconstruction）流程：通过因果流分组（按源IP-目的IP对）、时间分段（基于到达间隔阈值、攻击阶段转换和最大长度约束）以及多目标奖励（检测收益、误报惩罚、良性中断惩罚、遏制收益的加权组合）标注转移，将平面流表转换为离线的决策片段（episodes），构建离线数据集。第二，严格无泄漏的时间评估协议：采用时间顺序划分（chronological partitioning）、仅训练期间统计量的归一化（training-only normalization）、扩展窗口时间交叉验证（expanding-window temporal cross-validation）以及分割后泄漏审计（post-split audit）。折叠纳入标准要求训练窗口攻击率至少为1.5%，防止在攻击稀缺时段训练的策略被评分。第三，多指标、稳定性感知的评估报告，包括检测质量（MCC、ROC-AUC、F1等）、策略恢复和SOC运营指标，并采用Friedman、Nemenyi和Wilcoxon非参数统计检验。研究在两个标识符完整的数据集上评估了七个离线策略学习智能体：无记忆和循环行为克隆（Behavioral Cloning, BC）、优势加权循环策略（GRU、LSTM）、基于价值的离线RL（CQL、IQL）以及决策Transformer（Decision Transformer, DT）。样本队列来源为UNSW-NB15（约254万条网络流）和CIC-IDS-2017（约283万条保留流），两个数据集均为标识符完整且特征丰富。
**三、研究结果**
**消融研究：循环与奖励工程。** 消融实验表明，循环带来了显著且稳定的增益（MCC从无记忆BC的0.493提升至循环BC的0.922，提升+0.429）；而在此基础上添加优势加权并未可靠地改善性能，反而使种子方差增加约40倍（±0.003升至±0.111）。序列智能体的增益源于循环和轨迹上下文，奖励工程在此是中性的甚至有害的。
**奖励权重敏感性。** 将四个关键奖励系数按{0.5, 2.0}缩放并重新训练后，两个模仿智能体在所有八种扰动下完全不变，因为它们的优化目标不使用奖励（????≡1）；而使用奖励的智能体则产生变化，基于价值的智能体保持不可用，决策Transformer对奖励最为敏感（MCC在0.411至0.920之间摆动0.51），进一步证实其脆弱性。
**监督基线。** 在相同的无泄漏折叠和46维观测上，监督分类器在二值检测上表现强（随机森林/XGBoost的MCC≈0.97），超过所有离线智能体。这些基线作为二值检测参考点，量化了可检测的攻击信号，但不是直接竞争者——它们不输出三层分诊动作。
**策略恢复。** 监督分类器预测行为策略动作的Cohen’s κ范围为0.38-0.43，准确率0.78-0.84但被多数类Dismiss膨胀。逐类看，Dismiss恢复良好（F1≈0.92），而稀少的Investigate和Contain恢复较差（F1≤0.47和≤0.30）。
**主基准：多折叠判定。** 循环行为克隆（Recurrent BC）是最强智能体，在两个数据集上均取得最高MCC（UNSW-NB15上0.752±0.147，CIC-IDS-2017上0.621±0.012）。决策Transformer在均值上居次但在折叠间最不稳定，优势加权GRU和LSTM较低但更稳定，无记忆BC稳定但性能中等，而基于价值的CQL和IQL则崩溃至接近零。单折叠选择未能在多折叠中持续：DT的单折叠0.924变为0.713±0.159，CQL的0.444变为0.078。
**运营判定。** 循环智能体产生一致的运营行为——高动作正确性（约0.83）和正的风险对齐（最高0.610），同时保守地遏制（率≤0.08）。奖励目标与任务错位：CQL获得最高期望回报（71.57）但其MCC接近零（0.078），且过度遏制（0.156），风险对齐可忽略（0.046）。
**跨数据集泛化。** CIC-IDS-2017上的结果复现了核心结论：循环有帮助（Recurrent BC 0.621超过Memoryless BC 0.492），奖励衍生的优势加权有害（Recurrent BC超过优势加权GRU 0.095），基于价值的方法崩溃（CQL ?0.025，IQL ?0.053）。决策Transformer在CIC上完全崩溃（MCC 0.000），加固了离线RL跨数据集脆弱的结论。
**统计显著性。** Friedman检验在两个数据集上均拒绝智能体性能相等的零假设（UNSW：??2(6)=26.9, ??=1.5×10??；CIC：??2(6)=27.8, ??=1.0×10??），Recurrent BC在两个数据集上均获得最佳（最低）平均秩。Nemenyi事后检验确认Recurrent BC显著优于若干基于价值的智能体。合并Wilcoxon符号秩检验显示循环效应在两个数据集上显著，而奖励工程效应依赖数据集。
**四、讨论与结论**
讨论部分指出，评估协议会改变结论：单折叠下DT表面占优而CQL表面恢复，但无泄漏时间交叉验证揭示了DT的高方差和CQL的崩溃。监督检测仅作为参考点而非任务本身；奖励目标与任务错位，最大化回报的智能体恰恰是退化的过度遏制器。基于价值的离线RL稳健失败且被指标掩盖——IQL和CQL在各折叠、各配置下崩溃，需要MCC等阈值依赖指标才能揭示。跨数据集泛化结论一致：循环有益，奖励加权有害，价值方法崩溃。
研究结论部分可归纳为：该工作通过伪轨迹重建和无泄漏时间评估协议，使离线强化学习在标准基于流的入侵数据集上进行SOC告警分诊成为可能。在严格的协议下，无奖励的循环模仿器（Recurrent Behavioral Cloning）在两个数据集上取得最高检测MCC，增益主要来自循环和轨迹上下文而非奖励工程。相反，基于价值的方法和决策Transformer退化为平凡检测器，且这种退化可被F1和ROC-AUC掩盖但被MCC揭示。因此，多指标、稳定性感知的报告应作为安全领域离线学习评估的一等标准。鉴于这些策略的可靠性和固有保守性，研究人员将其定位于咨询式、人在回路的部署模式，配合确定性严重性下限，确保无中或高严重性告警被自动丢弃，且遏制决策由分析师掌控。未来工作包括使用真实分析师会话日志验证因果分组、系统敏感性分析、实时影子模式部署验证、稀疏特征场景测试，以及扩展到动态图决策的离线RL。
