面向物联网DDoS检测的跨数据集基准研究：基于语义特征对齐与SHAP

《Computers and Electrical Engineering》：A cross-dataset benchmark for IoT DDoS detection with semantic feature alignment and SHAP

　　

## 摘要

跨数据集评估对于判断物联网（IoT）分布式拒绝服务（DDoS）检测器能否泛化到其训练数据集之外至关重要，但此类评估受到不兼容的特征架构以及源-目标分布之间巨大差异的阻碍。本研究提出了一个可复现的基准测试，将CICIoT2023、CIC-DDoS2019和TON-IoT的特征映射为15种规范的流量语义，并在数据集内部和方向性迁移设置下评估机器学习（ML）、深度学习（DL）和图神经网络（GNN）模型。ML和DL模型提供表格基线；当通信标识符不可用时，GraphSAGE和GAT在行为k最近邻图上运行；Shapley可加解释（SHAP）提供事后特征归因。若干表格模型和DL模型在数据集内部达到了接近上限的分数，而对齐迁移具有很强的方向性：Logistic Regression在TON-IoT→CICIoT2023方向下获得F1=0.9944，但在旧协议下反方向迁移仅获得F1=0.6667。一项使用三种随机种子、严格的仅源训练插补和缩放的受控27次运行Logistic Regression实验进一步显示了方向依赖的表示敏感性：CICIoT2023→TON-IoT的三种条件下的平均F1范围为0.4857至0.6505，TON-IoT→CICIoT2023有两个条件保持0.9943但带有指示符时降至0.6666，CIC-DDoS2019→CICIoT2023的范围为0.7104至0.7255。由于特征内容和维度也会变化，这些比较并不能隔离出零填充的因果效应。语义对齐使得可比较的迁移实验成为可能，但并不能消除数据集偏移、图构建假设或结构性缺失的限制。

## 1. 引言

物联网和工业物联网部署扩大了网络物理攻击面，因为异构的、资源受限的设备大规模暴露了网络服务[1]。因此，DDoS检测成为一项实际需求，但在一个基准测试的随机划分上表现良好的检测器可能会利用数据集特定的流量生成、预处理、设备组成或特征提取。部署信心需要在独立收集的流量上进行评估，其架构和分布与训练源不同。

核心障碍是双重的。首先，CICIoT2023、CIC-DDoS2019和TON-IoT以不同的名称、单位和可用测量值编码了相关的流量行为，因此仅通过匹配列位置无法迁移模型[2]。其次，即使在构建出兼容的语义后，协变量偏移和结构性不可用的测量值也可能产生方向性的性能差异。因此，跨数据集评估必须将架构兼容性与统计泛化区分开来，而不是将共享的表格形状视为领域不变性的证据。

本研究围绕该问题连接了四个互补组件。传统ML和DL模型建立了强大的表格基线[3]；方向性源到目标的评估测试这些决策函数是否能泛化；确定性的语义对齐在不使用目标标签的情况下创建通用表示；SHAP支持事后检查驱动预测的特征[4]。GraphSAGE和GAT通过行为kNN图提供关系比较，同时明确承认这些图近似的是特征空间相似性而非物理通信拓扑。

本研究解决四个问题：(RQ1) ML、DL和行为图GNN模型在每个数据集内部如何比较；(RQ2) 确定性语义对齐后直接迁移的不对称性如何；(RQ3) 图构建、预处理和结构性不可用语义字段如何约束解释；(RQ4) 哪些特征主导了模型行为，由此产生的解释有多稳定。方法论上，贡献是一个有文档记录的对齐和评估协议。实证上，贡献是一个多家族基准、方向性迁移分析、图敏感性分析、SHAP审计以及对替代缺失特征表示的受控多种子比较。本工作并未提出新的GNN架构或SHAP算法，也不声称语义对齐能解决领域偏移问题。

本文其余部分遵循研究问题。第2节综合了关于跨数据集兼容性、偏移、图假设和解释性的先前工作。第3节定义了预处理、对齐、图构建、模型和评估。第4节记录了实验协议以及源信息和目标信息的访问方式。第5节结果和第6节讨论报告并解释了数据集内部、迁移、敏感性和可解释性结果。第7节结论总结了受支持的研究发现和局限性。

## 2. 相关工作

### 2.1. 用于IoT DDoS检测的机器学习和深度学习

ML和DL方法仍然是强大的IoT入侵检测基线，因为流级别特征通常能有效地区分良性流量和攻击流量[5]。卷积、循环和全连接模型可以学习非线性模式，而树集成和线性模型提供了具有竞争力的可审计参考点[6][7]。然而，在随机划分上通常获得的高分数并不能回答本文的核心问题：学习到的边界是否能经受采集环境和特征生成器的变化。因此，我们将这些家族作为可分离性和迁移的比较基线，而不是将数据集内部准确率视为部署证据。

### 2.2. 用于入侵检测的图神经网络

基于GNN的入侵检测模型以关系方式建模主机、流或事件[8]。它们对跨数据集评估的相关性取决于什么构成节点以及边如何构建。通信图需要端点标识符，而行为图通过特征相似度连接记录。这些构建编码了不同的假设，并在邻域形成过程中可能暴露测试特征。本研究因此将GraphSAGE和GAT作为在传递性行为kNN图上评估的标准架构，而不是作为新颖的图模型或关于物理网络拓扑的证据。

### 2.3. 跨数据集泛化和特征协调

跨数据集泛化因字段名称、单位、流导出器、设备、攻击实现和标签定义的不同而变得复杂[9]。确定性语义映射可以通过在规范空间中表达相关测量来解决兼容性问题，但它本身不能消除协变量偏移。因此方向性评估很重要：源A→目标B和B→A可能不同，因为训练分布、结构性缺失和固定决策阈值都不同。本研究的对齐阶段使此类比较成为可能，而偏移和敏感性分析则揭示了它们的限制。

### 2.4. 网络安全中的可解释人工智能

可解释性在这里最有用的方式是作为将性能与表示相连接的一个审计层。SHAP将预测分解为特征贡献[10]，允许检查模型是否依赖于流量数量、协议编码或可能特定于数据集的特征。网络安全XAI调查强调了这种面向分析员的角色[11]。SHAP并不验证语义映射、证明因果性或保证迁移；相反，它有助于识别当特征在不同领域之间的可用性发生变化时应重新考虑的依赖模式[12][13]。

### 2.5. 现有证据的综合

综合来看，先前工作提供了有能力的分类器、图模型、基准数据集和解释方法，但通常将它们作为独立主题进行评估。未解决的系统问题是如何在源和目标架构不兼容且分布发生偏移时比较这些组件。有意义的基准测试必须记录语义映射，区分仅源学习与无监督目标特征访问，说明图推理是归纳性还是传递性的，并在迁移背景下而不仅仅是在一个数据集内部解释解释性。

表1中的比较显示，所选数据集论文主要提供基准资源，而LUCID和FlowGuard侧重于DDoS检测工作流程；相比之下，本基准测试在相同的评估协议中结合了方向性迁移、基于规则的语义对齐、ML/DL/GNN比较和基于SHAP的可解释性。

**表1. 所选相关工作维度比较**

| 研究 | 多数据集 | 跨数据集 | 语义对齐 | ML/DL/GNN比较 | XAI/SHAP | 方向性迁移 |
|------|----------|----------|----------|---------------|----------|------------|
| CICIoT2023基准[14] | 否 | 否 | 否 | 基准数据集 | 否 | 否 |
| CIC-DDoS2019数据集[15] | 否 | 否 | 否 | 基准数据集 | 否 | 否 |
| TON-IoT / ToN_IoT研究[9][16][17] | 是 | 数据集焦点 | 讨论了标准化需求 | 否 | 否 | 否 |
| LUCID [18] | 是 | 是 | 数据集无关预处理 | DL焦点 | 有限的激活分析 | 不是焦点 |
| FlowGuard [19] | 否 | 否 | 否 | DL焦点 | 否 | 否 |
| 本基准 | 是 | 是 | 基于规则的语义对齐 | 是 | SHAP | 是 |

### 2.6. 研究空白和定位

因此，本研究占据了一个刻意保守的位置。其方法论贡献是一个透明的、基于规则的对齐和评估工作流；其实证贡献是跨三个数据集比较既定的ML、DL和GNN架构，方向性迁移测量，行为图敏感性，以及基于SHAP的审计。剩余的限制——目标特征中位数插补、不可用语义的零编码、传递性图构建以及缺失的通信标识符——被明确报告，而不是作为已解决的泛化问题呈现。

## 3. 方法论

方法论遵循已实施的实验协议，而非纯粹的概念设计。实验配置使用random_state=42、test_size=0.30、balanced_sampling=true，CICIoT2023配置的样本上限为500000、CIC-DDoS2019为500000、TON-IoT为300000，correlation_threshold=0.95、graph_k_neighbors=10、graph_sample_size=12000、dl_epochs=5、gnn_epochs=10、batch_size=512、learning_rate=0.001。最终基准样本包含500000条CICIoT2023记录、254319条CIC-DDoS2019记录和300000条TON-IoT记录；CIC-DDoS2019的样本上限未达到，因为只有4319条良性记录可用。

### 3.1. 数据预处理

使用pandas加载处理后的CSV文件，并将标签转换为二元约定（0为良性，1为DDoS）。在旧的数据集内部预处理之前，请求了种子为42的确定性类配额采样，但只有在两个类别中都存在足够记录时，实现的样本才是平衡的。CICIoT2023包含250000条良性记录和250000条DDoS采样记录，TON-IoT每类包含150000条，CIC-DDoS2019包含4319条良性记录和250000条DDoS记录（总计254319条）。标识符类属性被移除，数值被强制转换，无穷值被视为缺失，并进行裁剪。对于原始的旧数据集内部结果，中位数和裁剪边界是在完整的采样框架上进行70/30划分之前计算的；这是一种方法论局限，这些结果不被描述为严格的仅训练预处理。后来的严格实现则先划分，然后在训练数据上拟合插补、裁剪、缩放和Spearman相关性降维。

$$z_{ij} = \frac{x_{ij} - \mu_j}{\sigma_j}$$

其中$x_{ij}$表示样本$i$的特征$j$的原始值，$\mu_j$和$\sigma_j$分别是特征$j$的训练数据均值和标准差，$z_{ij}$是标准化后的结果值。从训练数据中推导的参数随后应用于相应的测试或目标数据，以避免信息泄漏。

### 3.2. 特征降维

基于相关性的降维移除了超过配置的相关性阈值0.95的数值特征。在后来的严格实现中，Spearman相关矩阵在数据集内部训练分区上拟合，保留的列不变地应用于其测试分区。原始的对齐迁移结果使用固定的15特征语义表示，不跨源和目标数据集执行基于相关性的特征降维。因此，目标标签和目标相关性不会决定报告的迁移特征集。

实现的相关性度量是Spearman秩相关，$\rho_s(j,k) = corr(rank(x_j), rank(x_k))$。满足$|\rho_s(j,k)| > 0.95$的特征对被处理为高度冗余，并从每个冗余对中移除一个特征，按照实现的训练分区特征降维程序进行。拟合的保留列集随后不变地应用于相应的测试分区。

### 3.3. 模型框架

ML基线是逻辑回归、随机森林、XGBoost、LightGBM和支持向量机。DL模型是MLP、CNN1D和LSTM。GNN模型是GraphSAGE和GAT。所有模型都使用相同的二元DDoS检测目标进行评估。

MLP包含两个隐藏全连接层，维度为128和64，后跟二元输出层和dropout 0.3。CNN1D使用Conv1D层1->16和16->32，自适应平均池化，大小为64的密集层，dropout 0.3和二元输出。LSTM使用input_size=1、hidden_size=64、dropout 0.3和二元输出层。

GraphSAGE使用SAGEConv（input_dim, 64）、SAGEConv（64, 64）、dropout 0.3和Linear（64, 2）。GAT使用GATv2Conv（input_dim, 64, heads=4）、GATv2Conv（64*4, 64, heads=1, concat=False）、dropout 0.3和Linear（64, 2）。这些架构值取自项目模型文件。

### 3.4. 行为kNN图构建

由于处理后的数据集未保留端点标识符，因此所有报告的GNN图都使用kNN回退方案。一个节点表示一个采样的流量流，其节点属性是所选特征模式下的数值行为特征。边使用scikit-learn的欧几里得kNN搜索计算。基线使用k=10和最多12,000条流；包含自环，由于未对称化，邻接矩阵是有向的，每条边存储逐元素特征差的绝对值。标签从不用于选择邻居。

$$X = \{x_1, x_2, \ldots, x_n\}, \quad x_i \in \mathbb{R}^d$$

其中$x_i$表示与流量流$i$相关的$d$维标准化特征向量。

图在每个数据集内部单独构建，然后在附加随机的70/30节点掩码之前完成。训练损失仅使用训练掩码标签，但消息传递在包含训练和测试掩码节点的预构建图上发生。因此，报告的GNN评估在每个数据集内部是传递性的：测试特征可能影响邻域，尽管测试标签不用于图构建或优化。源和目标样本从不合并为一个图，表6报告ML迁移模型而非跨数据集GNN推理。

$$d(x_i, x_j) = \sqrt{\sum_{m=1}^{d}(x_{im} - x_{jm})^2}$$

其中$x_{im}$和$x_{jm}$分别表示节点$i$和$j$的特征$m$的值。由于输入特征已标准化，距离不易受单个特征原始数值尺度差异的影响。

本协议不应解释为归纳部署设计。严格的源到目标GNN迁移实验应仅从源训练流构建源图，并定义一个样本外机制来嵌入或连接目标节点，而不允许目标观测改变源邻域。

通信拓扑图还需要处理后的数据集中不存在的端点字段。这些替代方案留作未来工作。

A_ij = {1, x_j ∈ N_k(x_i); 0, 其他情况}，其中 N_k(x_i) 表示节点 i 的 k 个最近邻节点集合。

3.5. 语义特征对齐

语义特征对齐是确定性且手动指定的，而非学习得到的。特定数据集的列和算术表达式被映射到一个有序集合，包含15个规范化流量语义。映射使用特征定义——而非目标标签——来协调持续时间、数据包和字节总数、数据包长度、速率、到达间隔时间、标志计数、协议、头部长度、TTL以及数据包长度方差。当该数据集作为源或目标时，都应用相同的特定数据集映射。

A_d: F_d → F_c

其中 F_d 表示数据集 d 的原始特征空间，F_c 表示公共规范化特征空间，A_d 表示确定性的语义映射。

X_aligned_d = A_d(X_d)

其中 X_d 表示原始处理后特征矩阵，X_aligned_d 表示其在公共规范化特征空间中的表示。

该实现在映射过程中区分偶发性缺失值与结构性不可用的语义。无穷值和缺失数值首先被替换为在各自完整对齐数据集上独立计算的中位数。如果对齐后的某一列完全不可用，则中位数保持未定义，该列以零填充。CIC-DDoS2019 缺少 TTL；TON-IoT 缺少五个映射标志计数、协议代码、头部长度、TTL以及数据包长度方差。零是有效的计数值，但并不等同于"未测量"；对于其他字段，它可能会产生人为的领域线索。这是无监督地使用目标特征统计量，而非目标标签泄漏。

对于每个报告的迁移方向，在完整的对齐源矩阵上拟合 StandardScaler，并将其原样应用到目标矩阵。分类器仅在源特征和标签上训练。目标标签不用于插补、缩放、特征选择、阈值调优或训练；目标标签仅在预测后用于计算指标。由于在早期预处理阶段使用了目标域的中位数，该协议可准确描述为直接源训练配合无监督目标特征预处理，而非严格意义上的仅源数据预处理。

M_s = Train(X_aligned_s, y_s)

?_t = M_s(X_aligned_t)

为了在不改变传统基准值的情况下检验严格的仅源训练替代方案，我们从对齐前的基准样本中重建了15个语义特征。对于种子42、123和2026，每个种子选择一个分层80%的源子集，并在三种条件下复用该子集。偶发性缺失值使用仅在该源子集上拟合的中位数进行插补，StandardScaler 在同一子集上拟合后原样应用到完整目标样本。目标特征统计量或目标标签不进入预处理、特征选择、拟合、阈值选择或模型选择；目标标签仅在预测后访问。该对照实验不从未可用的完整处理后数据集中重新采样，也不替代传统的迁移结果。

确定性对齐将特定数据集的表达式映射为公共语义表示；表2中的代表性映射示例说明了流持续时间、数据包计数、字节总数、数据包速率、协议代码和标志计数属性如何在三个数据集之间进行协调。

表2. 确定性语义特征对齐映射示例。

| 对齐后语义特征 | CICIoT2023源表达式 | CIC-DDoS2019源表达式 | TON-IoT源表达式 |
|---|---|---|---|
| flow_duration | iat * number | flow_duration | duration |
| total_packets | number | total_fwd_packets + total_backward_packets | src_pkts + dst_pkts |
| total_bytes | tot_sum | total_length_of_fwd_packets + total_length_of_bwd_packets | src_bytes + dst_bytes |
| avg_packet_length | avgpacket_length_mean | (src_bytes + dst_bytes) / (src_pkts + dst_pkts) | — |
| packet_rate | rate | flow_packets/s | (src_pkts + dst_pkts) / duration |
| syn_flag_count | syn_count | syn_flag_count | 缺失→0 |
| ack_flag_count | ack_count | ack_flag_count | 缺失→0 |
| protocol_code | protocol_type | protocol | 缺失 |
| Ttl | time_to_live | 缺失 | 缺失 |

3.6. 评估与统计分析

评估报告准确度、精确率、召回率、F1分数、ROC-AUC，以及在可用情况下的PR-AUC。修订后的讨论减少了教科书定义，重点放在排名指标和阈值指标的解释上。ROC-AUC是阈值无关的，因此在固定决策阈值下即使准确度或F1分数较弱，它仍然可能很高。

Accuracy = (TP + TN) / (TP + TN + FP + FN)

Precision = TP / (TP + FP)；Recall = TP / (TP + FN)

F1 = 2 × (Precision × Recall) / (Precision + Recall)

其中TP、TN、FP和FN分别表示真正例、真负例、假正例和假负例。

统计分析保留了现有的配对比较。这些检验应谨慎解读，因为可用表格中每个比较仅包含六个配对观测值，而非大规模重复随机重启实验。因此统计推断是有条件的，取决于所评估的基准任务。

3.7. SHAP可解释性

SHAP被用作已训练模型的事后特征归因方法。全局SHAP排名总结了评估样本的均值绝对特征贡献，而局部解释可支持实例级检查。本文手稿将SHAP视为一种解释方法，而非特征因果性决定攻击的证据。

f(x) = ?_0 + Σ_{j=1}^{d} ?_j

其中 f(x) 表示样本 x 的模型输出，?_0 是基线或期望模型输出，?_j 表示特征 j 对预测的贡献。

I_j = (1/N) Σ_{i=1}^{N} |?_{ij}|

其中 I_j 表示特征 j 的全局重要性，N 是评估样本数，?_{ij} 表示特征 j 对样本 i 的SHAP贡献。

图1区分了三条实现的预处理路径。传统的对齐迁移路径使用数据集级的无标签中位数填充，然后进行源拟合缩放，并非严格的仅源方案。严格的数据集内路径先进行分割，然后在其训练分区上拟合插补、裁剪、Spearman降维和缩放。受控迁移实验仅在每个带种子的源子集上拟合插补、表示处理和缩放，并将拟合后的变换原样应用到固定的目标；目标标签仅在预测后用于指标计算。

图1. 实现的预处理和评估路径。传统对齐迁移协议使用数据集级无标签中位数和源拟合缩放；严格数据集内和受控迁移协议仅在学习到的训练/源数据上拟合预处理。GNN评估为每个数据集内的反演式方法，未报告跨数据集GNN迁移。

4. 实验设置

实验设置旨在提供三个处理后物联网入侵检测数据集和三个模型家族之间的受控比较。该协议将完整处理后数据集的描述性统计与用于模型评估的受控样本预算分离开来，使得性能比较可在原始数据规模和类别构成的背景下进行解读。

处理后数据集在规模、特征维度和类别构成上存在显著差异。这些差异促使采用受控采样和跨模型家族的固定实验预算。表3总结了处理后数据集的规模、特征维度和类别构成。

表3. 处理后数据集摘要。

| 数据集 | 行数 | 特征数 | 良性 | DDoS |
|---|---|---|---|---|
| CICIoT2023 | 35,615,862 | 41 | 17,671,345 | 17,671,345 |
| CIC-DDoS2019 | 6,402,137 | 84 | 4,319 | 6,397,818 |
| TON-IoT | 10,102,353 | 21 | 5,041,909 | 5,060,444 |

CICIoT2023包含35,615,862条处理后记录和41个特征，CIC-DDoS2019包含6,402,137条记录和84个特征，TON-IoT包含10,102,353条记录和21个特征。良性和DDoS计数在各数据集之间差异显著。启用确定性类别配额采样以控制类别偏差和计算成本，配置的配额上限为CICIoT2023的500,000条记录、CIC-DDoS2019的500,000条记录和TON-IoT的300,000条记录。所得基准样本分别包含500,000条、254,319条和300,000条记录。CICIoT2023和TON-IoT实现了类别平衡，而CIC-DDoS2019样本由于处理后数据集中仅包含4,319条良性记录，因此仍保持不平衡，包含4,319条良性和250,000条DDoS记录。

为确保可重复性和跨评估模型家族的固定计算预算，实验使用固定随机种子、70/30训练/测试划分、相关性冗余控制阈值以及固定的行为kNN图配置。主要实现和优化设置汇总于表4。

表4. 实验中使用的实现细节。

| 项目 | 值 |
|---|---|
| 随机种子 | 42 |
| 训练/测试划分 | 70/30 |
| 配置的样本配额 | CICIoT2023 500,000；CIC-DDoS2019 500,000；TON-IoT 300,000 |
| 平衡采样 | 请求类别配额采样；实现平衡取决于类别可用性 |
| 实现样本：CICIoT2023 | 500,000（250,000良性；250,000 DDoS） |
| 实现样本：CIC-DDoS2019 | 254,319（4,319良性；250,000 DDoS） |
| 实现样本：TON-IoT | 300,000（150,000良性；150,000 DDoS） |
| 相关性阈值 | 0.95 |
| 图k近邻数 | 10 |
| 图样本大小 | 12,000 |
| DL训练轮数 | 5 |
| GNN训练轮数 | 10 |
| 批大小 | 512 |
| 学习率 | 0.001 |
| 优化器 | DL/GNN使用Adam |
| Dropout | 0.3 |
| 隐藏维度 | MLP 128/64；LSTM 64；GNN 64 |
| GNN层数 | 两层消息传递层 |
| GAT头数 | 第一层4个；第二层1个 |

该配置使用随机种子42、70/30训练/测试划分和0.95的相关性阈值。对于行为图表示，基线使用10个最近邻和12,000的图样本大小。DL和GNN训练计划分别使用5轮和10轮，批大小512，学习率0.001。DL和GNN模型指定使用Adam。架构设置包括dropout 0.3、MLP隐藏维度128和64、LSTM隐藏大小64、GNN隐藏维度64、两层消息传递层，以及GAT头数第一层4个、第二层1个。

三个数据集使用配置的采样配额和种子42，受各数据集每类可用记录限制。实现的CICIoT2023和TON-IoT样本是平衡的，而实现的CIC-DDoS2019样本包含所有4,319条可用良性记录和250,000条DDoS记录。在原始数据集内流水线中，采样先于清洗和划分进行；采样按块扫描源文件直到达到每类配额，因此它是确定性的，但不是全局均匀随机样本。对齐迁移流水线使用完整的基准样本作为源域和目标域。数据集内ML/DL实验使用随机训练/测试划分；行为GNN图在节点掩码之前构建，采用反演式方法。跨数据集表6仅在对齐源上训练，直接在单独的目标数据集上评估。

对于跨数据集预处理，目标标签保留用于指标计算。15个语义列手动固定，因此不会选择目标相关性或标签信息。数据集特定的中位数填充发生在迁移之前，使用各完整数据集的无标签统计量；完全不可用的列以零填充。然后仅在源上拟合缩放并原样迁移到目标。这种分离澄清了该实验在预处理阶段包含无监督目标特征访问，但不存在目标标签泄漏或目标域微调。

受控敏感性协议在三种表示下使用逻辑回归：条件A保留15个对齐语义，使用结构性零表示不可用字段，并仅对偶发性缺失使用源子集中位数；条件B应用仅源插补并排除源中结构性不可用的语义（当CICIoT2023、TON-IoT或CIC-DDoS2019作为源时分别保留15、6或14个维度）；条件C保留结构性零表示并添加行缺失性和结构性可用性指示器，产生45个维度。分类器设置、目标样本和源索引在可比条件下固定。每个方向对种子42、123和2026进行评估，共完成27次运行。每个样本的预测和概率被保留用于一致性检查。

5. 结果

结果围绕数据集内性能、对齐跨数据集迁移、行为GNN图的k敏感性、域偏移分析、可解释性、组件敏感性和计算成本进行组织。

5.1. 数据集内性能

数据集内评估在若干配置下产生接近上限的分数。这一模式与策划的基准划分中强可分性一致，但不应解读为部署鲁棒性的直接证据。

表5总结了所有评估的ML、DL和GNN模型在CIC-DDoS2019、CICIoT2023和TON-IoT上的数据集内性能。对于每个数据集-模型组合，选择了F1分数最高的特征变体；在平局情况下，ROC-AUC和Accuracy作为次要标准。结果显示大多数ML和DL模型在CIC-DDoS2019和CICIoT2023上具有接近上限的性能，而GNN模型表现出显著更大的变异性，特别是在CICIoT2023和TON-IoT上。

表5. 代表性数据集内运行的模型性能比较。

| 训练数据集 | 模型名称 | 特征模式 | 准确度 | F1分数 | ROC-AUC |
|---|---|---|---|---|---|
| CIC-DDoS2019 | LogisticRegression | full | 0.998 | 0.999 | 1.000 |
| CIC-DDoS2019 | RandomForest | reduced | 1.000 | 1.000 | 1.000 |
| CIC-DDoS2019 | XGBoost | full | 1.000 | 1.000 | 1.000 |
| CIC-DDoS2019 | LightGBM | full | 1.000 | 1.000 | 1.000 |
| CIC-DDoS2019 | SVM | full | 0.999 | 0.999 | 0.998 |
| CIC-DDoS2019 | MLP | reduced | 1.000 | 1.000 | 1.000 |
| CIC-DDoS2019 | CNN1D | reduced | 0.999 | 0.999 | 1.000 |
| CIC-DDoS2019 | LSTM | full | 0.996 | 0.998 | 0.999 |
| CIC-DDoS2019 | GraphSAGE | reduced | 0.981 | 0.990 | 0.507 |
| CIC-DDoS2019 | GAT | full | 0.981 | 0.990 | 0.500 |
| CICIoT2023 | LogisticRegression | full | 1.000 | 1.000 | 1.000 |
| CICIoT2023 | RandomForest | reduced | 1.000 | 1.000 | 1.000 |
| CICIoT2023 | XGBoost | reduced | 1.000 | 1.000 | 1.000 |
| CICIoT2023 | LightGBM | full | 1.000 | 1.000 | 1.000 |
| CICIoT2023 | SVM | full | 1.000 | 1.000 | 1.000 |
| CICIoT2023 | MLP | full | 1.000 | 1.000 | 1.000 |
| CICIoT2023 | CNN1D | full | 1.000 | 1.000 | 1.000 |
| CICIoT2023 | LSTM | full | 0.999 | 0.999 | 1.000 |
| CICIoT2023 | GraphSAGE | full | 0.816 | 0.834 | 0.833 |
| CICIoT2023 | GAT | full | 0.511 | 0.000 | 0.372 |
| TON-IoT | LogisticRegression | full | 0.919 | 0.923 | 0.978 |
| TON-IoT | RandomForest | full | 0.999 | 0.999 | 1.000 |
| TON-IoT | XGBoost | full | 0.999 | 0.999 | 1.000 |
| TON-IoT | LightGBM | full | 1.000 | 1.000 | 1.000 |
| TON-IoT | SVM | reduced | 0.918 | 0.924 | 0.989 |
| TON-IoT | MLP | reduced | 0.981 | 0.981 | 0.998 |
| TON-IoT | CNN1D | reduced | 0.985 | 0.985 | 0.999 |
| TON-IoT | LSTM | full | 0.931 | 0.932 | 0.986 |
| TON-IoT | GraphSAGE | full | 0.789 | 0.829 | 0.791 |
| TON-IoT | GAT | reduced | 0.762 | 0.780 | 0.776 |

在CIC-DDoS2019上，传统ML和DL模型实现了非常高的性能，XGBoost达到1.0000的F1分数和ROC-AUC。Random Forest、LightGBM、MLP、CNN1D和SVM的F1分数也超过0.999。相比之下，GraphSAGE和GAT分别获得0.9905和0.9903的F1分数，但其ROC-AUC值仅为0.5072和0.5000，表明高的阈值相关F1性能并不一定对应于强的基于排名的判别能力。

CICIoT2023对传统ML和DL模型显示出同样高的性能，大多数模型的F1分数超过0.999。GraphSAGE实现0.8340的F1分数和0.8332的ROC-AUC，而GAT产生0.0000的F1分数和0.3725的ROC-AUC。这些结果突显了行为相似性GNN公式对数据集特征的更大敏感性。

在TON-IoT上，ML模型仍然强劲，LightGBM实现0.9995的F1分数和1.0000的ROC-AUC。DL模型与其他数据集相比显示出中等程度的退化，而GraphSAGE和GAT分别实现0.8290和0.7804的F1分数。总体而言，结果表明传统ML和DL模型提供更一致的数据集内性能，而GNN模型对底层数据集和图构建更为敏感。

所选模型变体对应的ROC特性如图2所示。ROC曲线显示大多数ML和DL模型在CIC数据集上实现强判别能力，其曲线保持在理想的左上区域附近。相比之下，GNN模型表现出更弱且更多变的排名性能，特别是在CICIoT2023和TON-IoT上。TON-IoT还显示出模型家族之间更大的变异性，表明数据分布更具挑战性。这些差异强化了评估多个模型家族和数据集的重要性，而非依赖单一基准来评估检测鲁棒性[9]。

图2.

代表性IoT DDoS检测运行的ROC曲线。图3中的模型比较结果进一步说明了所评估模型族和特征模式之间性能的变化。如图3所示，XGBoost、LightGBM和随机森林等集成模型在完整和简化特征集下均保持接近上限的F1分数。深度学习模型在两种特征模式下也表现出持续较高的性能，而GNN模型则显示出显著较低且更不稳定的F1分数，特别是GraphSAGE和GAT。这种行为与使用行为kNN图而非显式通信拓扑图的做法一致，尽管仅凭该图无法确立因果关系。特征减少对性能最强的模型影响有限，表明可以移除若干冗余特征而不会实质性降低数据集内分类性能。

下载：下载高分辨率图像（286KB）
下载：下载全尺寸图像
图3. 数据集内实验中的模型比较。

5.2. 跨数据集迁移结果

对齐的跨数据集迁移结果如表6所示，揭示了所评估的源-目标对之间明显的方向性不对称。在TON-IoT上训练并在CICIoT2023上评估时，逻辑回归达到F1分数0.9944和ROC-AUC 0.9919，而LightGBM在该方向上达到所评估模型中最高的ROC-AUC 0.9956。在反方向上，即在CICIoT2023上训练并在TON-IoT上测试时，逻辑回归的F1分数降至0.6667，ROC-AUC降至0.8285。这些差异表明，语义特征对齐为直接迁移评估提供了共同的特征空间，但不能保证跨数据集的对称迁移性，突出了源-目标分布差异的影响。

表6. 对齐共同特征空间中的跨数据集迁移结果。
| 训练数据集 | 测试数据集 | 模型 | 准确率 | F1分数 | ROC-AUC |
|---|---|---|---|---|---|
| CICIoT2023 | TON-IoT | LogisticRegression | 0.5000 | 0.6667 | 0.8285 |
| CICIoT2023 | TON-IoT | RandomForest | 0.6938 | 0.5698 | 0.7575 |
| CICIoT2023 | TON-IoT | XGBoost | 0.6920 | 0.5736 | 0.6606 |
| CICIoT2023 | TON-IoT | LightGBM | 0.6939 | 0.5698 | 0.6968 |
| CICIoT2023 | TON-IoT | SVM | 0.5723 | 0.3080 | 0.8437 |
| TON-IoT | CICIoT2023 | LogisticRegression | 0.9943 | 0.9944 | 0.9919 |
| TON-IoT | CICIoT2023 | RandomForest | 0.5429 | 0.6860 | 0.9710 |
| TON-IoT | CICIoT2023 | XGBoost | 0.5032 | 0.6681 | 0.9886 |
| TON-IoT | CICIoT2023 | LightGBM | 0.5116 | 0.6718 | 0.9956 |
| TON-IoT | CICIoT2023 | SVM | 0.5000 | 0.6667 | 0.5000 |
| CIC-DDoS2019 | CICIoT2023 | LogisticRegression | 0.6012 | 0.7066 | 0.9550 |
| CIC-DDoS2019 | CICIoT2023 | RandomForest | 0.3777 | 0.0072 | 0.2101 |
| CIC-DDoS2019 | CICIoT2023 | XGBoost | 0.4324 | 0.0058 | 0.1883 |
| CIC-DDoS2019 | CICIoT2023 | LightGBM | 0.4904 | 0.0010 | 0.8576 |
| CIC-DDoS2019 | CICIoT2023 | SVM | 0.5000 | 0.0000 | 0.5000 |

这些结果进一步表明，在跨数据集迁移过程中，ROC-AUC和F1分数可能产生实质性偏差。对于TON-IoT → CICIoT2023方向，随机森林、XGBoost和LightGBM的ROC-AUC值分别为0.9710、0.9886和0.9956，而它们的F1分数仅为0.6860、0.6681和0.6718。这表明模型可以保持相对较强的排序性能，同时在目标数据集上表现出显著较弱的阈值依赖分类性能。相反，CIC-DDoS2019 → CICIoT2023方向导致随机森林、XGBoost和LightGBM出现严重退化，F1分数分别为0.0072、0.0058和0.0010。这些结果表明，跨数据集性能应使用多个互补指标进行评估，而不是依赖单一度量。

方向性迁移不对称性在图4中也直观可见。对于逻辑回归，TON-IoT到CICIoT2023方向达到0.994的F1分数，而CICIoT2023到TON-IoT的反方向达到0.667的F1分数。CIC-DDoS2019到CICIoT2023方向达到0.707的F1分数。这些结果进一步说明，语义对齐为直接迁移评估提供了共同的特征空间，同时揭示了跨数据集泛化中的方向依赖性差异。

下载：下载高分辨率图像（151KB）
下载：下载全尺寸图像
图4. 对齐特征空间中逻辑回归的方向性跨数据集迁移F1分数。

5.3. GNN k敏感性分析

对GraphSAGE和GAT在固定的CICIoT2023简化行为图样本上进行了k敏感性分析。除最近邻数量外，所有实验条件均保持不变，random_state = 42，graph_sample_size = 12000，learning_rate = 0.001，gnn_epochs = 10。如表7所述，GraphSAGE的F1分数在k = 3、5、10、15和20时从0.9696变化到0.9741，总变化为0.0045，而GAT的F1分数从0.9821变化到0.9841，变化为0.0020。ROC-AUC保持相似稳定，GraphSAGE从0.9945变化到0.9959，GAT从0.9958变化到0.9970。这些微小变化表明，在本研究使用的固定行为图构建下，对邻域大小的敏感性有限。

表7. 行为kNN图中GNN对k的敏感性。
| k | GraphSAGE F1 | GraphSAGE ROC-AUC | GAT F1 | GAT ROC-AUC |
|---|---|---|---|---|
| 3.0000 | 0.9738 | 0.9945 | 0.9841 | 0.9958 |
| 5.0000 | 0.9741 | 0.9948 | 0.9838 | 0.9959 |
| 10.0000 | 0.9726 | 0.9951 | 0.9824 | 0.9967 |
| 15.0000 | 0.9714 | 0.9953 | 0.9821 | 0.9969 |
| 20.0000 | 0.9696 | 0.9959 | 0.9830 | 0.9970 |

基线配置k = 10位于两个模型的稳定性能范围内，GraphSAGE达到0.9726的F1分数，GAT达到0.9824的F1分数，ROC-AUC值分别为0.9951和0.9967。

图5中的ROC-AUC趋势进一步证实了表7中观察到的稳定性，GraphSAGE和GAT在测试的邻域大小范围内仅发生微小变化。特别地，GraphSAGE的ROC-AUC在所有评估的k值下均保持在0.994以上，GAT保持在0.995以上，表明在固定行为图设置下，邻域大小的适度变化对排序性能的影响有限。

下载：下载高分辨率图像（172KB）
下载：下载全尺寸图像
图5. GNN ROC-AUC对邻域大小k的敏感性。

5.4. 定量域偏移分析

在对齐特征空间中，使用均值、标准差、标准化均值差异（SMD）、Kolmogorov-Smirnov（KS）统计量和Wasserstein距离量化特征分布偏移。这些统计量刻画源数据集和目标数据集之间的分布差异，但不建立因果关系。某些对齐的语义特征在特定数据集中不可用，并根据对齐实现确定性填充为零。因此，此类特征的大型SMD、KS或Wasserstein值可能反映表示或缺失特征效应，而不仅仅是流量分布的自然差异。

观察到最大分布差异的特征包括protocol_code、ttl、header_length和几个标志计数属性，特别是对于TON-IoT → CICIoT2023方向。表8报告了该方向最高偏移的特征，显示protocol_code（SMD = ?3.8378）、ttl（?2.9988）、header_length（?2.7567）和ack_flag_count（?1.9069）的大型标准化差异。这些结果表明，语义对齐建立了共同的特征表示，但不能消除数据集之间的协变量或缺失特征效应。

表8. 顶级定量对齐特征分布偏移。
| 特征 | 源 | 目标 | 源均值 | 目标均值 | 标准化均值差异 | KS统计量 | Wasserstein距离 |
|---|---|---|---|---|---|---|---|
| protocol_code | TON-IoT | CICIoT2023 | 0.0000 | 6.5456 | ?3.8378 | 0.9990 | 6.5456 |
| ttl | TON-IoT | CICIoT2023 | 0.0000 | 87.2713 | ?2.9988 | 1.0000 | 87.2713 |
| header_length | TON-IoT | CICIoT2023 | 0.0000 | 18.5881 | ?2.7567 | 1.0000 | 18.5881 |
| ack_flag_count | TON-IoT | CICIoT2023 | 0.0000 | 27.8730 | ?1.9069 | 0.9961 | 27.8730 |
| psh_flag_count | TON-IoT | CICIoT2023 | 0.0000 | 0.0887 | ?0.9040 | 0.4801 | 0.0887 |
| syn_flag_count | TON-IoT | CICIoT2023 | 0.0000 | 0.3437 | ?0.5997 | 0.2399 | 0.3437 |
| packet_length_variance | TON-IoT | CICIoT2023 | 0.0000 | 501202.39 | ?0.4845 | 0.9749 | 501202.39 |
| fin_flag_count | TON-IoT | CICIoT2023 | 0.0000 | 0.1650 | ?0.4827 | 0.1318 | 0.1650 |
| iat_mean | TON-IoT | CICIoT2023 | 1.0184 | 0.0068 | 0.3149 | 0.2380 | 1.0148 |
| rst_flag_count | TON-IoT | CICIoT2023 | 0.0000 | 1.1215 | ?0.2600 | 0.0857 | 1.1215 |
| packet_rate | TON-IoT | CICIoT2023 | 20394.153 | 291.650 | 0.2253 | 0.3619 | 18119.60 |
| total_bytes | TON-IoT | CICIoT2023 | 2297907.874 | 7021.130 | 0.0520 | 0.8901 | 2342989.16 |
| flow_duration | TON-IoT | CICIoT2023 | 11.8769 | 0.2626 | 0.0494 | 0.5573 | 11.6670 |
| avg_packet_length | TON-IoT | CICIoT2023 | 286098.247 | 19.3132 | 0.0467 | 0.8029 | 286679.94 |
| total_packets | TON-IoT | CICIoT2023 | 36.2417 | 54.7747 | ?0.0205 | 0.7763 | 57.9811 |

所评估迁移方向上的分布差异在图6中进一步可视化。热图显示几个对齐特征表现出实质性SMD值，偏移的幅度和方向在源-目标对之间变化。特别是，protocol_code、ttl、header_length和ack_flag_count表现出明显偏移，与表8中报告的TON-IoT → CICIoT2023定量分析一致。这些观察结果提供了分布不匹配导致观察到的迁移不对称性的诊断证据，但不应被解释为建立模型性能差异的单一因果解释。

下载：下载高分辨率图像（408KB）
下载：下载全尺寸图像
图6. 高偏移对齐特征的标准化均值差异热图。

5.5. 组件和架构敏感性分析

本小节报告了本研究中评估的实验配置的组件和架构敏感性分析。这些比较不以受控因果消融实验的形式呈现，因为并非对所有因素都执行了专门的重新训练隔离。相反，它们总结了所实施配置在语义对齐、完整特征和简化特征表示、模型族选择和事后SHAP特征优先级排序下的行为。

表9在不改变底层实验结果的情况下汇总了这些比较。该表区分了可评分运行可用性、平均数据集内F1行为、架构族性能和特征优先级摘要，以便根据每行所代表的证据进行解释。

表9. 组件、特征模式和架构敏感性分析。
| 因素 | 参考设置 | 比较设置 | 指标 | 参考值 | 比较值 | 差异 | 备注 |
|---|---|---|---|---|---|---|---|
| 特征减少 | 完整特征 | 简化特征 | 平均数据集内F1 | 0.9351 | 0.9053 | ?0.0298 | 完整特征与简化特征实验比较；仅用作特征优先级排序效应的代理。 |
| 特征对齐 | 无语义对齐 | 启用语义对齐 | 有效迁移运行 | 0.0000 | 15.0000 | 15.0000 | 无未对齐迁移运行可评分；对齐产生了15个可评分迁移评估。 |
| 特征对齐 | 无语义对齐 | 启用语义对齐 | 平均迁移F1 | 0.0000 | 0.4730 | 0.4730 | 未对齐参考值表示不可用/不可评分迁移，而非测量的零F1；报告对齐迁移平均F1。 |
| 模型架构 | 数据集内平均F1 | ML平均F1 | N/A | 0.9891 | N/A | N/A | 基于本研究中评估的数据集内ML配置的架构族比较。 |
| 模型架构 | 数据集内平均F1 | DL平均F1 | N/A | 0.9878 | N/A | N/A | 基于本研究中评估的数据集内DL配置的架构族比较。 |
| 模型架构 | 数据集内平均F1 | GNN平均F1 | N/A | 0.6465 | N/A | N/A | 基于本研究中评估的数据集内GNN配置的架构族比较。 |
| 可解释性导向特征聚焦 | 所有排名特征 | 前10个SHAP特征 | 特征数 | 20.0000 | 10.0000 | ?10.0000 | 无重新训练的事后SHAP特征优先级排序摘要。 |

对于语义特征对齐，未对齐的跨数据集设置没有产生有效的可评分迁移运行，因为处理后的数据集不共享相同的数值特征架构。因此，有效迁移行中的0.0000值是指可用的可评分未对齐运行计数，而不是测量的F1分数。同样，平均迁移F1行中显示的0.0000参考值应被理解为未对齐架构下不可用/不可评分的迁移，而不是真正的零预测性能。在确定性的语义对齐后，15个迁移评估变得可评分，对齐的平均迁移F1为0.4730。

完整特征和简化特征的比较代表了所评估特征模式之间的直接比较。平均数据集内F1从完整特征配置下的0.9351降至简化特征配置下的0.9053，对应差异?0.0298。由于简化模式基于相关性驱动的冗余控制，而不是基于SHAP选定子集的重新训练，应将其解释为特征减少敏感性结果，仅是可解释性导向特征优先级排序的代理。架构族行比较了所评估的ML、DL和GNN配置的平均数据集内F1值。报告的均值分别为ML的0.9891、DL的0.9878和GNN的0.6465。这些值刻画了模型族在所实施的表格和行为图设置下的行为；它们不构成对一种架构与另一种架构的受控因果比较。

SHAP聚焦行通过将从20个特征减少到前10个特征来总结事后特征优先级排序。该行不暗示重新训练结果；它报告的是可解释性导向的特征计数摘要，而不是预测性能的变化。总体而言，表9应被理解为本研究中评估的配置的比较敏感性证据，而不是单独隔离组件的因果效应证明。

5.6. SHAP可解释性结果

全局SHAP分析根据平均绝对SHAP值对影响性流量特征进行排序。排名最高的特征包括http_trans_depth、number、http_version、ack_count、dst_port、src_pkts和header_length。这些特征代表了HTTP行为、数据包计数、端口信息和流量结构的方面，对模型输出有较强贡献。然而，SHAP归因指示模型依赖性而非因果重要性，也可能反映数据集特定特征[10]。生成的特征重要性排序总结在表10中，报告了排名最高流量特征的平均绝对SHAP值。

表10. 顶级SHAP特征重要性值。
| 特征 | 平均绝对SHAP |
|---|---|
| http_trans_depth | 10.0238 |
| number | 6.9690 |
| http_version | 6.6109 |
| ack_count | 4.3909 |
| dst_port | 3.2342 |
| src_pkts | 2.6335 |
| header_length | 1.7933 |
| min_packet_length | 1.7187 |
| src_ip_bytes | 1.6979 |
| dst_ip_bytes | 1.6339 |
| dst_pkts | 0.9705 |
| https | 0.8995 |
| fwd_packet_length_max | 0.8096 |
| src_port | 0.6785 |
| udp | 0.6706 |

该排序由http_trans_depth主导，其次是number和http_version，而ack_count、dst_port、src_pkts和header_length形成下一组相对有影响力的特征。归因在前端流量特征中的集中化在图7中也明显可见。与其余特征相比，http_trans_depth的大得多的平均绝对SHAP值表明，在所分析的预测中，模型特别强烈地依赖此特征。尽管如此，这些归因幅度应被解释为模型行为的度量，而非攻击机制的因果证据。

下载：下载高分辨率图像（294KB）
下载：下载全尺寸图像
图7. 所评估模型的全局SHAP特征重要性图。

5.7. 统计和计算分析

使用配对t检验和Wilcoxon符号秩检验对六个匹配基准任务进行了探索性配对比较，针对选定的模型对和指标。表11中报告的六个检验使用未调整的p值；没有实施多重比较校正。基准任务是异质评估设置，而不是来自共同总体的重复随机试验。因此，这些检验是这些任务的描述性敏感性分析，不应被解释为普遍模型族优越性的确认性证据。

表11. 所评估基准任务之间的配对统计比较。
| 比较 | 指标 | 配对数 | 模型A均值 | 模型B均值 | 平均差异 | 配对t统计量 | 配对t p值 | Wilcoxon统计量 | Wilcoxon p值 |
|---|---|---|---|---|---|---|---|---|---|
| RandomForest vs CNN1D | F1分数 | 6 | 0.9997 | 0.9942 | 0.0055 | 1.6698 | 0.1558 | 0.0000 | 0.0312 |
| RandomForest vs CNN1D | ROC-AUC | 6 | 1.0000 | 0.9996 | 0.0004 | 2.1200 | 0.0875 | 0.0000 | 0.0312 |
| RandomForest vs GraphSAGE | F1分数 | 6 | 0.9997 | 0.7201 | 0.2796 | 1.8417 | 0.1249 | 0.0000 | 0.0312 |
| RandomForest vs GraphSAGE | ROC-AUC | 6 | 1.0000 | 0.5766 | 0.4234 | 5.3146 | 0.0032 | 0.0000 | 0.0312 |
| CNN1D vs LSTM | F1分数 | 6 | 0.9942 | 0.9755 | 0.0187 | 1.7657 | 0.1377 | 0.0000 | 0.0312 |
| CNN1D vs LSTM | ROC-AUC | 6 | 0.9996 | 0.9952 | 0.0044 | 2.1656 | 0.0826 | 0.0000 | 0.0312 |

所评估基准任务之间的统计比较总结在表11中，包括配对均值、平均差异、检验统计量和相应的p值。

对于随机森林与GraphSAGE的ROC-AUC，均值分别为1.0000和0.5766，平均差异为0.4234，配对t = 5.3146（未调整p = 0.0032），Wilcoxon统计量 = 0.0000（未调整p = 0.0312）。尽管这些未调整的p值低于0.05，但它们被报告为探索性任务条件结果，而非确认性显著性，因为没有预指定多重校正，且仅有六个异质基准对可用。

其他配对t检验p值范围为0.0826到0.1558，而所有报告的Wilcoxon比较对于六个非零对产生最小双尾值0.0312。这种依赖检验的模式反映了小的匹配样本和一致的差异符号，而不是大样本的普遍优越性估计。表11因此为透明性保留了未调整的统计量，但没有任何比较在多重控制后被呈现为确认性，且发现不应被推广到所评估的基准任务之外。

除统计显著性外，还检查了所评估模型的计算特性，以评估预测性能和计算要求之间的权衡。训练时间估计、批量推断延迟和参数量总结在表12中。

表12. 模型复杂性和计算成本总结。
| 模型名称 | 模型族 | 训练时间估计（秒） | 推理延迟（毫秒/1024） | 参数量 |
|---|---|---|---|---|
| LogisticRegression | ML | N/A | 0.1135 | N/A |
| XGBoost | ML | 0.0000 | 0.9647 | N/A |
| LightGBM | ML | 2.0000 | 1.6552 | N/A |
| SVM | ML | 276.0000 | 561.5210 | N/A |
| MLP | DL | 12.0000 | 0.2469 | 10881.00 |
| CNN1D | DL | 16.0000 | 2.6194 | 18145.00 |
| LSTM | DL | 34.0000 | 4.1688 | 17217.00 |
| GraphSAGE | GNN | 2.0000 | 23.2544 | 10882.00 |
| GAT | GNN | 8.0000 | 363.6217 | 49986.00 |
| RandomForest | ML | N/A | N/A | N/A |

延迟测量范围从逻辑回归每1024样本0.1135毫秒和MLP的0.2469毫秒，到XGBoost的0.9647毫秒、LightGBM的1.6552毫秒、CNN1D的2.6194毫秒和LSTM的4.1688毫秒。GraphSAGE和GAT分别需要23.2544毫秒和363.6217毫秒，而SVM需要561.5210毫秒。随机森林在报告结果中延迟和参数量为N/A，因此不推断该模型的值。

神经配置包含MLP的10,881个可训练参数、CNN1D的18,145个、LSTM的17,217个、GraphSAGE的10,882个和GAT的49,986个。

GAT因此在所评估的配置下结合了相对较高的参数计数和显著更高的推理延迟。报告的延迟和训练时间值应被解释为实现相关的比较测量，而非硬件无关的部署基准。这些相对测量可以为部署权衡提供参考，但实际选择也取决于目标硬件、吞吐量需求、特征可用性和可接受的检测延迟。6. 讨论 6.1. 数据集内与跨数据集性能 数据集内结果显著强于许多迁移结果。这一差距表明，精选划分下的基准可分性并不能保证在源到目标偏移下保持稳定行为。这一区别对物联网部署尤为重要，因为流量特征因设备群体、采集环境和特征提取流水线而异。 6.2. 语义特征对齐的影响 语义对齐通过用规范的流量语义替换不兼容的数据集特定模式，使得直接迁移评估成为可能，但它并不能使域在统计上等价。如表13所述，单种子逻辑回归诊断发现，将表示限制为六个普遍可用的语义，使CICIoT2023→TON-IoT的F1从0.6667变为0.4585，而ROC-AUC从0.8285升至0.9097；CIC-DDoS2019→CICIoT2023的F1从0.7066变为0.1028，ROC-AUC从0.9550变为0.6683。TON-IoT→CICIoT2023没有变化。固定可用性指示器复现了原始分数，因为每个指示器在源域内是常数。这些单种子结果说明了敏感性，而非一种表示的优越性。 表13. 逻辑回归对对齐特征表示的敏感性（种子42）。 方向 | 原始F1 | 通用六项F1 | 指示器F1 | 原始ROC-AUC | 通用六项ROC-AUC | 指示器ROC-AUC CICIoT2023→TON-IoT | 0.6667 | 0.4585 | 0.6667 | 0.8285 | 0.9097 | 0.8285 TON-IoT→CICIoT2023 | 0.9944 | 0.9944 | 0.9944 | 0.9919 | 0.9919 | 0.9919 CIC-DDoS2019→CICIoT2023 | 0.7066 | 0.1028 | 0.7066 | 0.9550 | 0.6683 | 0.9550 表14报告了受控的三种子结果。对于CICIoT2023→TON-IoT，结构零的均值F1为0.6505±0.0281，使用特定方向的仅源填补/排除的均值为0.4857±0.0013，结构零加指示器的均值为0.6465±0.0345。对于TON-IoT→CICIoT2023，A和B产生了相同的均值F1 0.9943±0.0001，而C产生了0.6666±0.0000。对于CIC-DDoS2019→CICIoT2023，A、B和C的均值F1分别为0.7106±0.0011、0.7104±0.0017和0.7255±0.0070。数值是种子42、123和2026下的均值和样本标准差；每个目标样本在一个方向内是固定的。表13在早期的种子42诊断中使用了固定的数据集可用性指示器，而表14中的条件C既增加了填补前的行缺失又增加了结构可用性指示器；这些是不同的表示。 表14. 在仅源训练预处理和替代结构缺失表示下的受控跨数据集逻辑回归性能。数值是种子42、123和2026下的均值±标准差；目标样本在每个方向内是固定的。 方向 | 条件 | F1 | ROC-AUC | PR-AUC | Precision | Recall | FPR CICIoT2023→TONIoT A: 结构零 | 0.6505±0.0281 | 0.5093±0.0145 | 0.6504±0.0083 | 0.4914±0.0149 | 0.9625±0.0650 | 0.9948±0.0091 CICIoT2023→TONIoT B: 仅源填补；排除源不可用特征 | 0.4857±0.0013 | 0.5093±0.0145 | 0.6505±0.0083 | 0.9886±0.0017 | 0.3219±0.0011 | 0.0037±0.0006 CICIoT2023→TONIoT C: 零加指示器 | 0.6465±0.0345 | 0.4804±0.0068 | 0.6351±0.0085 | 0.4893±0.0184 | 0.9533±0.0794 | 0.9927±0.0118 TONIoT→CICIoT2023 A: 结构零 | 0.9943±0.0001 | 0.9919±0.0000 | 0.9629±0.0001 | 0.9921±0.0000 | 0.9966±0.0002 | 0.0080±0.0000 TONIoT→CICIoT2023 B: 仅源填补；排除源不可用特征 | 0.9943±0.0001 | 0.9919±0.0000 | 0.9629±0.0001 | 0.9921±0.0000 | 0.9966±0.0002 | 0.0080±0.0000 TONIoT→CICIoT2023 C: 零加指示器 | 0.6666±0.0000 | 0.9919±0.0000 | 0.9630±0.0001 | 0.5000±0.0000 | 0.9998±0.0000 | 1.0000±0.0000 CICDDoS2019→CICIoT2023 A: 结构零 | 0.7106±0.0011 | 0.9543±0.0026 | 0.9683±0.0012 | 0.5644±0.0021 | 0.9592±0.0030 | 0.7404±0.0084 CICDDoS2019→CICIoT2023 B: 仅源填补；排除源不可用特征 | 0.7104±0.0017 | 0.9543±0.0028 | 0.9683±0.0012 | 0.5641±0.0029 | 0.9593±0.0033 | 0.7412±0.0109 CICDDoS2019→CICIoT2023 C: 零加指示器 | 0.7255±0.0070 | 0.9544±0.0032 | 0.9687±0.0017 | 0.5838±0.0104 | 0.9582±0.0037 | 0.6836±0.0311 这些效果在不同方向上并不一致。相对于A，B使CICIoT2023→TON-IoT的均值F1变化为?0.1648，TON-IoT→CICIoT2023为0.0000，CIC-DDoS2019→CICIoT2023为?0.0002。相对于A，C使均值F1分别变化为?0.0040、?0.3278和+0.0149。在TON-IoT→CICIoT2023中，C保留了均值ROC-AUC 0.9919，而均值F1降至0.6666，均值假正率接近1.0000，这表明是固定阈值/校准失败，而非排序辨别力丧失。图8总结了均值F1和ROC-AUC，而图9显示了它们的方向和条件特定分歧（均值F1减去均值ROC-AUC）。下载：下载高分辨率图像（255KB）下载：下载全尺寸图像 图8. 三种受控预处理/表示条件下的均值F1分数和ROC-AUC。误差线显示种子42、123和2026下的标准差。 下载：下载高分解析图像（199KB）下载：下载全尺寸图像 图9. 阈值化与排序性能之间的方向性分歧，计算为每个受控条件下均值F1减去均值ROC-AUC。负值表明固定阈值F1低于排序性能。 图9中的方向性分歧强化了没有任何条件普遍优越的观点。条件B在源数据集缺乏语义字段时改变了可用特征集，而条件C改变了维度并可能暴露域级可用性模式。因此，该比较测量的是表示敏感性，并未独立确定数值零记号的因果效应。三种子和一个分类器也无法建立广泛的统计泛化。 6.3. 可解释性洞察 SHAP结果有助于识别哪些特征主导模型决策，并为分析员检查提供依据。这些发现应被解释为模型归因证据，而非因果证据。协议和包计数特征的高SHAP值对审计有用，但它们也促使未来工作中进行额外的捷径特征分析。 6.4. GNN和图构建的局限性 GNN发现仅适用于带自环的有向行为kNN图。图构建在节点掩蔽之前进行，因此数据集内评估是转导式的：测试节点特征影响连接和消息传递，而测试标签保持隐藏。图按数据集分别构建，未构建源-目标图。k敏感性实验表明在k=3–20下变化有限，但该诊断的预处理在掩蔽前对整个图进行标准化；因此其值不应被解释为严格的归纳迁移证据或证明kNN是最优的。 6.5. 跨数据集迁移不对称性 迁移不对称性应通过指标行为和测量的特征偏移来理解。当固定分类阈值产生较弱F1时，ROC-AUC可以保持相对较高，因为ROC-AUC评估跨阈值的排序。域偏移分析表明多个对齐特征存在大幅分布差异，特别是在一个数据集中缺失或零填充的特征。这些差异为为什么迁移方向很重要提供了定量解释。 6.6. 效度威胁 效度威胁包括基准偏见、确定性首次配额采样、严重的CIC-DDoS2019样本不平衡（4319良性对250000 DDoS）、可能的重复流、数据集内划分前拟合的遗留预处理、遗留迁移协议中目标-wise无标记中位数填补、不可用语义的零编码、缺失端点拓扑以及转导式行为图构建。主要基线预测未按样本保留，限制了回顾性配对误差分析。表11的测试是探索性的，使用六个异构匹配任务和非调整p值，不支持确认性模型优越性主张。受控实验通过保留27组每样本预测改进了证据，但重用了固定基准样本，评估了一个分类器和三种子，并比较了改变特征包含或维度的表示。因此，它支持方向特定敏感性结论，而非关于零填充的普遍或因果主张。 6.7. 实际部署考虑 部署需要可靠的特征提取、流式推理、校准阈值、漂移监控以及在本地流量上的定期重新评估。较低延迟的模型可能更适合边缘部署，而较重的DL或GNN模型需要在现实吞吐量约束下进行额外的运行时评估。因此，当前的基准是可复现的研究基线，而非完整的部署系统。 7. 结论 本研究在CICIoT2023、CIC-DDoS2019和TON-IoT上对已有的ML、DL和行为图GNN模型进行了基准测试，同时使异构模式成为评估的明确组成部分。接近上限的数据集内性能与强方向性迁移形成对比，展示了为什么随机划分精度不足以证明部署泛化。确定性语义对齐使可评分的源到目标实验成为可能，而SHAP支持对学习到的特征依赖进行事后审计。遗留迁移协议使用无标记的数据集特定中位数填补，然后进行源拟合缩放，报告的GNN结果是数据集内的转导式实验，而非跨数据集图迁移。一项新的27次受控实验证明，在固定基准样本上严格的仅源训练预处理是可行的，并且替代结构缺失表示具有强烈的方向依赖效应。然而，排除源不可用特征和添加指示器改变了表示，因此该实验并未确定零填充本身的因果效应。语义协调对兼容性有用，但无法消除数据集偏移、结构缺失、校准敏感性或图设计假设。未来工作应在分类器上扩展受控协议，独立变化不可用特征编码，同时在可用端点元数据时评估校准决策阈值和真正归纳通信图。 Vinay Tila Patil | Shailesh Shivaji Deore 印度Dhule，SSVPS's Bapusaheb Shivajirao Deore工程学院，计算机工程系