PRISM-SE：基于非循环代理指标的校准社会工程风险评估

《Computers & Security》：PRISM-SE: Calibrated social engineering risk assessment with non-circular proxies

　　

摘要社会工程攻击利用的是人类的弱点。现有模型往往缺乏可解释性，产生未校准的分数，或者将行为变量既作为输入又作为标签重复使用。PRISM-SE（社会工程指标的概率风险指数）是一个针对代理定义的社会工程易感性的、以攻击者条件为依据的、经过校准的且可解释的框架。该框架将漏洞和攻击者能力表示为对齐的矩阵，学习其相互作用，并将由此产生的暴露度映射为经过校准的易感性概率。我们在 1294 名参与者中测试了 PRISM-SE，使用均匀加权的代理行为指标，并在项目层面与预测集进行了直接分离。嵌套交叉验证获得了 AUC 为 0.873、Brier 分数为 0.138，以及合并后的 ECE 为 0.022（Hosmer–Lemeshow p=0.377）。固定截断点敏感性分析显示，与逻辑回归相比具有密切匹配的区分能力；PRISM-SE 在评估范围内 [0.30,0.40] 表现出可接受的观测校准。均匀加权优于点击主导的启发式方法（AUC 0.874 对比 0.860），表明在该人群中强调单一自我报告的点击指标效果较差。在配对增量有效性分析中，非代理 LR 和 PRISM-SE 的 AUC 分别为 0.871 和 0.874（ΔAUC=0.0027，p=0.007）；差异幅度很小，且剩余预测变量仍与代理变量携带大量共享信号。Sobol 指标表明，在指定的 APT 概况下，信息、心理学和上下文是主导的漏洞维度。PRISM-SE 结合了具有竞争力的区分能力与结构化的攻击者-目标建模、跨评估截断点的校准诊断、可审计的心理测量分析，以及组织重新校准和客观钓鱼验证的可复现路径。

引言以人为目标的攻击，尤其是社会工程攻击（SE），持续绕过技术防御。Verizon 的 2024 年报告指出，SE 是涉及人为因素的 68% 数据泄露中的主要途径（Verizon, 2024）。对恶意 URL、网页内容和移动应用程序的技术检测已达到高准确率（da Silva 等，2020；Asiri 等，2024；Lee 等，2025；Erfan 等，2026），但这些方法基于攻击工件运作，并未建模人类信任或服从的决策。将人为因素建模纳入正式的风险评估仍然困难（Mitnick 和 Simon, 2003；Hadnagy, 2018）。

目前关于 SE 易感性的方法分为三类。第一类是基于机器学习的预测模型，根据行为特征和人口统计特征对用户漏洞进行分类（Albladi 和 Weir, 2020；Li 等，2020）。这些模型通常缺乏可解释性，遗漏攻击者行为，并经常存在循环性：行为变量既作为输入特征又作为代理标签（Zhuo 等，2023）。第二类是基于调查和心理学框架提供认知因素的见解，但很少为量化风险引擎提供输入（Parsons 等，2017；Chowdhury 等，2020）。第三类是风险评估模型，如贝叶斯网络和 FAIR，提供结构化的概率推理，但依赖于对人类漏洞的粗略或手动估计（Hubbard 和 Seiersen, 2016；美国国家标准与技术研究院, 2011）。

这三类方法仍然相互孤立。目前没有任何框架能同时提供：(i) 人类漏洞的结构化表示，(ii) 显式建模攻击者-目标的相互作用，(iii) 可检查以集成到量化风险管理中的校准概率输出，以及 (iv) 在预测变量与代理标签空间之间直接进行项目级别的分离。

这种隔离的实际后果是可量化的：网络安全培训已被证明能在不相应提高实际检测能力的情况下增加自我报告的信心（Cartwright 和 Cartwright, 2026），而大量受训员工仍然容易受到社会工程攻击（Hillman 等，2023）。这种信心与能力的差距凸显了基于模型的风险评分需求，该评分能够独立于主观自我评估校准组织漏洞。

PRISM-SE（社会工程指标的概率风险指数）架起了行为建模与概率风险评估之间的桥梁。它将漏洞和攻击者能力表示为对齐的多维矩阵，通过耦合机制建模其相互作用，并将由此产生的暴露度转化为以攻击者概况为条件的代理定义的易感性的校准概率。该框架支持预测估计和漏洞驱动因素的分析分解。我们构建的行为代理在训练所用特征与构建目标标签所用指标之间进行了直接的项目级别分离，在不对构建独立性做出断言的情况下防止直接目标泄露。

我们在 1294 名参与者中使用嵌套的 10 折/内部 5 折分层交叉验证评估了 PRISM-SE。该框架实现了 AUC = 0.873、Brier = 0.138 和合并 ECE = 0.022（95% Bootstrap CI [0.019, 0.048]），同时提供了全局可解释的敏感性指标。在六个固定的代理分数截断点中，PRISM-SE 与逻辑回归相比保持了具有竞争力的区分能力，并在评估范围 [0.30,0.40] 内表现出可接受的观测校准。均匀行为加权优于点击主导的启发式方法（AUC = 0.874 对比 0.860），而剩余的非代理特征与代理变量保留了大量共享信号。样本为基于学生的；该框架为组织重新校准以及针对客观钓鱼结果的验证提供了可复现的基础。

我们的贡献是：(1) 整合心理测量和上下文特征的校准概率易感性模型；(2) 构建行为代理，在代理和预测空间之间进行可审计的直接和确定性派生分离；以及 (3) 经过统计评估的实验框架，包含以攻击者条件为依据的分解。

本文的其余部分如下安排。第 2 节回顾相关工作。第 3 节介绍 PRISM-SE 模型。第 4 节形式化非循环代理。第 5 节详细阐述评估。第 6 节报告结果。第 7 节讨论发现。第 8 节概述局限性。

章节摘录

相关工作当前位于网络安全、行为科学和风险量化交叉领域的工作分为三类：预测机器学习、描述性人为因素分类法和概率风险模型。

问题表述和符号表示考虑在对手 a 的能力概况下评估目标个体 c。目标是估计该个体属于代理定义的高易感性群体的概率：P(S|c,a)，作为以下因素的函数：(i) 目标的多维漏洞概况，(ii) 攻击者的能力，(iii) 其相互作用结构。设 d=5 表示漏洞维度数量，f=7 表示每个维度的因素数量。每个个体由一个……表示。

循环性问题许多 SE 漏洞模型将行为变量（报告的点击、响应速度）同时作为输入特征和易感性代理标签。这造成了循环依赖：??b?? 且 ??b→Y，其中 ? 是特征空间，Y 是代理标签。结果是目标泄露：模型预测效果好，因为它直接访问了目标构建，从而使性能估计失效（Kaufman 等，2012）。

行为代理定义我们将代理源问题定义为 Q15/信任、Q31/速度、Q32/帮助，和……

目标实验从四个标准评估 PRISM-SE：具有竞争力的区分能力、校准质量、以攻击者条件为依据的可解释性，以及直接的项目级别分离。评估还通过非行为基线量化上下文混淆。

数据集描述数据集包含 N=1294 名来自匿名的 Google 表单调查的参与者，该调查于 2024 年 1 月至 3 月期间进行。问卷包含 130 个项目：35 个漏洞因素映射到 5 × 7 分类法（表 4），30 个项目……

预测和校准性能表 11 呈现了为每个模型从合并的外折预测中计算的指标，使用相同的折次、标签和 10-bin ECE 定义。PRISM-SE 实现了 AUC =0.873、Brier =0.138 和 ECE =0.022。逻辑回归实现了 AUC =0.871 和 ECE =0.021；等渗 LR 的合并 ECE 最低（0.019），而 PRISM-SE 保留了其显式的以攻击者条件为依据的暴露结构。合并的 ECE（0.022）是在连接所有外折预测后计算的，并且低于平均的……

校准和结构化分解PRISM-SE 和非代理逻辑回归在配对增量有效性分析中区分能力接近（AUC 0.874 对比 0.871，ΔAUC=0.0027，p=0.007）。差异在统计上可检测但很小，不被视为普遍预测优越性。在固定的 0.30 截断点处，PRISM-SE 的 ECE =0.027，而 LR 的 ECE =0.021，HL p=0.470 对比 p=0.603；PRISM-SE 还在 0.35 和 0.40 处通过了校准诊断，而 0.25 及以下未通过。耦合矩阵 ??a……

代理标签和真实情况缺乏真实攻击结果是最关键的局限性。我们的代理标签是基于自我报告的行为指标通过受控的中位数分割构建的，而非基于观察到的钓鱼活动结果。非循环构造防止了针对预测路径的直接和确定性派生的目标泄露，而置换分析、VIF 和互信息诊断描述了残余关联；它们并未建立外部标准有效性。

结论PRISM-SE 是一个以攻击者条件为依据的、经过校准的且可解释的针对代理定义的社会工程易感性的框架。主要的嵌套-CV 分析得出 AUC =0.873、Brier =0.138、合并 ECE =0.022，以及 Hosmer–Lemeshow p=0.377。在固定截断点 0.30–0.40 范围内，它与逻辑回归相比具有竞争力的区分能力，同时具有可接受的观测校准和特定的攻击者敏感性分解。其结构化耦合、非循环代理构建……

CRediT 作者贡献声明Stephane Gael R. Ekodeck：撰写——审阅与编辑，撰写——原始草稿，软件，方法论，概念化。Serge Alain Ebele：撰写——审阅与编辑，撰写——原始草稿，数据整理，概念化。Vivien Beyala Kamgang：验证，软件，调查，正式分析。Eugene Geraldin Awono Atangana：撰写——原始草稿，可视化，软件，资源，调查，概念化。Stephane Willy Mossebo Tcheunteu：撰写——审阅与编辑……

伦理批准和知情同意本研究涉及对人类参与者进行的匿名、自愿在线调查。在调查开始时，向所有受访者展示了一份信息表，解释了研究目的、参与的自愿性质以及不收集个人可识别信息。通过完成并提交问卷，参与者提供了知情同意。虽然调查是匿名的且设计为最低风险研究，但它包含行为……

资金本工作未获得特定资金。

利益冲突声明作者声明他们不知道任何已知的竞争经济利益或个人关系，这些利益或关系可能已影响本论文中报告的工作。

致谢作者感谢为研究贡献了时间和回答的 1294 名参与者，并感谢 UMMISCO、LIRIMA 和喀麦隆雅温得第一大学的支持。作者使用了 AI 辅助语言工具（Gemini）来提高手稿的可读性和语言。在使用这些工具后，作者根据需要审阅和编辑了内容，并对出版物的内容承担全部责任。

Stephane Gael R. Ekodeck 获得了喀麦隆雅温得第一大学的计算机科学博士学位。他是一名高级讲师和首席网络安全研究员。他的研究专注于以人为中心的网络风险，包括一个社会工程漏洞的多维概率模型，该模型在五个维度上映射攻击状态。他还研究 AI 驱动的勒索软件检测以及 MITRE ATT&CK 上下文化。Ekodeck 博士已发表多篇同行评审的出版物……

Stephane Gael R. Ekodeck | Serge Alain Ebele | Vivien Beyala Kamgang | Eugene Geraldin Awono Atangana | Stephane Willy Mossebo Tcheunteu | Damaris Belle M. Fotso | Georges Bell Bitjoka | Julius Marcellin Nkenlifack

喀麦隆雅温得，雅温得第一大学，LIRIMA