《Journal of Cybersecurity and Privacy》：A Lightweight Approach for Adaptation of Language Models for Cybersecurity Named Entity Recognition
编辑推荐：
网络安全命名实体识别（CyberNER）通常依赖对通用语言模型（LM）的微调，然而其WordPiece分词器会将函数名、版本字符串等复合技术标识符切分为多个子词片段。从头训练具备领域专用分词器的模型计算代价高昂，持续预训练通常保留原有分词器，且二者均需在领域词
网络安全命名实体识别（CyberNER）通常依赖对通用语言模型（LM）的微调，然而其WordPiece分词器会将函数名、版本字符串等复合技术标识符切分为多个子词片段。从头训练具备领域专用分词器的模型计算代价高昂，持续预训练通常保留原有分词器，且二者均需在领域词汇演化时重复执行。研究人员提出一种低成本替代方案：在微调前将少量领域术语融合进通用LM词表。候选术语按WordPiece切分数量分组，组内以TF-IDF排序，并在二十种配置下定位词表预算。在自动标注的STUCCO-CNC语料（13.8 K句，0.81 M词元）上，将切分为5片及以上的250个术语融入BERT-large-cased，使5折交叉验证F1由96.66±0.25提升至96.91±0.15（最优TF-IDF配置）；在用于配置选择的80/20划分上，F1由97.20升至97.63，超越CySecBERT（97.45）等五分之四领域预训练编码器，与SecureBERT（97.83）仅差0.20。不同于SecureBERT持续预训练所用约1.07 B词元，该方法无需预训练，单张24 GB GPU上微调约1.5小时。表征诊断（t-SNE、簇效度指标、簇内轮廓系数与注意力熵）显示融合术语簇无负评分成员。在人工标注的CyberNER-STIX语料（约23.5 K句，四数据集对齐至STIX 2.1）上，配置固定后评估，融合使实体级F1提升约1.0点（词元级1.57点），最优配置（80.10）超越该语料已发表结果（72.30，BERT-base-cased），增益主要源于更大骨干网络。融合在两语料均优于基线，但选择规则仅于CyberNER-STIX上稳定优于随机选取，收益具数据集依赖性。所有增益较小且仅为指示性，非统计确证结论。
研究背景与问题提出
网络安全命名实体识别（CyberNER，Cybersecurity Named Entity Recognition）旨在将漏洞披露、威胁情报与厂商公告中的自由文本转化为结构化字段，如受影响应用、厂商、版本、文件与函数等，是威胁情报流水线的重要前端环节。近年来漏洞披露规模持续增长，2024年CVE（Common Vulnerabilities and Exposures）发布量达40,009条，较2023年增长38.8%，而人工结构化标注严重滞后，绝大多数记录以非结构化文本形式到达防御方。
现有方法面临三类核心矛盾。其一，基于Transformer编码器（如BERT，Bidirectional Encoder Representations from Transformers）的微调范式虽在通用文本表现良好，但其WordPiece子词分词器会将http_request_split_value等复合技术标识符碎片化为多个片段，模型难以将其作为整体语义单元感知。其二，持续预训练（如CyBERT、CySecBERT、SecureBERT）或从头训练领域模型（如SecBERT、SecRoBERTa、CTI-BERT）虽能学习领域表征，但需百万至十亿级未标注语料与多卡算力，且领域词汇持续演化时须反复重训。其三，适配器与低秩适应（LoRA，Low-Rank Adaptation）等参数高效方法不改变分词器，仍无法缓解碎片化问题。
在此背景下，研究人员提出一种介于“全量领域预训练”与“纯任务微调”之间的轻量级路径：词汇融合（vocabulary fusion）——不重训分词器，仅将高价值领域术语注册为整词令牌，在任务微调阶段学习其嵌入。
研究目标与总体结论
研究人员以BERT-large-cased为骨干，设计了一套“按碎片化深度分层＋TF-IDF排序＋预算寻优”的词汇选择规则，并在两类异质语料上验证：自动标注的STUCCO-CNC（源自NVD、Metasploit与微软安全公告）与人工标注、对齐至STIX 2.1标准的CyberNER-STIX（由CyNER、DNRTI、APTNER、AttackER四库调和而成）。
核心结论是：仅融合250个被基础分词器切分为5片及以上的术语，即可在几乎不增加训练成本的前提下，使CyberNER的F1获得小幅但一致的提升；在STUCCO-CNC单划分上达到97.63，逼近耗用1.07 B词元持续预训练的SecureBERT（97.83），并超越CySecBERT等多数领域编码器。该方法无需持续预训练，单卡24 GB显存约1.5小时完成微调。但增益幅度小、具数据集依赖性，且选择规则相对随机选取的优势仅在CyberNER-STIX上成立。
关键技术方法概览
研究人员采用三条关键技术：第一，候选术语按WordPiece碎片化片数分层，仅在“被切为≥2片”的越词表（OOV）术语内，以词频－逆文档频率（TF-IDF）在层内排序，优先选高度碎片化且信息量高的复合标识符；第二，词表预算不作为超参硬设，而在250、500、1000、2000及全量候选上系统扫描，定位性能拐点；第三，通过Hugging Face接口将选中术语作为整词加入分词器，嵌入矩阵扩容后由任务微调端到端更新，不接任何持续预训练。样本来自STUCCO-CNC（13.8 K句）与CyberNER-STIX（约23.5 K句，四源威胁情报标注库）。
研究结果
词汇预算敏感性分析
研究人员在STUCCO-CNC上按2/3/4/5+四个碎片化层级分别测试不同词表预算。结果显示：2片术语全量加入反而降分；3片与4片在小预算下微幅提升；5+片层在250词预算下收益最大（F1 97.63），预算扩至2000仍正收益，全量候选则回落至略低于基线。说明“加得越多越好”不成立，预算存在最优区间，过大预算引入低频稀见词，使新嵌入更新不足、精度下降。
适配策略对比（S0–S5）
研究人员将所提S5（词汇融合）与任务微调S0、小数据重训S1、中度领域持续预训练S2（CyBERT/SecureBERT/CySecBERT）、大数据从头训练S3（CTI-BERT/SecBERT/SecRoBERTa）、LoRA适配生成式大模型S4横向比对。在相同任务头与训练协议下，S5以最低算力逼近S2/S3强基线，说明词汇层干预可替代部分持续预训练收益。
消融与选择规则
在固定250词预算下，研究人员消融“碎片化分层”“整词限制”“TF-IDF排序”“原始词频”“随机选取”。STUCCO-CNC上随机选词亦可接近融合收益，表明该语料增益部分来自“加了领域词”而非“按规则选词”；但在CyberNER-STIX上，TF-IDF＋高碎片化规则显著优于随机，证明选择规则价值依赖语料实体分布。
表征诊断
研究人员抽取融合术语嵌入，用t-SNE可视化，并结合轮廓系数（Silhouette）、Davies–Bouldin指数、Calinski–Harabasz指数、归一化互信息（NMI）与注意力熵诊断。结果显示融合后术语在嵌入空间内聚性增强，无负轮廓成员；注意力分析表明词汇融合改变了注意力头的重要性分布，但研究者将其界定为诊断信号而非因果解释。
讨论与结论翻译
讨论部分指出，词汇融合是一种低成本、可增量的领域自适应策略：当新漏洞引入新函数名、新版本标识时，仅需追加少量整词而非重训全模型，避免了灾难性算力回收。但作者也明确其边界——增益微小、非统计显著，选择规则并非普适，且未证明对通用语言能力的保持性。
研究结论可归纳为：在CyberNER场景下，将“高碎片化＋高TF-IDF”领域术语以整词形式融合进通用LM词表，并仅通过任务微调学习嵌入，能以约1.5小时单卡训练逼近十亿词元级持续预训练模型效果；该策略在两异质语料均优于无融合基线，但是一种指示性改进而非突破性跃升，其实用价值在于可演进性与计算经济性，而非绝对性能颠覆。
论文核心边界已经明确，接下来可以选择一个方向继续深化：
设计验证融合增益显著性的统计实验 给出词汇融合方法的工程落地框架 设计验证融合增益显著性的统计实验 给出词汇融合方法的工程落地框架
