《Digital Communications and Networks》：PLDKT: Few-Shot Chinese NER for Network Communication Environment and Content Security via Prompt Learning and Domain-invariant Knowledge Transfer
编辑推荐：
从网络威胁情报与社交网络内容中提取恶意软件、热点事件及相关组织或个人等相关实体，对保障网络通信环境与内容安全至关重要。中文命名实体识别（Named Entity Recognition，NER）是从非结构化中文文本中提取此类实体的使能技术。然而，受高昂标注成本
从网络威胁情报与社交网络内容中提取恶意软件、热点事件及相关组织或个人等相关实体，对保障网络通信环境与内容安全至关重要。中文命名实体识别（Named Entity Recognition，NER）是从非结构化中文文本中提取此类实体的使能技术。然而，受高昂标注成本与社交网络内容高度动态性的影响，该领域标注数据往往稀缺，使少样本中文NER尤为重要。现有研究主要通过迁移学习或提示学习缓解标注稀缺问题，前者在跨域差异显著时性能退化，后者难以生成适配少样本场景的有效提示。为缓解上述挑战，研究人员提出PLDKT——一个融合提示学习（Prompt Learning）与域不变知识迁移（Domain-invariant Knowledge Transfer）的少样本中文NER框架。PLDKT首先从多个标注丰富的领域学习可迁移的实体片段知识。为将共享实体片段知识与领域特有特征解耦，软提示在正交约束下被分解为域不变分量与域特有分量。随后，所学域不变提示被迁移至目标少样本领域用于实体片段检测，并由基于置信度的自适应策略引导，该策略动态调整两分量的更新强度。最后，通过联合利用候选实体片段的字符级、词级与句子级表示完成实体分类。在三个公开中文数据集上的实验表明，PLDKT优于十个代表性基线，在APTIE、CDTier与Weibo上相较最强基线分别取得1.79、1.77与2.12个百分点的绝对平均F1值提升，证实了其用于少样本中文NER的有效性。
研究背景方面，互联网的普及使网络攻击与有害内容等风险持续蔓延，对网络通信环境与内容安全构成严峻挑战。一方面，攻击者利用高度定制化技术与恶意软件发起网络攻击，使网络通信环境面临高级持续性威胁（Advanced Persistent Threats，APTs）等日益复杂的威胁，分析网络威胁情报（Cyber Threat Intelligence，CTI）以获取可操作威胁信息对维护网络通信环境安全至关重要；另一方面，恶意用户利用社交网络平台传播虚假信息与仇恨言论等有害内容，检测此类有害内容对保障网络内容安全具有重要作用。然而，绝大多数CTI报告与社交网络内容以非结构化自然语言文本呈现，威胁情报分析与网络内容治理均依赖从文本中提取恶意软件、热点事件及相关组织或个人等实体，这些实体进一步支撑事件分析与知识图谱构建等下游任务。命名实体识别（NER）旨在从非结构化文本中提取结构化实体信息，已成为该领域的基础技术之一。中文NER在网络通信环境与内容安全领域面临的首要障碍是标注数据不足：构建充分的网络安全语料库既需数据标注专业知识又需领域网络安全知识，标注过程成本高、耗时长；同时社交网络内容的高度动态性在新兴话题驱动下不断产生新的领域特有实体。因此，许多现实场景本质上属于少样本设置，仅有少量标注样本可用于模型训练，常规监督NER模型易过拟合且泛化能力差，提升少样本条件下中文NER性能构成一个实际且重要的研究问题。为缓解标注稀缺，现有中文NER研究大致分为三类范式：外部词典方法、迁移学习方法与预训练语言模型方法。外部词典方法通过引入外部知识资源中的词汇或字形结构信息增强汉字表示，如Lattice LSTM、WC-LSTM、SoftLexicon与MECT，但此类方法仍依赖充足的监督数据与稳定的词典资源，不适用于少样本领域。迁移学习方法试图通过将标注丰富源域的知识迁移至低资源目标域来缓解标注稀缺，如StructShot、CONTaiNER以及Liu等人通过分离源域与目标域实体减少跨域干扰，但由于通用域文本与CTI报告间存在显著分布偏移，直接迁移领域特有知识常导致无效甚至负迁移；CTI报告中实体表述、上下文模式与标签语义与开放域语料差异显著，限制了常规跨域迁移方法的适用性。预训练语言模型方法凭借上下文语义知识取得较强性能，部分研究将预训练模型与中文词汇特征结合，如LEBERT、PCBERT与FE-CFNER，但这些方法仍需充足目标域监督以实现有效适配；另一类工作探索用于NER的提示学习，然而为中文CTI人工设计有效提示较为困难，提示对措辞与格式敏感且高度依赖专家知识；Lester等人开创的提示调优将提示表示为可训练连续向量，经P-tuning、MPT、MPE3与INSNER进一步发展，但在少样本CTI领域，可训练提示难以充分优化，可能导致提示效果次优。为此，研究人员提出PLDKT——一个用于少样本中文NER的提示学习与域不变知识迁移框架，遵循实体片段检测与实体分类两阶段范式：第一阶段从多个源域学习可迁移的域不变片段检测知识，将软提示分解为域不变与域特有分量并以正交约束减少冗余、鼓励互补知识学习，随后将域不变提示迁移至少样本目标域，由置信度引导策略自适应平衡域不变知识精炼与域特有适配；第二阶段融合候选片段的多级语义表示以实现更准确的中文少样本实体分类。本研究主要贡献为：（1）提出PLDKT这一面向少样本中文互联网安全NER的域不变知识迁移提示学习框架，分解软提示为正交约束下的域不变与域特有分量，并引入置信度引导自适应以提升提示可迁移性与跨域鲁棒性；（2）设计分层语义实体分类模块，联合建模候选实体片段的字符级、词级与句子级表示，多粒度特征增强低资源数据下的实体类型判别；（3）在APTIE、CDTier与Weibo三个公开中文基准数据集上于12种少样本设置下开展大量实验，PLDKT以低方差优于八个代表性基线，证明其有效性与鲁棒性。关键技术方法方面，研究采用基于Qwen2-7B的多域软提示调优进行类型无关的实体片段检测，将软提示建模为域不变提示矩阵与低秩域特有矩阵的Hadamard积并施加正交约束；目标域适配阶段复用域不变提示并学习目标域低秩提示矩阵，采用基于教师强制置信度的不确定性加权与学习率调制策略；实体分类阶段分别以bert-wwm-ext、BiLSTM与CNN提取句子级、词级与字符级特征，经门控线性单元（Gated Linear Unit，GLU）融合并以对比学习增强判别性。源域数据集包括贵州大学计算机科学与技术学院提供的CybersecurityNER、中文医学领域CMeEE-V2与科学领域SciCN，测试数据集为APTIE、CDTier与Weibo。研究结果方面，4.3节NER整体性能对比实验表明，PLDKT在三个数据集上均取得最佳平均F1值，分别为84.31%、75.37%与68.02%，相较最强基线PromptCNER分别提升1.79%、1.77%与2.12%，并保持最低平均标准差0.79、1.43与1.03，且随K从100增至648性能持续提升。4.4节与基于大语言模型方法的对比实验表明，PLDKT在每个数据集与训练集设置下均取得最佳F1值，相较最强LLM基线少样本提示取得0.34至4.92点（APTIE）、1.47至7.51点（CDTier）与1.21至5.21点（Weibo）的提升，且多数设置标准差较低。4.5节实体片段检测实验表明，各数据集与设置下精确率、召回率与F1值分别高于81.96%、82.76%与82.36%，APTIE最高（平均94.36%），其次为CDTier（90.40%）与Weibo（84.47%），且随K增大持续提升。4.5.2节参数分析表明，域特有低秩矩阵秩从1增至3时片段检测性能下降，秩1在多数设置下最优，平均召回率达90.18%，且随K从100增至400，秩1与秩3的差距逐渐缩小，故实验取秩为1。4.6节端到端NER分析表明，PLDKT在各数据集与设置下取得均衡的精确率与召回率，平均F1值分别为84.31%、75.37%与68.02%。4.7节实体分类实验的有效性验证表明，实体分类模块在APTIE、CDTier与Weibo上平均精确率分别为89.85%、88.16%与82.86%，总体平均精确率达86.95%；消融实验表明，去除字符级、词级、二者、句子级特征及GLU均导致一致的精确率下降，其中去除句子级特征与GLU降幅最大，且同时去除字符与词级特征的降幅大于单独去除任一项，说明两类词汇特征具互补性。针对正交约束与置信度引导自适应的进一步消融表明，去除正交约束使平均F1值分别下降0.78%、1.00%与1.10%，去除置信度引导自适应降幅更大，分别为1.26%、1.43%与1.58%，二者同时去除则进一步下降1.61%、1.84%与1.97%，验证两模块互补。4.8节性能—效率权衡分析表明，PLDKT在Weibo与CDTier上相较PromptCNER与SLNER具有更低端到端延迟与更高吞吐，BertBC与Lattice-LSTM因单阶段序列标注流水线而更快，PLDKT因仅对检测到的片段进行实体分类而避免穷举候选枚举与重复候选特定提示评估，相对两类提示基线具更优推理效率。讨论部分总结指出，PLDKT从标注丰富源域学习可迁移的类型无关实体片段知识并迁移至少样本目标域用于片段检测，缓解异构网络文本中的跨域语义差异；通过将提示分解为域不变与域特有分量、引入正交约束减少冗余并采用置信度引导提示自适应策略平衡共享知识保持与目标域适配，提升提示可迁移性与适应性；最终融合字符级、词级与句子级语义特征实现更准确的实体分类。未来工作将探索统一的边界检测与类型分类，以及多域软提示调优在低资源社交信息抽取中的更广泛应用。研究结论部分译为：少样本中文命名实体识别（NER）对维护网络通信环境与内容安全具有重要意义。本研究提出PLDKT，一种少样本中文NER方法，其从标注丰富的源域学习可迁移的、类型无关的实体片段知识，并将其迁移至少样本目标域用于实体片段检测，缓解异构网络文本中的跨域语义差异。为提升提示可迁移性与适应性，PLDKT将提示分解为域不变与域特有分量，引入正交约束以减少冗余，并采用置信度引导的提示自适应策略以平衡共享知识保持与目标域适配。最后，PLDKT融合字符级、词级与句子级语义特征以实现更准确的实体分类。未来工作将探索统一的边界检测与类型分类，以及多域软提示调优在低资源社交信息抽取中的更广泛应用。
