一种混合方法用于自动检测拉脱维亚语文本中的个人数据

《Future Internet》：A Hybrid Approach to the Automatic Detection of Personal Data in Latvian-Language Texts

　　

在现代世界中，混合和完全远程工作形式正变得越来越普遍。数字通信量持续增长，通过电子邮件、企业即时通讯工具（如Microsoft Teams）和协作工作空间交换文档和信息的需求也在上升。个人数据经常涉及这些交换，这增加了意外泄露的风险。为遵守《通用数据保护条例》（GDPR）要求并确保信息安全，有必要实施自动检测个人数据的方法。这一任务对于低资源语言（如拉脱维亚语）尤其相关，现有工具对此类语言的准确性和效率往往有限。本研究提出一种混合方法，用于自动检测来自Microsoft Teams消息、电子邮件和文档的拉脱维亚语文本中的个人数据，该方法结合了基于Transformer的命名实体识别（NER）模型与基于规则的结构化标识符检测。该方法建立在多语言NER模型基础上，补充了拉脱维亚语特定规则和结构化标识符检测器，并展示了适应性解决方案在提高实际工作流中个人数据检测准确性和稳健性方面的潜力。

**论文解读：一种拉脱维亚语文本个人数据自动检测的混合方法**

**研究背景与问题**

随着混合和远程工作模式的普及，数字通信量持续增长，企业通过电子邮件、Microsoft Teams等协作平台交换文档和信息的需求不断上升。在这些交换中，个人数据频繁出现，增加了意外泄露的风险。为满足《通用数据保护条例》（GDPR）的要求并保障信息安全，必须实现个人数据的自动检测。然而，现有工具主要针对英语等高资源语言开发，对于拉脱维亚语等低资源语言，其准确性和效率显著下降。此外，拉脱维亚语具有形态丰富、包含变音符号等语言特性，而具体标识符（如个人识别号、身份证号）格式也具国家特异性，这些因素使得通用检测方法难以直接适用。因此，研究人员旨在开发一种混合方法，结合基于Transformer的命名实体识别（NER）模型与基于规则的检测，以提升拉脱维亚语文本中个人数据检测的准确性和鲁棒性。该研究论文发表在《Future Internet》。

**关键技术方法**

为实现拉脱维亚语文本中个人数据自动检测，研究人员采用了以下主要技术方法：
1. **基于Transformer的NER模型**：选用预训练的多语言XLM-RoBERTa模型（Davlan/xlm-roberta-base-ner-hrl），利用Hugging Face Transformers库加载，用于检测人名、组织名等实体。模型未进行额外微调，而是通过后处理规则增强。
2. **正则表达式与结构化标识符检测**：针对拉脱维亚特定标识符（如个人识别号、电话号码、IBAN、护照号等）设计专用正则表达式和字典，检测结构化格式的数据。
3. **上下文过滤与形态学适应**：包括支持拉脱维亚变音符号、排除抽象名词后缀的形态过滤器、使用官方PMLP人名列表验证、复合名合并等语言适应规则，以及用于解决标识符格式重叠的去重机制。
4. **风险与熵评估方法**：为每种个人数据类型分配风险权重（基于身份识别潜力、潜在危害、认证相关性等），计算加权风险得分，并结合香农熵衡量检测到的数据类别多样性，据此将文本划分为低、中、高敏感度等级。
5. **数据来源与评估数据集**：数据集包含13,525条记录，其中12,325条来自实际组织的Microsoft Teams消息、电子邮件和文档，1,200条为合成文本，并由两位信息安全和拉脱维亚语处理专家进行手动标注。

**研究结果**

**5. 混合个人数据检测方法的评估与结果**

研究人员通过实验评估混合方法的性能。数据集包含人名、个人识别号、电话号码、电子邮件、地址、IBAN、支付卡号、CVV、IP地址、身份证号、护照号和驾驶证号等类别。评估指标包括精确率、召回率和F1分数。

- **结构化标识符检测性能强**：个人识别号F1分数达99.83%，电子邮件99.44%，电话99.70%，地址99.50%，IBAN 99.95%。正则表达式对格式明确的标识符检测效果极佳。
- **人名检测表现良好但存在误报**：人名的精确率79.70%，召回率90.32%，F1分数84.68%。表明多数实例被检测到，但存在较多误报，需进一步优化上下文过滤和语言验证。
- **文档标识符检测存在显著局限**：驾驶证号检测器召回率100%但精确率仅0.16%，F1分数0.31%，因大量其他标识符被误判为驾驶证号。护照号精确率100%但召回率61.59%，身份证号精确率100%但召回率6.79%。说明现有规则无法可靠区分格式相似的文档标识符，需改进去重逻辑和上下文验证。
- **风险与熵评估应用**：通过风险得分和熵对文本进行敏感度分类。例如，仅含人名和电子邮件的文本风险得分低（例如2），被归为低敏感度；而包含个人识别号、护照号、地址等的文本风险得分高，敏感度中或高。
- **与Microsoft Presidio的对比**：在代表性拉脱维亚语文本示例中，Microsoft Presidio正确检测了人名和电子邮件，但拉脱维亚个人识别号被误判为电话号码，地址仅检测到孤立组件，未识别街道类型词。而研究人员开发的混合方法正确检测了完整地址和所有国家特定标识符，展示了拉脱维亚特定规则的有效性。

**结论部分总结与讨论**

研究开发并实验评估了一种用于拉脱维亚语文本个人数据自动检测的混合方法。该方法结合基于Transformer的NER模型与正则表达式、专用词典和上下文过滤。结果表明，该组合适合检测拉脱维亚语文本中不同类别的个人数据，尤其是在语言特定资源和检测器有限的情况下。评估显示对多种结构化标识符（个人识别号、电子邮件、电话、地址、IBAN）性能出色，F1分数均超过99%。人名检测F1分数84.68%，整体性能良好但仍存在误报。引入的风险得分和熵评估方法为文本敏感度分级提供了结构化的量化依据。研究贡献在于开发了实用的拉脱维亚语个人数据检测方法，并展示了NER与规则检测器的结合如何应对低资源语言的检测挑战。同时，评估揭示了文档标识符检测的重大局限：驾驶证号F1仅0.31%（极高误报），身份证号F1 12.72%（大量漏检），护照号F1 76.23%（召回率不足）。这些发现表明需额外上下文验证和冲突解决机制以区分相似格式的标识符。总体而言，本地适应的混合方法可支持拉脱维亚语数字内容中的个人数据检测，尤其适用于结构化标识符和国家特定地址模式。研究也表明，低资源语言的有效个人数据检测需要分类别评估，因为总体强性能可能掩盖个别检测器的重大弱点。所开发的方法为语言特定个人数据检测技术的进一步改进及其在组织数据保护工作流中的应用奠定了基础。