《Machine Learning and Knowledge Extraction》：Improving Multilingual IT Incident Text Translation Using a Two-Stage Cascaded NMT Model Under Air-Gap Conditions
编辑推荐：
信息技术服务管理（ITSM）系统每天产生大量非结构化的事件描述。这些描述通常包含多语言内容、代码切换、非正式语言和领域特定术语。这些特征使得自动化文本处理变得极为复杂，并限制了传统机器翻译解决方案的适用性，特别是在受严格数据隐私和气隙约束的环境中。本研究提出了
信息技术服务管理（ITSM）系统每天产生大量非结构化的事件描述。这些描述通常包含多语言内容、代码切换、非正式语言和领域特定术语。这些特征使得自动化文本处理变得极为复杂，并限制了传统机器翻译解决方案的适用性，特别是在受严格数据隐私和气隙约束的环境中。本研究提出了一项关于确定性两阶段级联神经机器翻译（NMT）流水线在资源受限、气隙环境中规范化多语言IT事件文本的系统级可重复性研究。该研究评估了一种专门选择的顺序RU→EN和LT→EN翻译策略，以绕过不可靠的语言识别，实现对代码切换事件描述的稳定处理。研究分析了包含文本规范化、分割、去重、自适应批处理和语言感知数据流优化的系统级处理流水线，以评估其减少冗余推理操作的效果。该方法在包含84,285条事件记录的真实世界ITSM数据集上进行了评估。采用增量式实验设计来隔离计算和数据流优化的具体贡献。翻译质量使用BLEU和COMET指标，对照由一位领域专家进行初步翻译、随后由第二位领域专家交叉验证以确保语言和技术一致性的专家参考译文进行评估。结果表明，级联NMT架构与系统化的数据流优化相结合，为多语言IT事件文本规范化提供了一个可重复且保护隐私的框架，有效支持了受限操作ITSM环境中的下游分析任务。
### 多语言IT事件文本规范化：基于级联NMT的气隙系统级实现与评估
在信息技术服务管理（ITSM）领域，每天产生的大量非结构化事件记录是支持运维、故障诊断和服务改进的关键数据源。然而，在跨国或多元文化环境中，这些记录通常混杂了多种语言（如立陶宛语、俄语和英语），并伴随着代码切换、非正式表达、高度专业的技术术语和碎片化语法。这种混合特性给下游的自动化分析，如事件分类和根因识别，带来了巨大挑战，因为这些分析通常需要语义一致的单语数据表示。此外，现实中的企业运营受到严格的数据隐私和监管要求约束，事件描述中可能包含内部系统标识符、配置详情、用户数据和故障模式等敏感信息，严禁传输到外部或基于云的第三方服务。这导致使用商业机器翻译API和云端大语言模型变得不可行。因此，研究如何在资源受限、仅使用CPU且完全与外部网络隔离的气隙环境中，实现确定性、可重复且轻量化的本地翻译架构，具有重要的现实意义。
尽管神经机器翻译（NMT）和代码切换研究取得了快速进展，但现有研究主要集中在不受约束的计算条件下的双语对或大规模多语言模型。虽然大语言模型（LLMs）能够处理代码切换输入，但其在气隙环境中的应用受到系统级可重复性问题、非确定性行为以及仅CPU运行时计算资源需求过高的限制。特别是，针对在严格气隙约束下处理三语（LT/RU/EN）IT事件文本的确定性翻译的系统性可重复性研究仍然匮乏。为此，本研究旨在填补这一空白，探讨一种两阶段级联气隙NMT架构，用于处理和规范化真实世界的ITSM事件文本。该流水线按顺序运行两个阶段：首先将俄语片段翻译成英语（RU→EN），然后将剩余的立陶宛语片段翻译成英语（LT→EN）。这种顺序处理旨在绕过不可靠的语言识别，将异构句子分解为更可解释的语言成分，并保持确定性翻译行为，这对于可重复的IT运维至关重要。
本研究发表在《Machine Learning and Knowledge Extraction》期刊上，研究人员围绕以下研究目标展开：1) 探究确定性两阶段级联NMT方法在气隙环境下对多语言IT事件文本规范化的适用性；2) 分析基于CPU的级联NMT流水线在真实操作ITSM数据上的基线行为；3) 评估通过动态量化进行的模型级计算优化的影响；4) 检验数据流重构对翻译效率和质量的影响；5) 使用对照实验设计比较增量流水线配置。基于这些目标，研究提出了五个核心研究问题，涉及该流水线的有效性、基线性能、量化效果、数据流优化效果以及最佳配置平衡。
为开展研究，研究人员采用了多项关键技术方法。首先，研究数据来源于一个组织的ITSM系统导出的真实数据集，包含84,285条事件记录，涵盖立陶宛语、俄语和英语的混合描述。研究构建了一个系统级、确定性的处理流水线，其核心是两阶段级联翻译架构。具体方法步骤包括：1) **数据导入与字段识别**：使用辅助函数加载数据，并通过正则表达式、模糊匹配和语义关键词投票相结合的方法，自动识别并标准化异构数据集的语义字段。2) **文本规范化与分割**：对事件描述进行全面的文本预处理，包括去除控制字符、标准化空白和换行结构，然后采用基于标点和最大片段长度的两级分割策略，将长文本分解为更小、语义更清晰的片段，随后进行去重以减少冗余翻译操作。3) **自适应批处理**：在仅CPU环境中，采用动态、资源自适应的批处理策略，根据文本片段的近似令牌数和系统内存情况自动调整批大小，以确保稳定的模型执行。4) **级联两阶段翻译**：使用预训练的OPUS-MT开源模型，顺序执行RU→EN和LT→EN翻译。在优化配置中，引入了语言感知数据流路由，通过检测西里尔字符，将片段仅路由到所需的翻译阶段，避免了冗余的双重处理。5) **结果整合与质量评估**：将所有中间结果整合为结构化数据集，并使用BLEU和COMET指标，对照由领域专家生成并交叉验证的参考译文，系统评估翻译质量。
**研究结果**部分通过三个增量实验配置（基线、量化基线、数据流优化）展示了性能与翻译质量的变化。
* **5.1. 基线配置结果**：基线配置（无优化）能够稳定处理大规模混合语言数据，但存在明显局限。完整翻译84,285条记录耗时8小时51分钟27秒，系统有效吞吐量为每秒2.64条记录。翻译质量方面，BLEU和COMET得分分别为36.93和79.45。研究发现，将所有文本片段路由通过两个翻译阶段且未按长度排序批处理，导致了冗余计算和资源利用低效。
* **5.2. 动态量化的影响**：在第二个实验中，仅应用动态量化（将模型线性层从FP32量化为qint8格式）而保持数据流逻辑不变，显著提升了执行性能。总执行时间减少至2小时34分钟02秒，有效吞吐量提升至每秒9.12条记录。然而，翻译质量出现小幅可测量的下降：BLEU得分降至35.70，COMET得分降至78.82。这表明仅靠计算表示优化不足以实现最大系统效能。
* **5.3. 数据流优化结果**：第三个实验展示了最强的整体方法学效果，优化重点转向文本数据呈现和处理逻辑。通过应用基于长度的片段排序和根据语言特征进行逻辑数据流分离，实现了大幅性能提升。总执行时间仅需42分钟07秒，有效系统吞吐量达到每秒33.35条记录，超过基线实验十二倍以上。更重要的是，翻译质量不仅弥补了量化带来的下降，还超过了基线配置：BLEU得分提升至42.73，COMET得分提升至82.97。这归因于所应用的数据流优化策略。
**讨论与结论**部分对研究进行了总结。讨论指出，研究结果证实了级联NMT策略对于语言识别不可靠的代码切换操作文本具有理论相关性。与通用领域多语言语料库不同，ITSM事件描述包含简短、嘈杂、结构不规则的片段。在这些条件下，RU→EN和LT→EN级联提供了一种确定性的方式，将多语言输入分解为顺序处理阶段，减少了对不稳定语言识别的依赖。从实践角度看，所提出的流水线支持无需外部API的本地翻译，这对于包含敏感信息的企业ITSM环境至关重要。规范化后的英语输出可以支持下游ITSM任务。本研究的主要贡献并非提出新的神经翻译架构，而是在操作约束下对现有开源NMT模型进行的系统级集成和实证评估。
研究也指出了若干局限性，包括原始数据集因包含运营敏感信息而无法公开、评估基于单一组织和特定语言组合限制了泛化能力、专家参考译文的评估受限于人工验证工作等。
最后，**研究结论**部分总结道：本研究评估了一种在气隙和仅CPU执行约束下用于规范化多语言ITSM事件文本的确定性两阶段RU→EN和LT→EN级联神经机器翻译流水线。结果表明，该方法适用于具有代码切换、碎片化语法、异构术语和不可靠语言识别特征的真实世界事件描述。主要发现是，翻译性能和操作效率不仅取决于模型级优化，还取决于完整数据处理工作流的结构。规范化、分割、去重、自适应批处理、量化和语言感知路由共同减少了过度的推理操作，提高了流水线的实际适用性，而无需更改底层NMT模型。因此，本研究的主要贡献是一个针对隐私受限ITSM环境的气隙级联NMT工作流的可重复系统级实现和实证评估。未来研究应在三个方向进行：1) 在事件分类、重复事件检测等下游ITSM任务中测试翻译后的规范化文本；2) 使用来自其他组织和语言组合的数据集验证该方法的泛化能力；3) 在相同的CPU-only和气隙约束下，比较替代的本地NMT模型、路由策略和分割规则。
