《Machine Learning with Applications》：Attribute-guided latent space alignment for zero-shot text classification of hotline requests
编辑推荐：
12345市民服务热线在大城市治理中发挥着至关重要的作用，工单分类是其关键的工作流程环节。现有方法严重依赖人工标注数据，且无法处理不断涌现的未见类别，限制了处理效率。本文提出了一种面向热线工单的零样本文本分类框架，能够在无标注样本的情况下识别未见类别。首先，研
12345市民服务热线在大城市治理中发挥着至关重要的作用，工单分类是其关键的工作流程环节。现有方法严重依赖人工标注数据，且无法处理不断涌现的未见类别，限制了处理效率。本文提出了一种面向热线工单的零样本文本分类框架，能够在无标注样本的情况下识别未见类别。首先，研究人员设计了融合热线工单场景领域知识的语义模板，从类别标签构建类别属性，从而生成标准化的类别描述。其次，双通道变分自编码器（Variational Autoencoder, VAE）将工单文本和属性描述映射到统一的潜在空间中。此外，研究人员引入了互信息增强机制，以在潜在变量中保留输入信息，从而提升潜在空间质量，促进知识从已见类别向未见类别的迁移。另外，潜在空间中的对比学习实现了细粒度的文本-属性对齐，增强了类内紧致性和类间可分离性。在热线工单数据集上的实验证明了所开发方法对未见热线工单分类的有效性。
论文解读
一、研究背景与问题
超大城市的社会治理因人口密度高、系统复杂度大而面临全球性挑战。政府服务热线，如中国的12345市民服务热线，汇聚了公众诉求，为精准治理响应和风险预警提供了关键基础。因此，将非结构化的热线工单文本自动分类为结构化表征，对于后续的分析和治理应用至关重要。
热线工单分类面临巨大的标签空间和显著的长尾分布问题：少数高频类别包含大量样本，而许多类别仅有少量观测，一些新兴类别在训练时甚至完全没有标注样本。政策变化、公共突发事件和治理需求的演进不断引入新的服务类别，进一步加剧了这一问题。传统监督文本分类方法依赖已知类别的标注数据，通常只能识别训练期间观察到的类别，难以应对持续涌现的未见类别。零样本文本分类（Zero-Shot Text Classification, ZSTC）旨在无需目标类别标注样本的情况下对文本进行分类，特别适合热线工单分类场景，为在标注条件有限或不可用的情况下识别新兴服务类别提供了可行范式。
然而，热线工单零样本文本分类面临额外挑战：热线文本通常简短、口语化且不规范，难以学习稳定且有判别性的表征；热线类别之间语义相似度高，而同一类别内的文本表达方式多样，导致嵌入空间中类别表征重叠、边界模糊，使得文本-类别对齐比一般零样本文本分类更加困难；类别标签通常简洁抽象，为未见类别提供的语义信息有限。因此，构建有效的辅助语义信息并学习可靠的文本-类别对齐，是热线工单零样本文本分类的关键。
二、研究内容与结论
针对热线文本表达不规范、类别语义抽象以及文本-类别对齐困难等问题，本文提出了属性引导的潜在空间对齐方法（Attribute-Guided Latent Space Alignment, AGLA）。该方法通过领域特定模板构建类别属性，提供超越简洁类别标签的辅助语义信息；利用双通道变分自编码器将热线文本和类别属性投影到共享潜在空间中，统一建模语义关系；引入互信息增强方法缓解短文本场景下变分自编码器的后验坍塌问题，在潜在空间中保留更多语义信息；通过潜在匹配和对比学习增强属性表征并实现文本与属性的对齐，捕获分布一致性和判别性关系，实现从已见类别到未见类别的知识迁移。在热线工单数据集上的实验验证了该方法对未见热线工单分类的有效性。
三、关键技术方法
研究人员主要采用了以下关键技术方法：
第一，语义模板构建类别属性。设计融合热线工单场景领域知识的语义模板，从类别标签生成标准化类别描述，为未见类别提供超越简洁标签的辅助语义信息。
第二，双通道变分自编码器（Variational Autoencoder, VAE）。将热线文本和类别属性分别编码映射到统一的共享潜在空间，建模文本与属性之间的语义关系。
第三，互信息增强机制。针对短文本场景下变分自编码器可能出现的后验坍塌问题，引入互信息增强方法，在潜在变量中保留更多输入信息，提升潜在空间质量和鲁棒性。
第四，潜在空间对比学习与潜在匹配。将文本潜在变量作为锚点，对应属性潜在变量作为正样本，其他类别中最相似的属性作为负样本，通过对比学习实现细粒度的文本-属性对齐，增强类内紧致性和类间可分离性。文本和属性分别使用bge-large-zh-v1.5编码器进行初始编码。
四、研究结果
类别属性构建。 通过设计融合热线工单场景领域知识的语义模板，从类别标签生成标准化的类别描述，为未见类别提供了超越简洁标签的丰富语义信息，有效改善了知识向未见类别的迁移能力。
潜在空间建模。 双通道变分自编码器将热线文本和类别属性映射到统一的潜在空间中，实现了文本与属性语义关系的统一建模。互信息增强机制的引入有效缓解了短文本场景下的后验坍塌问题，提升了潜在表征的信息量和鲁棒性。
文本-属性对齐。 潜在空间中的对比学习结合潜在匹配损失，实现了文本与属性之间的细粒度对齐。该机制同时考虑了分布层面的一致性和实例层面的判别性，增强了类内紧致性和类间可分离性，从而提升了未见类别表征的可分性和可迁移性。
零样本分类性能。 在热线工单数据集上的实验结果表明，AGLA方法能够有效分类未见类别的热线工单，验证了所提出框架在零样本场景下的有效性。
五、讨论与结论
在讨论部分，研究人员指出热线工单文本涵盖高度多样化的领域和问题类型，使得模型难以覆盖所有情况，限制了泛化能力。大语言模型（Large Language Model, LLM）的零样本分类性能高度依赖提示设计、模型选择和任务复杂度，且可能产生幻觉或生成不准确信息，降低分类可靠性。此外，热线场景常涉及敏感和保密信息，限制外部大模型的直接使用。因此，传统模型在此场景下更为适合，能够在性能、可靠性和安全性之间取得平衡。
研究结论表明，本文提出的属性引导潜在空间对齐方法（AGLA）有效解决了热线工单零样本文本分类中的非标准表达、抽象类别语义和文本-类别对齐困难等问题。通过语义模板构建类别属性、双通道变分自编码器统一建模、互信息增强保留语义信息以及对比学习实现细粒度文本-属性对齐，该方法成功实现了对未见类别热线工单的分类，为热线工单分类中新兴服务类别的识别提供了可行方案，对超大城市治理中的精准响应和风险预警具有重要的应用价值。
