《ICT Express》：A Systematic Survey of Sentiment Analysis in Low-Resource Southeast Asian Languages: Resources, Methods, and Evaluation Challenges
在低资源东南亚语言中，情感分析（Sentiment Analysis, SA）越来越受到关注，因为许多语言仍然缺乏标注语料库（annotated corpora）、语言工具（linguistic tools）和标准化评估基准（standardized evaluation benchmarks）。在这篇综述中，研究人员聚焦于低资源情感分析（low-resource SA）的主要维度，包括可用资源、主要方法系列、比较评估以及跨越越南语（Vietnamese）、泰语（Thai）、印度尼西亚语（Indonesian）、马来语（Malay）、高棉语（Khmer）、老挝语（Lao）和缅甸语（Burmese/Myanmar）的实践部署挑战。研究人员评述了基于词典（lexicon-based）、经典机器学习（classical machine learning）、神经网络（neural）、基于Transformer（transformer-based）、跨语言（cross-lingual）和近期的大语言模型（large language model, LLM）方法。研究人员还检验了语言特征（language characteristics）、领域变化（domain variation）和监督设置（supervision settings）如何影响模型有效性，并讨论了诸如基准碎片化（benchmark fragmentation）、可重复性（reproducibility）和跨领域鲁棒性（cross-domain robustness）等开放问题。核心关键洞察是，东南亚的低资源情感分析（low-resource SA）不仅应通过模型性能来评判，还应通过资源生态（resource ecology）、评估可比性（evaluation comparability）和部署现实性（deployment realism）来评判。
1. 引言
1.1 问题陈述：情感分析（Sentiment Analysis, SA）在自然语言处理（NLP）中至关重要，但低资源（low-resource）语言面临标注数据稀缺、预处理工具和预训练语言模型（Pretrained Language Model, PLM）不足的挑战。语言变异性、非正式书写和语码转换进一步加剧了难度。
1.2 工作定义与综述范围：低资源被视为一种关系性和操作性条件，通过多项诊断指标（如公开数据集数量、标注实例规模、PLM可用性、工具完整性及代码发布情况）定义。综述覆盖越南语、泰语、印度尼西亚语、马来语、高棉语、老挝语和缅甸语。
1.3 研究问题：提出五个研究问题（Research Question, RQ），涉及资源现状（RQ1）、方法论比较（RQ2）、语言/领域/监督的影响（RQ3）、多语言/跨语言作用（RQ4）及开放问题（RQ5）。
1.4 搜索方法：采用结构化文献收集，基于PRISMA透明度，覆盖Google Scholar、ScienceDirect、SpringerLink等七个数据库，时间范围2010年至2026年，通过任务、语言和方法关键词组合筛选，最终保留78项研究。
1.5 贡献：映射低资源东南亚SA资源景观；组织方法学分类；综合语言生态、领域和监督的影响；提炼公平基准、可重复报告和可部署系统的需求。
1.6 论文组织：后续安排包括背景与预处理、方法分类学、比较分析、应用、讨论与开放问题及结论。
2. 背景与预处理
2.1 数据源、语料库和情感数据集
2.1.1 通用语料库与语言资源：越南语拥有VnCoreNLP工具和PhoBERT模型；泰语具备LST20语料库、WangchanBERTa和PyThaiNLP；印度尼西亚语有IndoLEM/IndoBERT和IndoBERTweet。高棉语、缅甸语和老挝语资源相对有限，公共基准和可复用管线不足。
2.1.2 任务特定情感数据集：越南语有VLSP 2018 ABSA、UIT-VSMEC、ViMACSA等基准；泰语数据集集中在评论和社交媒体；印度尼西亚语涵盖社交、电商、ABSA等；马来语常涉及标准化和词典构建；高棉语、缅甸语和老挝语公开情感数据集稀缺。
2.1.3 数据集局限性：数据集规模小、基准碎片化（不同标签/分割/域）、领域偏倚（集中于评论和社交媒体），限制了可靠比较和泛化。
2.2 特征工程与表示
2.2.1 词汇与稀疏特征：词袋（BoW）、n-grams、TF-IDF在数据量小时仍具竞争力，尤其适用于清洁领域，但易受分词不稳定影响。
2.2.2 稠密静态嵌入：Word2Vec、FastText等静态嵌入提供语义相似性，FastText的子词特性有助于处理低资源语言中的拼写变异和罕见词。
2.2.3 子词与字符级表示：降低对完美分词的依赖，提高对拼写错误、非正式形式的容忍度，在泰语、缅甸语等场景中尤为重要。
2.2.4 上下文与指令感知表示：上下文预训练编码器（如XLM-R、PhoBERT、WangchanBERTa、IndoBERT）成为主流，支持迁移学习。指令调优和LLM表示是新兴方向，灵活性更高但稳定性不足。
2.3 低资源预处理的具体挑战
2.3.1 分词与分割：泰语和越南语中分词质量直接影响下游表现，分割工具和分词策略是核心建模假定。
2.3.2 拼写变化、标准化与音译：社交媒体文本噪声大，标准化是不可或缺的步骤，马来语等尤为突出。
2.3.3 语码混合与语码转换：多语言社区常见，削弱单语词典和分词器性能，需跨语言表示和分阶段处理。
2.3.4 表情符号、标签、缩写与噪声标记：这些非标准标记可能携带情感信息，处理策略应任务感知而非简单丢弃。
2.3.5 否定、增强词、方言与俚语：增加情感歧义，规则集和词典往往不完备，需更强上下文模型或规则增强。
2.3.6 缺乏词性标注、解析与形态工具：上游工具缺失限制方面级和词典扩展方法，迫使方法适应（如泰语启发式规则）。
3. 方法分类学
3.1 基于词典的方法：通过手工、翻译/投影、半监督引导或领域自适应构建词典。在无标注数据时作为基线或结构化先验知识，但无法处理反讽和隐含情感。
3.2 经典机器学习方法：朴素贝叶斯、支持向量机（SVM）、逻辑回归配合稀疏特征，在小标注集、清洁领域仍具竞争力，且易于调试和部署。
3.3 神经网络深度学习方法：CNN、RNN、LSTM、GRU减少手工特征工程，需要更多数据。混合架构（CNN-LSTM）在局部和序列建模间取得折中，但迁移能力较弱。
3.4 基于Transformer的预训练语言模型：多语言PLM（如XLM-R）用于跨语言迁移；语言专用PLM（如PhoBERT、WangchanBERTa、IndoBERT）表现更优。微调、结构感知建模（如ABSA）和参数高效自适应是主要策略。
3.5 基于LLM的方法：零/少样本提示（zero-shot/few-shot prompting）、指令调优、合成数据生成、检索增强和蒸馏。灵活性高但受提示敏感性、成本和不一致性限制，应作为探索性基线而非取代PLM微调。
4. 比较分析
4.1 跨语言：越南语、泰语和印度尼西亚语由于工具和PLM成熟，模型比较更有意义；马来语、高棉语、缅甸语和老挝语评估稳定性不足，方法选择受资源生态强烈制约。
4.2 基于共享数据集的基准控制比较：通过相同数据集和指标控制比较。越南语SA-VLSP2016上，XLM-R
Large最佳（宏观F1 78.21%），ViSoBERT紧随（77.75%）；泰语Wisesight上，WangchanBERTa最优（宏观F1 67.05%），XLM-R为62.21%；印尼语SmSA上，IndoBERT
Large最佳（宏观F1 92.72%）。强调比较应在同一基准、领域和标签设定内进行。
4.3 跨领域：产品评论数据较干净，词典和经典方法有竞争性；社交媒体噪杂，需域匹配编码器和标准化；教育反馈需方面感知；旅游酒店广泛应用ABSA，但平台敏感；公共舆论受事件漂移影响；多模态更真实但标准化不足。
4.4 跨监督水平：从无标签规则、弱监督、低数据监督到迁移学习、零/少样本提示，选择取决于数据量、资源条件及任务需求。
4.5 什么情况下什么方法最好：数据极小时用词典或SVM/LR；有稳定PLM时微调最优；分词不足时选子词友好编码器；语码混合时用多语言PLM；部署受限时考虑蒸馏或轻量模型；可解释性要求高时用词典混合方法。
5. 应用
5.1 商业智能与产品评论：最成熟，有可复用数据集（如越南SA2SL）和部署管线，但领域漂移仍是挑战。
5.2 社交倾听与公共舆论：时间/事件/主题漂移显著，需结合话题追踪和解释，对可解释性要求高。
5.3 教育反馈分析：越南UIT-VSFC数据集支持方面级分类，注重可解释性和话题归因，是方面感知SA的优良测试床。
5.4 旅游与酒店：广泛使用多级SA和ABSA（如印尼多级情感），平台和业态敏感性高。
5.5 多模态客户情感：如越南ViMACSA，结合文本和图像，更现实但标准化和复制性弱。
5.6 仇恨相关与安全语境：如泰语HateThaiSent，利用情感作为辅助信号，但基准稀缺且敏感，需高精度/召回平衡。
5.7 跨应用领域综合：不同领域成熟度梯度明显；领域漂移和可解释性成为共同瓶颈；应用成熟度应通过数据可复用性、评估稳定性和部署现实性衡量。
6. 讨论与开放问题
6.1 评估公平性：标签粒度、域、分割不统一导致比较困难，应明确任务定义、报告精确分割和统计显著性（多轮均值±标准差）。
6.2 标签噪声与标注主观性：情感标注主观性强，分歧可能反映语义模糊而非噪声，建议采用分歧感知标注和不确定性报告。
6.3 领域漂移：训练域与部署域间的不匹配是低估的问题，需跨域基准和鲁棒性评估，而非仅依赖域内准确率。
6.4 成本与部署：大型模型推理成本高，应报告模型大小、内存、延迟及效率-准确率权衡，蒸馏和参数高效微调（如LoRA）是实用方向。
6.5 可重复性与基准碎片化：代码、分割、预处理细节和方差报告缺失使比较不可靠，建议发布完整实验设置和可重复性清单。
6.6 文化与语言有效性：情感表达受文化影响（礼貌、反讽、间接性），需文化敏感的标注策略和跨文化评估。
6.7 研究问题答案：RQ1资源分布不均；RQ2方法有效性取决于资源；RQ3语言/领域/监督设置塑造模型选择；RQ4多语言/跨语言是实用默认，但需与单语PLM比较；RQ5开放问题涉及评估公平、标签噪声、域漂移、成本、可重复性和文化有效性。
6.8 短期、中期、长期研究重点：短期聚焦可重复性和低数据基线；中期构建跨域/跨语言基准，进行风险控制的LLM评估；长期发展文化有效和可部署的SA系统，包括方言/语码混合、分歧标注和压缩部署。
7. 结论：低资源东南亚SA应通过资源、预处理、任务设计、模型选择和部署约束的交互来评估。未来工作应强调可重复数据集、透明预处理、适当基线、风险可控的LLM评估、跨域测试和文化有效标签，推动以基础设施和评估纪律为驱动的进步。
