综述：关于低资源语言和土著语言的语音情感识别的综述

《Speech Communication》：A review on speech emotion recognition for low-resource and Indigenous languages

语音情感识别（SER）在低资源及原住民语言（LRI）中的研究存在显著空白。本文通过PRISMA流程综述27项研究，发现LRI语言SER面临数据稀缺、文化差异大、标注方法不统一等问题。现有研究多采用离散情感模型，但缺乏与本土社区合作的文化适配性。建议未来采用混合方法（传统机器学习与声学特征结合）、开发多模态标注流程，并与原住民社区协作建立符合文化背景的情感语料库。

　　
本文系统综述了低资源及原住民语言（LRI）情感语音识别（SER）的研究现状，揭示了现有技术框架与文化适配性之间的关键矛盾。研究团队通过PRISMA流程筛选出27项符合标准的LRI语言SER研究，覆盖22种语言，涉及非洲、亚洲及美洲等地区的原住民语言。本文发现，当前LRI语言SER系统存在三大核心问题：情感分类模型的跨文化适用性缺失、语料库开发与社区参与的脱节、以及技术迁移中的文化适配不足。

### 一、LRI语言SER研究现状与核心矛盾
1. **数据资源困境**
研究显示，LRI语言语料库平均规模仅3,542个样本（约6小时录音），远低于英语等高资源语言的标准（>10万样本）。非洲语言Bokyi的语料库仅含283个样本（0.28万使用者），而同一地区的Igbo语言语料库规模达4.4万样本（44万使用者），凸显语言资源分布极不均衡。这种资源差异导致模型训练存在显著偏差：使用英语情感分类模型的直接迁移，在波斯语等LRI语言中准确率下降达37%（Chopra et al., 2021）。

2. **情感分类模型的文化局限性**
93%的LRI语言研究沿用Ekman提出的6类离散情感模型（愤怒、悲伤、恐惧、喜悦、厌恶、惊讶），但该模型建立于西方文化语境，在泰米尔语等南亚语言中存在32%的标注差异（Nnamso et al., 2023）。例如，西非语言Esan将"frustration"独立标注，而英语模型将其归类为"anger"。这种文化特异性在泰米尔语中的表现尤为明显：社区成员通过肢体语言和语调变化表达"identity-based emotions"，但现有模型无法识别此类文化特有的情感类别（James et al., 2024）。

3. **技术方法的适配性缺陷**
深度学习模型在LRI语言中普遍存在过拟合问题。以孟加拉语SER系统为例，虽然采用XLSR等预训练模型，但模型在跨方言迁移时准确率骤降41%（Sultana et al., 2021b）。传统机器学习方法虽能缓解过拟合，但特征选择存在盲目性：仅28%的LRI语言研究进行过声学特征分析（如MFCC、语调特征），而62%直接套用英语特征集（Hashem et al., 2023）。

### 二、技术实现的关键挑战
1. **语料库开发瓶颈**
- **数据采集方式**：73%的语料库采用脚本化表演（acted），仅15%使用自然对话（natural）。但社区反馈显示，脚本化录音导致情感表达失真率高达38%（Paccotacya-Yanque et al., 2022）。
- **标注规范冲突**：54%的语料库未建立文化适配的标注体系。例如，在 Cook Islands Māori语料库中，社区成员提出"tautau"（集体责任）等7类文化特定情感，但现有模型仅能识别2类（Rathnayake et al., 2024）。
- **伦理合规性不足**：仅41%的研究获得原住民社区正式授权，且82%未明确数据使用边界。新西兰毛利语语料库因未遵守Te Mana Raraunga数据主权原则，引发社区抗议（James et al., 2024）。

2. **预处理与特征提取的适配难题**
- **噪声处理局限**：LRI语言多属非洲 Tone 语言（如Igbo、Bokyi），其声调变化复杂。现有预处理流程在处理高频噪声时，语音质量损失达23%（Manamela et al., 2018）。
- **特征选择偏差**：76%的研究采用固定特征集（如eGeMAPS 88维特征），但南亚语言研究显示，结合文化特异性声学特征（如梵语喉音）可使识别准确率提升19%（Das et al., 2022b）。
- **多模态融合不足**：仅有3项研究尝试结合语音、文本和视频数据（如印尼语多模态语料库），但未验证跨模态特征融合的有效性（Lubis et al., 2018）。

3. **模型训练与评估的适配缺陷**
- **迁移学习陷阱**：将英语SER模型直接迁移至阿拉伯语等LRI语言时，情感维度偏移率高达45%（Latif et al., 2018）。研究发现，采用多语言预训练模型（如MMS）可降低偏移率至18%（Shoukat et al., 2023）。
- **评估标准单一化**：92%的研究沿用英语评估体系（准确率、F1值），但未考虑文化特异性情感强度差异。例如，西太平洋语言Papua New Guinea的" euphoria"情感强度是英语的2.3倍（Russell, 1993）。
- **模型泛化能力不足**：深度学习模型在跨方言测试时性能衰减率达31-47%，而传统机器学习（如随机森林）衰减率仅12-18%（Chakraborty et al., 2022）。

### 三、突破路径与创新方向
1. **文化嵌入式语料库构建**
- 建立三级社区参与机制：
1) 情感分类协商：通过焦点小组确定文化适配的情感标签（如毛利语"whanaungatanga"指代集体情感）
2) 声学特征定制：针对LRI语言声调系统（如非洲Tone语言）开发专用特征提取器
3) 伦理框架落地：采用CARE原则制定数据治理方案，明确社区知情同意、数据收益分配等核心条款

2. **混合式技术架构**
- 开发"传统+深度"特征融合系统：
- 基于eGeMAPS提取基础声学特征（MFCC、语调参数）
- 结合预训练模型（如XLSR）提取高层语义特征
- 通过注意力机制实现跨模态特征交互（Chopra et al., 2021）
- 构建文化适配的迁移学习框架：
- 分阶段迁移：先通过语音识别（ASR）预训练模型学习语言声学特征，再进行情感迁移
- 多语言预训练：采用包含5种LRI语言（如Mizo、Sindhi）的跨语言模型（MMS）作为特征提取器

3. **新型评估体系**
- 建立动态评估指标：
- 文化情感强度指数（CESI）：量化文化特异性情感强度
- 方言泛化系数（FGC）：评估跨方言性能衰减率
- 开发社区驱动评估工具：
- 通过情感日记（emotion diary）收集真实场景数据
- 采用德尔菲法建立多维度评估矩阵（包含文化适配性、技术鲁棒性等6个维度）

### 四、未来研究方向
1. **跨文化情感表征研究**
- 开发文化特异性情感嵌入模型，解决现有跨语言迁移中的语义漂移问题
- 构建多语言情感知识图谱，标注至少100种文化特定情感类别

2. **轻量化技术体系**
- 研发基于知识蒸馏的微型模型，将XLSR等大模型压缩至LRI语料规模（<10MB）
- 探索联邦学习框架下的分布式训练，实现多社区数据协同建模

3. **伦理技术融合**
- 开发智能伦理审查系统，自动检测数据采集中的文化敏感问题
- 构建动态数据主权协议，实现社区对模型决策权的参与

本研究为LRI语言SER系统开发提供了系统性框架，但需注意：技术适配需与文化研究深度耦合，建议建立"技术-文化"双轨研究团队，包含人类学家、语言学家和技术专家。未来应优先在资源最匮乏的非洲Tone语言和美洲原住民语言开展试点，建立可复制的文化适配技术路线。