面向航空情感情感人机交互的可解释驾驶舱语音情感识别模型

《Advanced Engineering Informatics》：An explainable cockpit speech emotion recognition model towards affective human-AI interaction in aviation

　　

飞行员与空中交通管制员（ATCOs）的航空决策往往复杂，需要整合来自环境的多元信息。该过程需要情绪调节，以便依据从情境中感知的信息作出恰当的航空决策。因此，识别飞行员与ATCOs的情绪是设计面向情绪感知飞行运行的适当支持的前提。然而，通用语音情感识别模型在识别具有特定用语体系的航空通信情绪时可能面临挑战。为此，本研究首先引入Cranfield航空语音情感集（CASES），这是一个面向航空语音情感识别定制的语料库。该语料库包含由20名具有多种口音的飞行员与ATCOs录制的30条多样化话语，覆盖七种基本情绪。随后，研究人员基于长短期记忆网络（LSTM）与CASES开发了一个深度学习模型，用于识别航空通信中的情绪。研究应用了一种数据增强技术以提升模型的预测性能。所提模型取得84.52%的测试准确率，优于使用通用数据集训练的模型，表明航空应用中定制语料库的必要性。研究进一步利用Shapley加性解释（SHAP）揭示情绪识别过程中的特征重要性，从而增强模型的可解释性。总体而言，该模型支持可信的情绪感知飞行运行，以最小化情绪对航空决策的影响。

**研究背景与问题**
航空决策具有快速、准确且安全攸关的特征，而感知、判断、推理与沟通等认知过程常受情绪影响。飞行员与空中交通管制员（ATCOs）虽经训练保持冷静，但其情绪状态并非始终真正中性，尤其在突发事件、疲劳、长期压力或个人境况影响下更是如此。情绪失控的微小失误可能带来显著安全风险，因为情绪会损害操作者的认知能力、情境意识（SA）与人际互动，从而增加差错可能性。2019年尼泊尔一起航空事故即因机长在被同事质疑其优秀教员声誉后“情绪受到干扰”，造成51人伤亡。飞行员常面对恶劣天气或突发紧急情况等高压力情境，可能引发惊讶与恐惧；而源自快乐的过度自信亦可能导致自满。ATCOs的职责同样要求高度专注、快速决策与精确沟通，情绪状态可能削弱其从环境中获取情境意识并发出准确清晰指令的能力。因此，情绪线索在运行上具有重要意义，语音情感识别旨在识别情绪导致的人为绩效退化早期迹象，以便在差错发生前通过支持、干预或自适应系统维持安全。语音情感识别被视为在驾驶舱与空中交通管制（ATC）中实施情绪管理的可行选择，因为飞行员与ATCOs常需通过无线电通信口头交换信息，语音语调常揭示操作者情绪，且识别过程无需操作者完成额外辅助任务，可实现最小干扰的实时情绪监测。然而，航空是高利害行业，人工智能（AI）模型须可信而非“黑箱”；航空通信具有独特规则与用语体系，与日常生活交流存在显著差异，非航空模型难以泛化应用。现有研究仅有通用数据集而缺乏与航空用语及语义模式相契合的领域专用语料库，因此需要开发航空情境语音语料库及相应语音情感识别模型，以应对航空运行的语境特定需求。
**研究内容与结论**
研究人员开展了面向情绪感知飞行运行的可解释语音情感识别研究，目标是基于语音特征捕捉飞行员与ATCOs情绪，通过早期通知利益相关者并进行早期干预，识别并缓解潜在情绪对航空决策的负面影响。研究将问题形式化为七类分类问题，提出包含特征提取、深度学习情绪识别以及情绪影响缓解三阶段的框架。研究引入CASES语料库，并基于长短期记忆网络（LSTM）开发专用模型，应用数据增强提升性能，利用Shapley加性解释（SHAP）增强可解释性，并与通用数据集训练模型及其他先进模型进行基线比较。研究结论表明，基于CASES与LSTM的模型取得84.52%的测试准确率，优于使用通用语音情感识别数据集训练的模型，说明定制数据集对于契合具有特定用语体系的航空情境十分必要；数据增强使CASES模型测试准确率较未增强情形提升超过20%；模型经SHAP解释具备可信性，可支持未来驾驶舱中的人机交互。
**关键技术方法**
研究采集20名航空从业者（16名持有私用飞行员执照（PPL）及以上资质的飞行员与4名ATCOs，母语分别为普通话、印尼语与阿拉伯语）在实验室环境录制的语音，构建CASES语料库，共4,200条录音；采用梅尔频率倒谱系数（MFCCs）提取声学特征；运用音高偏移与时间拉伸进行数据增强；构建基于LSTM的深度学习分类模型，并通过网格搜索调优超参数与网络结构；采用SHAP的KernelExplainer进行模型解释；并收集飞行模拟器驾驶舱背景噪声下的额外数据以评估噪声影响。
**研究结果**
**分类性能**：通过比较CASES、TESS与RAVDESS-Speech训练模型在有/无数据增强及13、20、40维MFCCs下的测试准确率，得出增强CASES模型最高测试准确率为84.52%，较未增强CASES的61.19%提升超过20%，且显著优于通用数据集训练模型（后者准确率约0.15–0.19），在航空地空通信情境下性能提升超过65%；留一交叉验证平均准确率为67.50%；在驾驶舱噪声下准确率下降12.1–14.4%至70.87%（13维）、77.18%（20维）与78.21%（40维）。通过分析数据集特征，得出CASES在话语设计多样性、样本量与口音多样性以及情境依赖性方面的优势是性能提升的可能原因。通过与其他先进模型比较，得出所提模型在13维MFCCs与数据增强下较其他深度学习基线高18.81–29.28%，而通用开源边缘规模大型多模态模型（LMMs）准确率较低，表明情感推理依赖适当特征而非模型规模。
**基于特征重要性的模型解释**：通过SHAP蜂群图分析各MFCC特征对模型输出的影响，得出MFCC 0（平均对数能量的整体响度）对愤怒、厌恶、恐惧、悲伤与惊讶五类基本情绪最为显著；较高MFCC 0正向贡献于愤怒、恐惧与惊讶，负向贡献于厌恶与悲伤；愤怒进一步由较低的MFCC 1与MFCC 2塑造，恐惧由较高的MFCC 8贡献，惊讶由MFCC 11贡献；厌恶由较高的MFCC 1塑造，悲伤由较高的MFCC 2表征；快乐与中性分别主要由较低的MFCC 9与较低的MFCC 2贡献，且MFCC 0仍为第二重要特征但方向较不明显，表明模型对这两类情绪的分类具有合理可解释性。
**讨论部分总结**
讨论指出，CASES虽显示情境依赖语音情感识别语料库的必要性，但数据集仍在实验室环境采集，具有人工性；真实地空通信常伴随驾驶舱噪声、ATC背景噪声、带宽限制、信道失真、间歇传输伪影、说话人重叠及工作负荷导致语速变化等因素，可能影响声学特征与模型性能，噪声集成数据的验证研究亦显示准确率下降。未来研究可设计航空语音专用去噪模块等先进信号处理技术，并应用真实ATC录音评估模型性能，进一步采集更多口音数据以增强跨文化泛化性；可应用先进数据处理技术以不同形式构建MFCCs，使语音情感识别通过其他类型深度学习模型完成并保留时间细节；未来除情绪外还可联合考虑说话语调与表达流畅性以识别影响决策的飞行员状态，并应在真实不平衡场景下评估方法、研究提升对罕见但安全攸关情绪敏感性的方法；随着生成式AI（GenAI）发展，未来可考虑利用先进大规模GenAI模型经微调进行航空语音情感识别的内在可解释解释。基于CASES的当前模型可进一步构建交互式智能体，以识别情绪相关安全风险、告知其他利益相关者、持续监测情绪及其状态变化，并提供主动决策支持或视觉提示以缓解情绪影响。
**研究结论翻译**
总体而言，本文提出了一种集成且可解释的方法来识别飞行员与ATCOs的情绪，以增强飞行安全。研究人员首先引入CASES：一个从真实飞行员与ATCOs采集、基于现实场景中常见多样化话语集的语音情感识别语料库。随后，基于LSTM与CASES的深度学习模型取得84.52%的测试准确率，在识别地空通信情绪方面优于通用语音情感识别数据集。研究结果表明，需要定制数据集以契合具有特定用语体系的航空情境。研究人员还考察了数据集之间的差异，以揭示CASES在航空语音情感识别中表现优异的可能原因，包括话语设计、样本量与多样性以及情境依赖性。所提方法还通过SHAP实现可解释性，增强其在高利害领域如航空中应用的可信性，以促进未来驾驶舱中的人机交互。