《Frontiers in Psychology》：Quantifying the visual salience of Swedish vowel contrasts: a computer vision approach
编辑推荐：
看到说话者的面部可以促进言语理解，但这种效应的程度取决于语音的视觉显著性。视觉显著性传统上通过使用离散的二元特征来描述说话者的发音姿态来定义。研究人员考察了瑞典语长元音中哪些对比在视觉上是不同的，以及这些对比是否与基于元音开合度和唇部圆展度的传统二元特征描述一
看到说话者的面部可以促进言语理解，但这种效应的程度取决于语音的视觉显著性。视觉显著性传统上通过使用离散的二元特征来描述说话者的发音姿态来定义。研究人员考察了瑞典语长元音中哪些对比在视觉上是不同的，以及这些对比是否与基于元音开合度和唇部圆展度的传统二元特征描述一致。这项概念验证性案例研究量化了连续言语中的唇形配置，以表征听者可获得的视觉信息。采用计算机视觉方法，研究人员从单一说话者录制的瑞典语视频言语中提取了嘴部开口的面积、高度和宽度。尽管元音类别内部存在渐变变异，结果揭示了视觉上可区分的元音组。至关重要的是，结果表明基于发音的二元特征矩阵可能歪曲接收者可获得的视觉信息，尤其是在连续言语中。研究人员讨论了定量视觉参数相对于基于舌位和唇部圆展度的传统离散特征在描述视觉言语方面的优势。研究人员还评估了计算机视觉在提取面部地标和测量唇形配置方面的应用。
**研究背景与现存问题**
视听语音感知研究中，视觉信号对言语理解的促进作用已得到广泛证实，但促进效应的程度取决于语音的视觉显著性。视觉显著性的传统描述依赖离散的二元发音特征（如开合度与圆展度），这些特征基于说话者发音姿态视角而非接收者知觉视角，尚未被系统检验是否与自然视听言语中视觉参数的渐变变异一致。瑞典语元音系统包含九个长元音类别，其中/i?/、/??/和/y?/声学距离较小，母语者感知亦具挑战性。瑞典语还区分两种圆唇类型：压缩圆唇（/??/）与突出圆唇（/y?/），二元圆展度特征无法区分这两种不同发音姿态。基于此，本研究旨在量化连续言语中瑞典语长元音的唇形配置几何特性，考察视觉元音对比，并评估二元音系特征描述与视觉测量的一致性。
**研究概况与意义**
研究人员基于?hman (1998) 音视频数据库，从单一标准中部瑞典语男性说话者的180个短句中标注205个长元音样本，利用计算机视觉技术提取嘴部开口面积、高度和宽度参数。结果表明，视觉参数能区分元音组别，但二元特征矩阵与视觉测量结果存在系统性偏差。该概念验证研究为从接受者视角量化视觉言语显著性提供了方法基础，论文发表于《Frontiers in Psychology》。
**关键技术方法**
研究采用的主要技术方法包括：使用Dlib（19.24.2）和MediaPipe（0.10.0）两种计算机视觉库进行面部地标追踪，提取嘴部内轮廓地标；通过连接地标形成多边形计算嘴部开口面积（像素单位）；采用中心地标距离法计算高度与宽度（Dlib高度取地标63与67的y坐标差，宽度取地标61与65的x坐标差）；使用Adobe Premiere Pro（Contrast效果，级别150）增强视频对比度以改善地标检测；采用非参数Kruskal-Wallis检验及Bonferroni校正的Dunn事后检验进行统计分析。样本来自?hman (1998) 数据库中单说话者的连续言语视频。
**研究结果**
**3.1 哪些瑞典语元音对比在视觉信号中呈现显著差异（RQ1）**
Kruskal-Wallis检验与Dunn事后检验显示，15对元音在嘴部开口面积上差异显著，16对在高度上差异显著，12对在宽度上差异显著。闭元音和圆唇元音（/o?/、/u?/、/??/）的平均开口面积小于开元音和展唇元音（/??/、/e?/、/i?/）。/??/在宽度上与展唇元音/e?/、/??/和/i?/差异显著，但与圆唇元音/o?/和/??/无显著差异。/y?/与任何元音均未在任何参数上达到显著差异。
**3.2 二元音系特征描述是否匹配瑞典语元音的视觉唇形配置（RQ2）**
研究发现，特征矩阵相同的12对元音对比中，6对（/??–??/、/o?–??/、/u?–??/、/o?–??/、/u?–??/、/??–??/）表现出显著的视觉差异，不支持研究假设。特征矩阵不同的24对对比中，10对未在任何参数上呈现显著差异（如/e?–??/、/??–i?/、/??–y?/等）。约半数对比的视觉差异无法由二元开合度和圆展度特征预测。
**讨论与结论**
讨论指出，连续言语中元音的视觉差异呈渐变特征，与传统二元特征描述不完全对应。视觉参数与音系特征之间并非一一对应：例如，开合度特征不能直接预测嘴部开口高度，/i?/和/e?/虽被描述为闭元音，却具有较大的垂直开口。计算机视觉方法在提取面部地标方面展现出潜力，但存在地标定位精度问题：Dlib在嘴部开口检测上成功率为100%，MediaPipe仅为80%–87%；嘴角地标的系统性偏移影响了宽度数据可靠性，尤其在圆唇元音中。研究结论认为，基于发音的二元特征可能歪曲接收者可获得的视觉信息，定量视觉参数提供了更细粒度、更接近知觉过程的描述方式。视觉显著性量化测量可作为区分高显著性与低显著性视觉对比的基线，但计算机视觉描述本身不能直接等同于知觉显著性，二者关系有待未来研究确立。该研究为从更自然言语材料中理解视听信号中语音显著性提供了前进方向。
