《Sensors》：Task-Aligned Speech Representations for Intelligibility Classification in Patients with Cleft Palate
编辑推荐：
感知评估（perceptual evaluation）仍是腭裂（cleft palate）术后语音的临床标准，但对整体语音可懂度（speech intelligibility）进行客观的患者级（patient-level）评估仍然有限。研究人员开发了一种患者级
感知评估（perceptual evaluation）仍是腭裂（cleft palate）术后语音的临床标准，但对整体语音可懂度（speech intelligibility）进行客观的患者级（patient-level）评估仍然有限。研究人员开发了一种患者级三分类模型，采用冻结的Chinese HuBERT表征、主成分分析（principal component analysis, PCA）和正则化多项逻辑回归（regularized multinomial logistic regression）。该研究纳入123例腭裂患者，其中100例属开发队列（development cohort），23例属锁定留出队列（held-out cohort）。每位患者完成27项标准化构音任务（standardized articulation tasks）。每项任务的HuBERT嵌入经时间均值与标准差摘要后，按固定临床顺序拼接形成患者级表征。模型开发采用患者级不相交嵌套交叉验证（patient-disjoint nested cross-validation），随后进行锁定留出评估（locked held-out evaluation）。主要模型在开发队列取得90.00%的准确率（accuracy）与0.8659的macro-F1，在留出队列取得86.96%的准确率、0.8227的macro-F1、93.75%的平衡准确率（balanced accuracy）以及0.9043的二次加权kappa（quadratic-weighted kappa, QWK）。全部3例留出队列错误均为Poor可懂度患者被误判为Reduced可懂度，无Normal-to-Poor直接错误。对6种分类器与4种预训练编码器的比较显示，经Holm校正后配对差异无统计学意义。任务替换分析（task-replacement analysis）显示模型对各个别构音任务的依赖存在异质性。这些结果支持从标准化腭裂语音录音开展客观患者级语音可懂度评估的可行性。
一、研究背景
腭裂（cleft palate, CP）是先天性颅面畸形，即使完成初次腭裂修复，患者仍可能持续存在语音障碍。术后语音异常常同时包括共鸣障碍、鼻漏气（nasal emission）与代偿性构音（compensatory articulation），共同降低整体语音可懂度（speech intelligibility），故可靠的术后评估对疗效评价与后续干预决策至关重要。目前，经验丰富的语音语言病理学家的感知评估（perceptual evaluation）仍是临床金标准，但感知评级受听者经验与样本特征影响，且专业腭裂语音专家资源稀缺，制约了术后随访中及时、标准化的评估。自动可懂度评估已从手工声学描述符、传统机器学习分类器，演进至自动语音识别（automatic speech recognition, ASR）衍生指标与预训练或自监督语音编码器，但语音表征学习尚未充分转化为临床整合的腭裂语音评估。多数研究聚焦过度鼻音、构音错误、咽腭功能障碍等单个异常，而非整体可懂度；且标准化评估包含多个预定义语音任务，如何将任务特定信息整合为患者级表征亦缺乏探索。普通话特有的音节与音系结构还会影响共鸣及构音异常的声学表现，使这一问题更具现实意义。
二、研究内容与意义
研究人员将术后腭裂语音评估形式化为患者级三分类问题，以含27个预定义语音任务的标准化普通话构音评估所得患者级可懂度类别为预测目标。其任务对齐患者表征（task-aligned patient representation）框架在整合27个任务声学信息的同时，保留每个任务级表征与临床诱发条件的对应，实现对多语音情境下语音模式的患者级建模；方法学贡献在于建立临床结构化表征框架，而非开发新编码器或分类器。研究同时建立防数据泄漏的患者级评估框架，并以任务替换分析刻画任务依赖。主要模型（HuBERT/PCA/逻辑回归）在开发队列取得90.00%准确率，在锁定留出队列取得86.96%准确率，全部误分类局限于Reduced与Poor可懂度边界，无Normal–Poor直接混淆，支持自动化语音分析作为客观辅助手段的潜力。
三、关键技术方法
研究人员以冻结的Chinese HuBERT Base编码器为固定特征提取器，不作微调。各任务将768维最终隐藏层表征沿时间轴计算均值与标准差（时间统计池化，temporal statistical pooling），拼接为1536维任务级向量；27个任务向量按标准化评估的临床顺序排列并向量化为41,472维任务对齐患者级表征，并设任务无关平均池化（1,536维）为对照。特征标准化与随机主成分分析（principal component analysis, PCA）仅在各训练分区内拟合，保留10或20个主成分；下游为正则化多项逻辑回归（softmax建模，逆正则化强度C∈{0.001, 0.01, 0.1, 1}，可选平衡类别加权）。模型开发采用患者级不相交嵌套交叉验证（5折外循环、4折内循环），以内验证折macro-F1为选择准则，最终以锁定留出队列单次独立评估。研究队列为四川大学华西口腔医学院收集的HCPSI数据集，共123例（开发100例、留出23例）；最终模型采用10个主成分、C=0.01与平衡类别加权。
四、研究结果
4.1 任务对齐与任务无关表征比较：相同患者级协议下，任务对齐拼接在全部指标上优于平均池化。开发队列准确率90.00%、macro-F1 0.8659（平均池化82.00%、0.7513）；留出队列macro-F1 0.8227（平均池化0.7012）。该结果反映两种表征策略整体差异，而非任务身份的孤立验证。
4.2 语音可懂度自动评估：开发队列100例中正确分类90例；留出队列23例中正确分类20例，准确率86.96%（Wilson 95%置信区间67.87–95.46%），macro-F1 0.8227，平衡准确率93.75%，二次加权kappa（quadratic-weighted kappa, QWK）0.9043。5例Normal与2例Reduced患者全部正确；16例Poor患者中13例正确、3例误判为Reduced，错误全部局限于Reduced–Poor边界，无Normal–Poor直接混淆。Reduced类精确率仅40.00%，且基于2例、置信区间宽（15.81–100.00%），类别特异性估计不确定性大。
4.3 分类器与预训练编码器比较：6种分类器族（LR、线性SVM、RBF SVM、随机森林、K近邻（KNN）、单隐层多层感知机（MLP））中，LR开发与留出观察性能最高，但8项配对比较经Holm校正后均不显著，仅提示差异证据不足而非等效。4种编码器（Chinese HuBERT Base、Chinese wav2vec 2.0 Base、WavLM Base+、data2vec Audio Base）单语句提取方案下，HuBERT开发macro-F1最高（0.8221），data2vec Audio留出准确率（82.61%）与macro-F1（0.7333）最高；该比较须针对新提取HuBERT基线解读，且提取实现影响可复现性。ResNet18深度基线（Log-Mel频谱图输入）留出准确率82.61%、macro-F1 0.5463，低于主要流程的86.96%与0.8227，尤在Reduced类上2例均未正确。
4.4 配对模型比较：8项配对准确率比较均无Holm校正后显著结果，统计功效受不一致例数限制。
4.5 患者级与构音任务分析：3例误分类患者均为Poor可懂度被判为Reduced，预测Reduced概率分别为96.23%、64.58%与84.26%，未延及Normal–Poor全域；模型概率为原始输出，不等同校准临床置信度。类平衡任务替换效应排序中，正向效应最大者为jiqi（3.16个百分点）、didi（3.07）、tuzi（3.01）、qiqiu（2.75）与i（2.72），类别特异效应因临床类别而异，表明任务依赖异质；结果仅为描述性、假设生成性证据，不构成任务临床优越性或因果重要性的依据。
4.6 重复分层嵌套交叉验证：123例患者5次重复分层五折验证中，准确率86.34%±1.34个百分点，macro-F1 0.8179±0.0208，平衡准确率81.49%±2.17，QWK 0.8686±0.0222；Reduced类召回率在58.33%–79.17%间波动，提示原始留出队列该类别100%召回不可外推。原始留出评估单独保留，补充分析仅反映对患者的敏感性。
五、讨论
讨论指出，主要流程性能与小型内部队列中预测–参考类别的实质性一致相符；错误集中于Reduced–Poor边界，表明模型更善于区分明显不同的语音水平，而非解析相邻类别，小型且不平衡的留出队列（Reduced仅2例）要求谨慎解读。任务对齐拼接（41,472维）与平均池化（1,536维）在任务块保留与降维前维度上均不同，该比较无法区分任务身份保留的独立贡献与表征维度效应。正则化逻辑回归的最优表现提示，在具备信息丰富的预训练语音表征且样本量有限时，较低复杂度的下游模型可能有效；配对比较功效受限。编码器比较凸显临床语音建模对特征提取实现的敏感性，data2vec的留出优势不足以取代预设主要模型。任务替换分析仅为描述性视角。局限包括：单中心123例、留出队列仅23例且类别不平衡；共识标签仍具主观性（Fleiss' kappa 0.719，substantial）；开发数据经早期使用，内部留出证据不及外部或前瞻验证；分类器概率未经校准，任务替换分析非因果。
六、结论
研究结论部分指出：本研究证明了对腭裂普通话说话者基于标准化构音录音与预训练语音表征进行整体语音可懂度自动化患者级分类的可行性。借助27个标准化构音任务的结构化患者级表征，HuBERT/PCA/逻辑回归流程在开发队列取得90.00%准确率，在留出队列取得86.96%准确率；全部误分类发生于Reduced与Poor可懂度之间，无Normal–Poor直接混淆；与平均池化的比较支持任务对齐整体表征在观察性能上的优势，但不确立任务身份的独立益处；因仅2例留出患者为Reduced可懂度，该亚组类别特异性性能估计仍不确定；上述发现支持自动化语音分析作为腭裂术后语音评估客观辅助手段而非替代专家感知评估的潜力。
