少样本关键词识别：基于词平衡评估协议的注册集合误接受率与跨语言分析

《IEEE Access》：Word-Balanced Enrollment-Set Evaluation Protocol for Multilingual Few-Shot Keyword Spotting

　　少样本关键词识别能够从少量语音样本中定义用户自定义词汇表，但较低的整体误接受率（FAR）可能掩盖不同注册词汇表之间的显著差异。我们提出了一种锁定的、词平衡的评估协议，用于表征聚合性能以及注册集合误接受率的可靠性。实验使用了三种紧凑型嵌入管线、三种训练随机种子，以及1,000个在单次和五次样本下的五路注册集合。匹配的注册和查询清单比较了每个集合中500个词平衡的采样负样本与覆盖合格非目标词的较大确定性有限词库。阈值分别针对每种词库程序在英语验证集上选择，并原样迁移到词汇不相交的英语、Google语音命令数据集，以及德语、法语、西班牙语、俄语、阿拉伯语和中文的预期固定词汇表。在英语测试集上，各程序在1% FAR下的扫掠误拒率（FRR）差异最多为0.45个百分点。在迁移阈值下，整体英语FAR为0.85%–0.96%，但第95百分位注册集合FAR为1.74%–2.28%，且28%–36%的集合超过1% FAR。在另外六种语言中，等语言均值整体FAR为1.03%–1.44%，而按语言计算的均值第95百分位集合FAR为2.17%–3.15%。在这些阈值下，单样本英语FRR仍为61%–76%，限制了实际检测能力。这些发现支持在报告整体FAR的同时报告注册集合尾部数据和误拒率；较大的有限词库提高了计数分辨率，但不能保证总体水平的误接受控制。