《SoftwareX》:Polyglot: An open-source browser extension for real-time, speaker-aware speech-to-speech translation of web video
编辑推荐:
Polyglot是一款浏览器扩展,让观众能够实时观看带有翻译配音的外语视频,并为每位说话人分配一种独特的声音。它从任何浏览器标签页捕获音频(直播体育、新闻、讲座或流媒体节目),并将其替换为与原始说话人保持同步的翻译音轨。现有方案各自对观众施加了不同限制:You
Polyglot是一款浏览器扩展,让观众能够实时观看带有翻译配音的外语视频,并为每位说话人分配一种独特的声音。它从任何浏览器标签页捕获音频(直播体育、新闻、讲座或流媒体节目),并将其替换为与原始说话人保持同步的翻译音轨。现有方案各自对观众施加了不同限制:YouTube的自动配音要求内容创作者选择启用;Microsoft Edge的翻译仅适用于Microsoft Edge内部;Windows 11 Live Captions生成文本而非配音音频。Polyglot通过在任何基于Chromium的浏览器中播放的任何视频上工作,并将视频和音频一起延迟,从而解决了这些空白,使得画面和翻译配音无需平台侧集成即可保持对齐。同一流水线也可由麦克风输入驱动,在此情况下,系统可为短篇跨语言对话生成可下载、与字幕对齐的语音备忘录。工具视频:https://www.youtube.com/watch?v=Kt4MqBlNK3s
**论文解读:Polyglot——开放可复用的浏览器内实时语音到语音翻译系统**
**一、研究背景与动机**
实时翻译流媒体视频(包括直播体育、新闻、访谈和讲座)在最近几年才成为可能,这得益于三类已可商用的语音技术:流式自动语音识别(automatic speech recognition, ASR)、低延迟神经文本到语音(text-to-speech, TTS)以及零样本声音克隆。尽管已有商业系统(如CAMB.AI的DubStream、Microsoft Edge的实时视频翻译、YouTube的自动配音)证明了实时配音式语音到语音翻译(speech-to-speech translation, S2ST)在技术上的可行性,但它们均不开放,也不受最终观众控制。研究人员识别出四个实际限制:第一,平台锁定,现有功能受限于特定浏览器、操作系统或内容平台;第二,音视频同步质量鲜有测量,现有研究仅报告翻译延迟和质量,未直接测量画面与配音之间的偏移;第三,实现封闭,商业系统不公开架构、端到端延迟预算或同步机制,难以被研究界复现和复用;第四,观众缺乏通用选项,无法翻译任意网站上的任意视频。为解决这些空白,研究人员开发了Polyglot,一个开源的基于Chromium的浏览器扩展,可从任意标签页捕获音频,以稳定的说话人配音替换原音,并延迟视频以保持与配音对齐。
**二、研究贡献与系统实现**
Polyglot的贡献在于:一是首次公开了无需平台侧集成即可在Chromium标签页中处理任意视频的浏览器内S2ST系统;二是提供了来自实际浏览器部署的端到端实证评估,报告翻译质量、画面与音频偏移及翻译延迟。系统由浏览器扩展和Python后端两部分构成,通过单一WebSocket通信。用户安装后选择目标语言即可启动,系统缓冲约30秒音频,为每个新说话人从约25个库存声音中按音高、性别和能量匹配并锁定一个声音,同时显示彩色字幕。为防止原始视频超前,内容脚本将每帧按测得流水线延迟延迟后再绘制到覆盖画布上。
**三、主要关键技术方法**
研究人员采用的方法包括:利用Deepgram Nova-3提供流式ASR;使用ECAPA-TDNN说话人嵌入模型重新计算每段话的说话人指纹以克服标签漂移;通过Google Translate免费公共端点进行机器翻译(可选付费API);使用ElevenLabs Flash v2.5低延迟神经TTS生成流式音频;同步策略采用画布覆盖(canvas overlay)将视频帧延迟Δ秒后绘制,或对受数字版权管理(DRM)保护的内容采用回退式回退(seek-back)机制;说话人匹配通过估计音高、性别、能量从目录中选择库存声音,并支持可替换的适配器架构。
**四、研究结果**
**翻译质量。** 研究人员使用SimulEval和sacrebleu工具,在四个目标语言对(英→西班牙、法、德、印地语)上评估BLEU、chrF和COMET-22指标,测试集采用Europarl-ST(欧洲议会语料,英→西/法/德,各30条)和FLEURS(通用语音评估集,英→印地语,24条)。结果表明,文本级COMET在三个欧洲语言对上介于0.66至0.73之间,处于中上游生产质量区间;语音级COMET与文本级相差不超过0.011,说明TTS加Whisper回译几乎不损失语义。印地语对由于Whisper对合成天城体语音准确率较低而下降较大。BLEU值波动大(12至24),这是因其奖励表面词重叠的固有特性,COMET-22作为主要指标更符合语义保持。
**说话人声音处理。** 通过测量说话人嵌入余弦相似度(SECS)验证声音匹配启发式。在TEDx多说话人视频的30秒片段上,匹配声音的平均SECS为0.108,而随机分配声音的基线为0.026,约为4倍,表明启发式确实捕捉到了说话人声学信号。基于每说话人的声音克隆尚未实现,留待未来工作。
**音视频同步。** 研究人员在浏览器内直接测量锚漂移(anchor-drift),即观众所见视频帧与所听音频对应源位置之差。三次英→西TEDx片段会话中,画布路径贡献的方差为零,漂移校正环将平均偏移控制在1.2至3.5秒;最佳会话平均偏移1.23秒,p99在2秒内,符合Steinmetz关于音频晚于视频的不对称刺激的±2秒可接受范围。相比之下,未延迟视频的音频仅基线偏移为完整流水线延迟,典型值5至12秒。
**翻译延迟。** 使用平均滞后(Average Lagging, AL)指标,欧洲语言对约为6秒,印地语对为9.4秒。主要贡献来自Deepgram的静音结束判定(≥1.5秒)和ElevenLabs Flash v2.5的首块合成延迟。AL使体验延迟几秒但不影响音视频同步,后者才决定配音可观看性。
**五、讨论与结论**
讨论中研究人员指出,Polyglot将决定权交给观众,使其可翻译任何网站上的任意视频,而现有同类商业系统均面向企业广播方且无观众可安装的浏览器扩展。资源开销方面,帧环形缓冲器上限约469 MB,覆盖循环每帧约0.55 ms,后端通信带宽远低于消费级网络。运行成本主要由TTS产生,约每小时4美元,翻译默认免费。每个阶段均可替换,允许使用开源模型替代云服务。结论部分翻译如下:Polyglot是一款开源Chromium浏览器扩展,实时将任意网页视频的音频翻译为观众偏好的语言。每位说话人被分配目录中的不同声音,视频本身被延迟以保持画面与翻译配音对齐。同一流水线可用于麦克风捕获模式,生成可下载、字幕同步的翻译语音备忘录。系统由Chromium Manifest V3扩展和无状态Python后端组成,编排三个云服务(Deepgram流式ASR、Google Translate机器翻译、ElevenLabs Flash v2.5流式TTS),并置于可交换的轻量适配器之后。两项实证结果突出:翻译质量方面,文本级COMET-22在四种目标语言上位于0.66至0.73,TTS加Whisper回译在欧洲三个语言对上的COMET损失不超过0.011;音视频同步方面,漂移校正环在最佳会话中将平均音视频偏移控制在1.23秒且p99在2秒内,比无同步处理的音频仅基线严格一个数量级。MIT许可发布为流式翻译、自动配音和web平台研究社区提供了可阅读、可分支、可扩展的代码库。
局限性与未来工作包括:同步评估集中于说话人头部视频;端到端延迟受云服务限制;DRM回退模式感知上不及画布模式;尚未大规模量化ECAPA-TDNN重聚类的贡献;语音保真度仅针对库存声音匹配路径;翻译评估仅覆盖四种语言且样本量小(n=24–30);仅支持桌面Chromium,不支持移动端。未来计划包括采用流式wait-k模型降低翻译延迟、补偿蓝牙耳机输出延迟、扩展至非说话人头部内容、集成每说话人声音克隆、允许用户为说话人命名并持久化映射,以及通过Chrome Web Store和托管后端向非技术用户分发。