阿凡达照进现实，有一天或许能仅靠思想交流

由杜克大学神经科学家、神经外科医生和工程师组成的合作团队开发的语音假肢可以将一个人的大脑信号翻译成他们想说的话。这项新技术可能有一天会帮助那些由于神经系统疾病而无法说话的人重新获得通过脑机接口进行交流的能力。

　　

杜克大学神经科学家、神经外科医生和工程师组成的合作团队开发了一种语音假肢，可以将人的大脑信号翻译成他们想说的话。这项新技术发表在11月6日的《Nature Communications》杂志上，这篇文章讲述了使用高分辨率微型电皮层电图（µECoG）进行神经记录以提高神经语音假体的解码能力。有一天可能会帮助那些因神经系统疾病而无法说话的人重新获得通过脑机接口进行交流的能力。

患有神经退行性疾病的患者通常会丧失交流能力，严重影响他们的生活质量。为了恢复交流能力，一种解决方案是直接解码来自大脑的信号，以启用神经语音假体。然而，由于粗略的神经记录不能充分捕捉人类大脑信号的丰富时空结构，解码一直受到限制。

为了解决这一限制，新开发的技术在术中语音生产过程中进行了高分辨率µECoG神经记录。与宏观ECoG和SEEG相比，他们获得的神经信号具有57倍的空间分辨率和48%的信噪比。这种增加的信号质量比标准颅内信号提高了35%的解码率。准确解码取决于神经接口的高空间分辨率。设计用于利用增强的时空神经信息的非线性解码模型产生了比线性技术更好的结果。因此，文章表明高密度µECoG可以启用高质量的语音解码，以用于未来的神经语音假体。

杜克大学医学院神经学教授格 Gregory Cogan博士是该项目的主要研究人员之一，他说:“有许多患者患有使人衰弱的运动障碍，比如肌萎缩性侧索硬化症(ALS)或闭锁综合征，这些疾病会损害他们的说话能力。但目前可供他们交流的工具通常非常缓慢和繁琐。”想象一下，用半速听有声书。这是目前可用的最佳语音解码速率，每分钟可解码约78个单词。然而，正常人每分钟大约说150个单词。

说话速率和解码速率之间的滞后部分是由于相对较少的大脑活动传感器，这些传感器可以融合到大脑表面上薄薄的一块材料上。较少的传感器提供较少的可解码信息。

为了改进过去的局限性，科根与杜克大学脑科学研究所的教授Jonathan Viventi博士合作，他的生物医学工程实验室专门制造高密度、超薄和柔性的大脑传感器。

在这个项目中，Viventi和他的团队将256个令人印象深刻的微型大脑传感器装在一张邮票大小的柔性医用级塑料上。只有一粒沙子的神经元在协调语言时可能有截然不同的活动模式，因此有必要区分来自邻近脑细胞的信号，以帮助准确预测预期的语言。

在制造出新的植入物后，Cogan和Viventi与杜克大学医院的几位神经外科医生合作，包括Derek Southwell医学博士、Nandan Lad医学博士和Allan Friedman医学博士，他们帮助招募了四名患者来测试植入物。该实验要求研究人员将该装置暂时放置在因其他疾病(如治疗帕金森病或切除肿瘤)而接受脑部手术的患者身上。Cogan和他的团队在手术室里测试他们的设备的时间有限，最长15分钟。

这项任务是一个简单的听和重复活动。参与者听到一系列无意义的单词，如“ava”、“kug”或“vip”，然后大声说出每个单词。该设备记录了每个病人的语言运动皮层的活动，因为它协调了近100块运动嘴唇、舌头、下巴和喉部的肌肉。

随后，这篇新报告的第一作者、杜克大学生物医学工程研究生Suseendrakumar Duraivel从手术室中提取了神经和语音数据，并将其输入机器学习算法，看看它能多准确地根据大脑活动记录预测发出的声音。

对于一些声音和参与者，比如单词“gak”中的/g/，当它是组成一个给定无意义单词的三个字符串中的第一个声音时，解码器的正确率为84%。

然而，当解码器解析出一个无意义单词的中间或结尾的声音时，准确率下降了。如果两个音相似，比如/p/和/b/，它也会遇到困难。总的来说，解码器的准确率为40%。这看起来似乎是一个不起眼的测试分数，但考虑到类似的大脑到语言的技术壮举需要数小时或数天的数据来提取，这是相当令人印象深刻的。然而，Duraivel使用的语音解码算法只能处理15分钟测试中90秒的语音数据。

Duraivel和他的导师们对利用美国国立卫生研究院(National Institutes of Health)最近提供的240万美元资金制造出一种无绳版本的设备感到兴奋。

“我们现在正在开发同样的录音设备，但没有任何电线，”Cogan说。“你可以四处走动，而不必被绑在电源插座上，这真的很令人兴奋。”虽然他们的工作令人鼓舞，但要想让语音假肢很快上市，还有很长的路要走。

《杜克杂志》(Duke Magazine)发表了一篇关于这项技术的文章:“我们现在所处的位置仍然比自然语音慢得多，但你可以看到，你可能会到达那里的轨迹。”

High-resolution Neural Recordings Improve the Accuracy of Speech Decoding