大脑活动能够解码成语音了！3 月 30 日，《自然-神经科学》发表了美国加州大学旧金山分校华裔教授 Edward Chang 及同事开发的一款脑电波 AI 解码器，能够将大脑活动信号直接转化为句子文本。研究人员通过电极记录受试者说话时的神经活动信号，并用特定语句和神经信号特征之间的关联数据训练 AI 算法。试验证明，训练后的机器翻译算法能够准确地解码受试者的神经活动，并将其接近实时地翻译为句子文本，错误率低至 3%。

当人类思考时，大脑皮层中的神经元会产生微小的电流，不同的思考活动，激活的神经元也不同——这就是脑机接口技术所依靠的原理。但一直以来，脑机接口在解码神经活动方面只取得了有限的成功，其准确率依然远远低于解码自然言语——过去的脑机接口只能解码口头词语的片段或口头词组中不到40%的词语。

此次，Edward Chang团队盘点了机器翻译领域的最新进展，并利用这些方法训练循环神经网络，将神经信号直接映射为句子。试验证明，训练后的机器翻译算法能够准确地解码受试者的神经活动，并将其接近实时地翻译为句子文本。

 从大脑“读取”人的意图

说话似乎是一件毫不费力的事，但实际上说话却是人类执行的最复杂的活动之一。十多年前，科学家首次从大脑信号中解码语言，但是一直以来，语言解码的准确性和速度远远低于自然语言交流。

目前一些用于大脑控制打字的脑机接口技术，其实依赖的是头部或眼睛的残余非语言运动，或者依赖于光标控制以逐个选择字母并拼出单词，这种方式目前可以帮助瘫痪的人通过设备每分钟输出多达 8 个单词。

但与流程自然语言交流时每分钟 150 个单词的平均速度比起来，现有技术的输出速度还是太慢了。

理论上来说，脑机接口技术可以通过直接从大脑“读取”人的意图，并使用该信息来控制外部设备或移动瘫痪的肢体，来帮助瘫痪的人完成说话或运动。

为了获得脑机接口直接解码语言更高的精度，研究人员利用了机器翻译任务与从神经活动解码语音到的相似性。也就是说，和机器翻译类似，解码语言也是从一种语言到另一种语言的算法翻译，两种任务实际上映射到同一种输出，即与一个句子对应的单词序列。只不过，机器翻译的输入内容是文本，而解码语言的输入内容是神经信号。

于是，研究人员盘点了机器翻译领域的最新进展，并利用这些方法训练循环神经网络，然后尝试将神经信号直接映射为句子。

语言相关的神经活动解码过程

具体而言，研究人员通过电极记录四名受试者他们大声读出句子时的神经活动。之后，研究人员将这些数据添加到一个循环神经网络中，从而将规律性出现的神经特征表示出来，这些神经特征可能与言语的重复性特征（比如元音、辅音或发音器官接收的指令）相关。

接着，研究人员通过另一个循环神经网络逐字解码这种算法表示，形成句子。研究人员发现，明显参与言语解码的脑区，同样参与言语生成和言语感知。通过这种机器翻译算法，研究人员在一名受试者身上进行试验，结果证明通过神经活动解码为口头句子的错误率低至 3%。

此外，如果利用某人的神经活动和言语对循环网络进行预训练后再在另一名受试者身上进行训练，最终的解码结果有所改善，这意味着这种方法在不同人员之间或许是可转移的。但是，还需要开展进一步的研究来更加完整地调查这个系统的功能，将解码范围扩展到研究所限语言之外。

 脑机接口+AI 合成语音

直接通过解码大脑活动信号来合成文本或语音，不只是一项科幻般的“读心术”，更是一种颇有前景的治疗方案。

控制光标进行单词拼写，只是离散字母的连续串联，而解码语言则是一种高效的通信形式。与基于拼写的方法相比，直接语音或文本合成具有诸多优点，除了以自然语速传递无约束词汇的能力之外，直接语音合成还能捕获语音的韵律元素，例如音调、语调等。

此外，对于由肌萎缩性侧索硬化或脑干中风引起的瘫痪患者，通过直接记录来自大脑皮层的神经控制信号来合成语音，是实现自然语言高通信速率的唯一手段，也是最直观的方法。

去年 4 月，Edward Chang 等人还在 Nature 杂志发表了开发出一种可以将脑活动转化为语音的解码器。这套人类语音合成系统，通过解码与人类下颌、喉头、嘴唇和舌头动作相关的脑信号，并合成出受试者想要表达的语音。

Edward Chang 教授

为了重建语音，研究人员设计了一种循环神经网络（RNN），首先将记录的皮质神经信号转化为声道咬合关节运动，然后将这些解码的运动转化为口语句子。

整个过程分为两个步骤，第一步，将神经信号转换成声道咬合部位的运动（红色），这其中涉及语音产生的解剖结构（嘴唇、舌头、喉和下颌）。而为了实现神经信号到声道咬合部位运动的转化，就需要大量声道运动与其神经活动相关联的数据。但研究人员又难以直接测量每个人的声道运动，因此他们建立了一个循环神经网络，根据以前收集的大量声道运动和语音记录数据库来建立关联。第二步，将声道咬合部位的运动转换成合成语音。

研究人员的这种两步解码方法，产生的语音失真率明显小于使用直接解码方法所获得的语音。在包含 101 个句子的试验中，听者可以轻松地识别并记录下合成的语音。

在科幻世界里，通过意念信号控制外界设备十分酷炫，实际上，在现实世界中，其背后的脑机接口技术已有近百年的历史。

随着脑机接口领域科学研究与应用技术的不断突破，尤其是 AI 算法的加持，为许多当前仍无法解答的难题提供更好了的探索工具，不仅能够帮助人类进一步了解自己的大脑，更重要的是为诊断、治疗脑部及其它严重疾病提供了解决方案，甚至广泛应用于睡眠管理、智能生活和残疾人康复等领域。

读完这项研究，第一个想起的是科幻小说《三体》中的三体人。三体人无法掩藏内心的想法，说什么就是什么，思维透明，直来直去。若真有这样一个靠脑电交流的社会，是会更加高效理性，还是干脆就乱了套？

当然，近期来说，机器解码神经活动，并将其高准确率地翻译成人类能理解的语言，能帮那些因种种原因无法开口的人重新和世界建立连接，是伟大的进步。只是这种“翻译”的效率和可处理语言的复杂度，恐怕都需要相当长的时间才能达到可用的程度。

https://www.nature.com/articles/s41586-019-1119-1

https://mp.weixin.qq.com/s/ZjAW1CDUli1VXpWcNnF-sQ