Edward Chang 谈言语脑机接口：从 80 词/分钟解码到面部与手势表达

BCI Vision 专栏：追踪国际前沿实验，洞察神经技术变革，本专栏将持续聚焦全球顶尖期刊和媒体，为你带来全球前沿人物对话与思想碰撞。

本期，脑机接口社区为大家带来《Nature Neuroscience》神经技术特刊的特别访谈本期嘉宾是

Edward Chang ，

他是加州大学旧金山分校（UCSF）“Margaret Liu Collins and Edward B. Collins 杰出教授”兼神经外科系主任

。

他将言语重新界定为一种“发音运动代码”而非抽象的思想读取，这一视角使言语BCI从理论可能走向高性能系统

。

在本场对话中，他

谈到了言语脑机接口的演变，他讨论了 AI 的进展如何加速 BCI 向临床转化、恢复自然交流所面临的挑战，以及为什么大规模神经数据集最终可能帮助构建人脑的计算模型。

Edward Chang（张复伦）是一位神经外科医师和神经科学家，他担任加州大学旧金山分校（UCSF）神经外科系主任、Margaret Liu Collins and Edward B. Collins 神经外科学杰出教授，是美国国家科学院院士与美国国家医学科学院院士

。他的研究致力于揭示人脑如何编码言语，并以此为基础开发言语脑机接口。他的团队在2019年首次证明从大脑中解码可理解言语的可行性，此后将性能推进至80词/分钟的流式解码水平，并进一步探索文本、合成语音和面部化身等多通道输出，以恢复瘫痪患者的自然交流能力

。

问：回顾该领域的发展轨迹，脑机接口的哪些进展最让您感到惊讶？

Edward Chang：

BCI 领域最让我惊讶的是，它终于成为临床现实。我们不再处于持续了数十年的原理验证研究阶段。我们现在正处于这些技术正在成为真正临床疗法的节点上。未来三到五年内，我们将看到首批商业化 BCI 上市，这些系统将在随后几年开始扩展。这对该领域来说是一个极其重要的时刻，因为许多希望和炒作已经积累了很久。令人兴奋的是，所有缺失的要素——科学、投资和临床机会——终于汇聚在一起了。

向临床世界转化极其复杂。这不是那种你会写研究论文的工作，但如果我们认真想把这些技术变成实际治疗手段，它就是必不可少的。

在我们自己的领域，言语

BCI 和言语解码的进展速度很快。我们 2019 年首次证明，从大脑中解码可理解的言语是可能的[1]。然后我们应用该方法，在 2021 年首次展示了在严重瘫痪患者中解码单词和句子[2]。之后，通过优化传感器和算法，我们证明可以实现极高的性能——每分钟 80 个单词，并且以低延迟进行流式传输[3]。重要的是，不仅我们团队做到了，许多其他团队现在也做出了重要贡献并验证了该方法。那段经历的一个教训是，技术发展速度快得惊人。我没有预料到 AI 会成为如此强大的催化剂。

我们使用的

AI 模型本质上是通用的，甚至不是专门针对语言的。它们把一种数字化数据形式转换为另一种，这就是生成式 AI 革命的核心。解码算法加速进展的方式，是我在五年前都想不到的。过去，对话集中在传感器本身、接口硬件上。今天，即使使用我们已经拥有数十年的技术，比如被称为皮层脑电图（electrocorticography）的脑表面记录，或穿透式微电极 Utah 阵列，我们也能实现好得多的性能。改变的是我们使用现代 AI 技术处理和解释数据的能力，正是这一点推动了一个又一个突破。

展望未来，我认为会发生两件事。第一，我们将开始看到这些技术的首批真实世界商

业部署。第二，我希望我们能把一些注意力转回科学。生成式

AI 模型可能帮助我们理解大脑本身，以及产生认知和行为的机制。

对我们工作而言，一个转折点出现在循环神经网络模型首次成为语言间翻译的强大工具时。

Google 当时正在开发一些早期翻译模型，很快就可以看出，这些模型其实并不专门针对语言。它们是处理数据序列的通用模型，让我们能够预测序列中的信息，无论该序列由单词、声音还是其他东西组成。这些模型本质上对它们处理的信号类型是不可知的。一个设计用来把法语翻译成英语的模型，原则上可以被改用来把大脑活动翻译成信号，因为底层挑战是相似的：把一种数字序列转换为另一种。对于 BCI 这一特定情况，它们使我们能够把大脑信号翻译成输出，如光标控制[6]、单词[2]甚至运动[3]。

问：除了

AI，是否有一个特定的实验或发现让您确信言语 BCI 确实可能？

Edward Chang：

归根结底，你需要有显著、稳健、高信噪比、高分辨率的数据。这些模型并不神奇，也不能处理任何数据。只是它们非常擅长识别数据中的复杂模式，而这些模式可能用肉眼无法看到，或用线性模型无法解释。

虽然新模型的能力很关键，但它们最终关乎优化。从根本上说，仍然取决于数据的性质。

我第一次认为有可能构建言语

BCI 是在 2010 年左右。我们做了一个非常简单的实验，让人们说出像“ba”、“da”和“ga”这样的简单音节，同时直接从人运动皮层表面记录信号。看到有些模式特异于“ba”，另一些特异于“da”等等，令人兴奋。引人注目的是，它们之间的差异反映了一张声道地图，以及产生这些声音所需的发音运动[7]。

当时，言语被大家认为太难、太混乱，无法解码，但那是第一次我意识到我们或许能够处理像言语这样复杂的东西。挑战常常被表述为试图把思想直接翻译成词语。但我们把它重新表述为运动控制问题。

我认为我们的根本贡献是这样一个想法：言语不是我们试图接入的抽象物，而是一种发音运动代码。

当我们在原始神经数据中看到与不同音节相关的不同活动模式后，其余一切就顺理成章了。我们推断，原则上解码言语是可能的。而这正是我们多年来看到的，最终形成了今天非常高性能的系统。

问：您认为未来的

BCI 会在发音之前，在音系或语言规划层面能解码语言吗？如果是，那最终会优于发音解码器吗？

Edward Chang：

我认为发音表征很有吸引力，因为它们直观，并且直接与产生言语的声道运动相关。但还有一个更高层次，管理我们如何计划这些运动、单词如何在更抽象的认知层面被表征，以及我们在交流时大脑如何思考单词。这些方面仍然是开放问题。

大多数人在说话时不知道自己的嘴在做什么。我们整天说话，却没有关于如何做到的明确知识。这相当了不起。

言语

BCI，包括我们做的工作[1]，一直在利用发音层面。但还有更高层次——更大的单元，比如音节，以及我们所说的音系结构。

我对那些表征特别感兴趣，因为有许多患者可能不适用于发音方法。例如，如果一个人控制发音的皮层区域遭受了持久损伤，你就无法从那些区域解码言语。在这种情况下，你需要完全不同的编码方案，可能涉及参与言语规划和序列化的更高阶区域。这可能把这项技术扩展到更大的患者群体。

我们的大部分工作集中在言语皮层完好，但由于脑干卒中或

ALS，与控制声道所需的肌肉和通路在功能上断开的患者。这与卒中后 Broca 失语症等情况非常不同，后者的言语产生相关皮层区域直接受损。患有这类疾病的人通常能理解语言，但难以产生言语。要帮助这些患者，我们需要更深入地理解这些中间和高阶语言表征，以及如何直接与它们接口。

问：您最近的工作探索了超越单词的交流。为什么

BCI 捕捉交流的语言维度和具身维度都很重要？

Edward Chang：

目标是让

BCI 交流尽可能自然。我们开发的第一批言语 BCI 把大脑活动解码为单词，并显示为文本。我们还开发了把大脑活动解码为人们能听到的合成语音的系统。我们有两种形式：文本和声音。然后，我们合作的一位参与者问我们：那用一张说话的脸来展示言语动作怎么样？这件事一直留在我们心里。我们也一直在思考它，

因为在言语康复中，治疗师经常使用具身策略。言语障碍患者经常被鼓励更加意识到声道不同部位在言语产生过程中的作用。这涉及视觉反馈和对交流的物理理解。这就是创建我们第一个言语 BCI 化身的催化剂[8]。我们构建了一个可以控制患者面部数字表征的系统。

这是我们开发的第三个解码器。首先有文本，然后有声音，然后是面部运动。我们构建它，是因为交流通常既涉及听到声音，也涉及看到某人说话。这就是为什么我们通过视频通话进行这次采访，而不是打电话。视觉通道增加了一层可懂度和表达力。

随着我们与更多患者合作，并采访了数十位失去说话能力的人，我们学到了一些重要的东西。显而易见的挑战是交流障碍本身。但

我学到的最深刻的事情是，存在人格和身份丧失。人们反复告诉我们，他们怀念的是表达情感和个性的能力。我们的目标不仅是恢复单词，而是恢复人格和身份。瘫痪时，能够发送信息和能够用词语交流是两回事。但能够以充分表达的方式进行交流，会让言语神经假体感觉自然得多。

问：如果

BCI 要捕捉情感、手势和个性以及言语，它们需要解码哪些额外的神经信号？

Edward Chang：

我认为这有多个层面。

一个层面仍然在声音领域内，即解码韵律、语调和其他情感的声音表达。第二个层面涉及面部表情。第三是引入手势，即我们自然用来强调或增强所说内容的手和手臂运动。

这是我们在本期论文中探索的内容

[8]。在那种情况下，挑战不仅是解码参与发音的言语区域。你还需要从与手臂和手部运动相关的区域解码。然后是第四类，超越情感的运动表达，更直接地接入情感状态本身。通过直接访问底层情感状态的某些方面，我们可以自动且自然地生成外在表达，而不需要用户有意识地控制每一个元素。

问：这是否意味着未来的

BCI 需要接入更广泛的大脑区域？

Edward Chang：

有一个常见的误解，认为我们可以从很小的记录位点解码整个大脑。人们有时想象，如果你在大脑中放置一个小接口，就应该能够从中恢复一切。实际上，你只能解码你所记录区域中表征的信息。例如，如果你想解码情感状态，你真的能从运动皮层单独获得那些信息吗？我不确定你能。

大约五年前，我们发表了论文，描述在人们主观体验和报告情感状态时解码情感状态

[9]。那些信号来自完全不同的大脑区域。它们不是我们用于言语解码的相同区域。

我们仍然没有能够同时访问所有这些不同网络的系统。这是前进的主要挑战之一。

问：随着

BCI 更接近临床现实，您认为哪些期望是不切实际的，哪些发展值得神经科学界更多关注？

Edward Chang：

这是我们思考了很多的事情。许多炒作式声明基于这样一种看法：我们可以准确可靠地读取人们的思想，这一前景理所当然地引发担忧。我们还没有到那一步，尽管可能不远了。

解决方案是从一开始就应该设计系统，把保持在内部的内容与意图外部表达的内容分开。我乐观地认为这是可能的，我们已经在这个主题上做了工作

[10]。

我认为这对隐私、能动性和对自己行为的拥有权很重要。

只要我们继续讨论这些问题、始终把它们放在心上，就能建立起保障，同时不拖慢帮助那些眼下就急需解决方案的人的进度。

还有一种误解，认为当前的

BCI 技术可以治愈所有脑部疾病。以穿透式微电极系统为例。它们对癫痫或许多精神健康障碍等情况并不实用或必要，这些情况可以用一种不同的技术——神经调控——来解决。过度炒作的最大问题之一是，讨论往往不够具体，没有说明这些技术现实上能做什么。

很多人谈论 BCI，却不了解底层科学，这会造成不切实际的期望。

与此同时，

BCI 还有一面被严重低估。

许多人几乎完全关注接口本身：电极、它们的大小、耐用性等等。对我来说，更有趣的问题是：我们收集的数据的本质是什么，我们能从中构建什么样的模型？我认为近期最令人兴奋的发展可能是，从大规模数据集中构建的计算模型的出现，这些模型可以用来创建人脑的模拟。

随着这些数据集增长，我们将能够创建越来越复杂的数字模型和脑功能模拟。我认为这比许多人意识到的来得更早。下一代模型将对科学和 BCI 的实际应用都具有变革性。

问：接着这一点，您认为该领域的宏大挑战是什么？一个真正具有变革性的大脑功能模型会是什么样子？

Edward Chang：

一个宏大挑战将是构建人类大脑活动的生成模型，无论是运动、言语、认知还是情感。我认为这是历史上第一次，我们同时拥有仪器和计算工具来认真构建这样的东西。现在最大的瓶颈之一就是所需的数据量。但我认为这是我们可以着手的最深刻的科学挑战之一。

我们今天拥有的

AI 系统很大程度上建立在人类智能的输出之上，但它们没有做的是直接建模智能本身的生物基底。

我认为这远远超出了 BCI。但我也认为 BCI 领域正朝这个方向前进，因为 BCI 提供了一种获取构建这些模型所需数据的方式。

我希望第一代这类模型不会仅限于电生理学。电生理学是我们最直接合作的层面，但一个真正强大的生成模型会整合许多不同类型的信息：结构性

MRI、功能性 MRI、微结构、分子和细胞信息，以及连接组。理想情况下，你会把所有这些模态整合到一个单一框架中，同时从多个机制层面理解脑功能。有太多事情要做了！

采访：Henrietta Howells

来源：Nature Neuroscience 2026 年 10 月

DOI：htt

ps://doi.org/10.1038/s41593-026-02453-3

翻译整理

：王猛

运营：罗卜

参考文献

1.Anumanchipalli, G. K., Chartier, J. & Chang, E. F. Nature 568, 493–498 (2019).

2.Moses, D. A. et al. N. Engl. J. Med. 385, 217–227 (2021).

3.Metzger, S. L. et al. Nature 620, 1037–1046 (2023).

4.Littlejohn, K. T. et al. Nat. Neurosci. 28, 902–912 (2025).

5.Sutskever, I., Vinyals, O. & Le, Q. V. Adv. Neural Inf. Process. Syst. 27, 3104–3112 (2014).

6.Hochberg, L. R. et al. Nature 442, 164–171 (2006).

7.Bouchard, K. E., Mesgarani, N., Johnson, K. & Chang, E. F. Nature 495, 327–332 (2013).

8.Brosler, S. et al. Nat. Neurosci. https://doi.org/10.1038/s41593-026-02446-2 (2026).

9.Kirkby, L. A. et al. Cell 175, 1688–1700 (2018).

10.Sankaran, N., Moses, D., Chiong, W. & Chang, E. F. Front. Hum. Neurosci. 17, 1298129 (2023).