UCSF 团队在 Nature Neuroscience 发表研究，用单块皮层植入体同时解码语音与手势

实验性技术通过虚拟化身将大脑信号转化为语音和手势。

加州大学旧金山分校（UCSF）的研究人员展示了一种实验性脑机接口，使严重瘫痪者能够借助虚拟化身，同时通过语音和肢体手势进行交流。

该系统将神经活动转化为数字指令，使用户能够显示代表其意图言语的文本，同时由个性化化身做出相应手势。这些研究结果于2026年9月14日在线发表于Nature Neuroscience，有望推动辅助技术的发展，使失去说话或行动能力的人能够进行更具表现力的交流。

该研究团队获得了美国国立卫生研究院（NIH）的资助，包括其下属的国家耳聋及其他交流障碍研究所。

该脑机接口使用手术植入的高密度电极阵列，置于感觉运动皮层上方，该脑区参与控制运动，包括与言语相关的运动。

该阵列记录大脑的电信号。随后，机器学习模型解读这些信号，并将其转化为控制个性化全身虚拟化身的指令。

当参与者尝试交流时，系统可以将解码出的言语显示为文本，同时驱动挥手或竖大拇指等手势动画。言语和手势输出可以同时或分别生成。

此前的脑机接口研究已展示了分别解码言语或运动的方法。本研究探讨了单个皮层植入物能否同时支持这两种交流形式，包括在两者同时尝试时。

研究人员检查了三名患有影响发声通道的严重瘫痪参与者的神经记录。其中两人还患有严重肢体瘫痪，第三人为中度肢体瘫痪。

团队首先测试了与不同运动相关的神经信号能否被可靠解码。随后，他们开发了并行的言语和手势解码器，使两名参与者能够在结构化任务和对话互动中控制虚拟化身。

研究结果表明，用同时尝试言语和手势的样本训练模型，可提升其解读同步交流的能力。仅用孤立的言语或手势训练的模型，在参与者同时尝试两者时，表现不会自动达到同样水平。

在对话测试中，患有肌萎缩侧索硬化（ALS）的参与者在五个测试区块中，手势平均解码准确率达到85%，言语平均解码准确率达到75%。第二名曾发生卒中的参与者在三个测试区块中，言语和手势的中位解码准确率均达到100%。

这些数字反映的是特定参与者在受控实验中的结果，而非所有用户或每种交流场景下的预期准确率。该系统使用有限的短语和手势集合进行测试，而非无限制对话。

人类交流不仅仅涉及说出的言语。手部动作、点头和其他手势可以强化含义、表达反应，并帮助人们参与对话。

肌萎缩侧索硬化症（ALS）等疾病以及中风的影响可能同时损害言语和身体运动，使交流更加困难。现有的辅助技术可以帮助人们表达自己，但其中一些技术提供的传达手势和其他非语言线索的方式较少。

一套结合言语和手势的系统最终可能为严重瘫痪者提供更多交流方式。虚拟化身可以代表一个人身体上无法完成的意图动作，让可见的手势伴随言语一同呈现。

然而，该研究并未表明这种植入物能恢复自然言语或身体运动。相反，它证明记录到的脑活动可以被转换为意图交流的数字表征。

尽管研究结果令人鼓舞，但这项技术仍处于实验阶段，尚未成为成熟的临床交流设备。

基于化身的交流实验涉及两名参与者，而更广泛的研究则检查了三名参与者的神经信号。样本量小意味着还需要进一步研究，以确定该方法对不同病情和不同程度瘫痪者的效果如何。

该系统还依赖植入电极、外部计算设备以及为个体用户量身定制的机器学习模型。其性能仍受限于训练和测试过程中所包含的短语和手势。

进一步研究需要考察更大规模的参与者群体、扩大可识别短语和手势的范围、提升解码性能，并评估较长时间内的可靠性。

研究团队已将完全可植入的无线版本确定为未来的开发目标。这样的系统可以减少对外部有线设备的依赖，但其可行性、安全性和性能仍需评估。

这些发现提供了概念验证，表明单个皮层植入物可以支持言语和上半身手势的解码，并通过个性化虚拟化身呈现结果。

尽管仍存在重大的技术和临床挑战，但这项研究标志着向结合不同交流形式、而非将言语和运动分开处理的脑机接口迈出了一步。

进一步发展最终可能帮助严重瘫痪者以更灵活、更具表现力的方式交流。就目前而言，这些结果展示的是一种有前景的实验性方法，而非可直接使用的临床解决方案。