Blackrock 介绍端到端脑到文本接口 BIT：词错误率降至 10.22%

作者：Yizi Zhang、Linyang He、Chaofei Fan、Tingkai Liu、Han Yu、Trung Le、Jingyuan Li、Scott Linderman、Lea Duncker、Francis R Willett、Nima Mesgarani、Liam Paninsk

摘要：语音脑机接口（BCI）旨在通过将神经活动转化为文本来为瘫痪患者恢复交流能力。大多数系统采用级联框架，先解码音素，再用 n-gram 语言模型（LM）组装成句子，因而无法对所有阶段进行联合优化。在此，我们提出一种端到端的 BraIn-to-Text（BIT）框架，使用单一可微神经网络将神经活动转化为连贯的句子。我们方法的核心是一个跨任务、跨物种预训练的神经编码器，其表征可迁移至尝试性言语和想象言语。在与 n-gram LM 结合的级联设置中，该预训练编码器在 Brain-to-Text ’24 和 ’25 基准上确立了新的最先进（SOTA）水平。BIT 与音频大语言模型（LLM）端到端集成，并通过对比学习进行跨模态对齐训练，将先前端到端方法的词错误率（WER）从 24.69% 降至 10.22%。值得注意的是，我们发现小规模音频 LLM 能显著改善端到端解码。除创纪录的性能外，BIT 还将尝试性言语和想象言语的嵌入对齐，从而实现跨任务泛化。总之，我们的方法推进了大规模、多样化神经数据集的整合，为支持无缝、可微优化的端到端解码框架铺平了道路。

阅读预印本此处。