可解释语音特征解释音频模型脑编码表现

1. 12:00
   arXiv q-bio.NC

   可解释特征嵌入提升并解释音频模型的脑编码表现

   研究用 mel 频谱、Gabor 滤波器组、语音存在、音素、句法、语义六类可解释特征及 Whisper、HuBERT、WavLM 的上下文嵌入构建线性编码模型，量化 ECoG 响应方差。方差分解显示，SFM 与大脑的对齐大部分可由其编码简单可解释语音特征的能力解释，且各层在低层与高层脑相关特征间存在系统性权衡。SFM 还学到低层特征无法解释的脑相关语义，该能力随模型规模和上下文长度提升。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。