arXiv cs.LG + cs.RO + cs.HC· Hanning Guo, Hanwen Bi, Farah Abdellatif, Andrei Galbenus, Jon. N. Shah, Abigail Morrison, J\"urgen Dammers·· 2 天前精选AI 评分62
Brain-OF：联合预训练 fMRI、EEG 和 MEG 的全功能脑基础模型
Brain-OF: An Omnifunctional Foundation Model for fMRI, EEG and MEG
AI 导读
研究团队提出 Brain-OF，一个在 fMRI、EEG 和 MEG 上联合预训练的全功能脑基础模型，可在统一框架内处理单模态和多模态输入。
推荐理由
该预印本把 fMRI、EEG 和 MEG 放进同一个基础模型，并公开代码与权重，读者可据此判断多模态神经影像预训练的整合路径。
正文 · AI 翻译
摘要：脑基础模型在广泛神经科学任务中已取得显著进展。然而，现有大多数模型局限于单一功能模态，限制了其利用互补的时空动态以及跨不同神经成像技术的集体数据规模的能力。这一局限主要源于模态间严重的语义异质性和分辨率差异。为应对这些挑战，我们提出 Brain-OF，一个在 fMRI、EEG 和 MEG 上联合预训练的全功能脑基础模型，能够在统一框架内处理单模态和多模态输入。为协调异质时空分辨率，我们引入任意分辨率神经信号采样器，将多样的脑信号投影到共享语义空间。为进一步处理语义偏移，Brain-OF 主干将 DINT 注意力与稀疏专家混合相结合，其中共享专家捕获模态不变表示，路由专家专注于模态特定语义。此外，为通过自监督学习显式内化神经活动的特征，我们提出掩码时频建模，一种双域预训练目标，在时域和频域联合重建脑信号。Brain-OF 在包含约 40 个数据集的大规模语料上预训练，在多样下游任务中展现出优越性能，凸显了联合多模态集成与双域预训练的优势。
| 评论： | 已被 NeurIPS 2026 接收。代码和预训练模型权重可在我们的项目页面获取：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；信号处理（eess.SP）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2602.23410 [cs.LG] |
| （或 arXiv:2602.23410v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.23410 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Hanning Guo [查看邮箱]
[v1]
2026年2月26日星期四 15:47:13 UTC（5,046 KB）
[v2]
2026年3月2日星期一 10:08:49 UTC（5,046 KB）
[v3]
2026年5月15日星期五 11:39:26 UTC（5,114 KB）
[v4]
2026年10月18日星期日 14:53:20 UTC（4,484 KB）
来源：arXiv cs.LG + cs.RO + cs.HC · arxiv.org