2025_NIPS_Brain-Inspired fMRI-to-Text Decoding via Incremental and Wrap-Up Language Modeling

文章核心总结与翻译

一、主要内容

本文聚焦于功能磁共振成像（fMRI）到文本的解码任务，旨在解决现有方法处理长序列时存在的内存过载和语义漂移问题。研究受人类语言理解的认知机制启发，提出了名为CogReader的脑启发式序列解码框架，核心包含两部分：

1. fMRI表征学习：采用两阶段训练（HCP数据集预训练+目标数据集微调），结合文本引导的掩码策略（利用BERT模型计算词的语义重要性，对关键时间点的fMRI信号重点关注）和掩码自编码器（MAE），增强fMRI嵌入对文本信息的表征能力。
2. fMRI到文本解码：将长fMRI时间序列分割为符合人类语言理解最优长度的片段，对每个片段进行增量解码（使用BART模型生成文本），并通过wrap-up机制汇总当前片段的语义信息，作为先验知识指导下一片段的解码，确保语义连续性。

实验在Narratives和Huth数据集上开展，结果表明该方法在BLEU-N、ROUGE-1、BERTScore等指标上显著优于UniCoRN、BP-GPT等现有方法，且解码长度越长，性能优势越明显。

二、创新点

1. 提出脑启发式序列解码框架：模拟人类语言理解的增量处理和片段整合机制，将长序列分段解码并通过wrap-up机制传递语义信息，有效缓解内存负担和语义漂移。
2. 设计文本引导的掩码策略：基于文本语义重要性选择性掩码fMRI信号，引导模型关注语义关键时间点的神经