Blog
代码:GitHub - JinjieNi/OpenMoE2: The official repo for "OpenMoE 2: Sparse Diffusion Language Models".
OpenMoE 2 是第一个 moe+diffusion language model (DLM) 的架构研究,并且会from scratch训一个完全开源的diffusion moe系列。
实际codebase:
GitHub - JinjieNi/MegaDLMs
Blog
代码:GitHub - JinjieNi/OpenMoE2: The official repo for "OpenMoE 2: Sparse Diffusion Language Models".
OpenMoE 2 是第一个 moe+diffusion language model (DLM) 的架构研究,并且会from scratch训一个完全开源的diffusion moe系列。
实际codebase:
GitHub - JinjieNi/MegaDLMs