苏剑林苏神科学空间：一个数学极客的十六年技术坚守

项目概述

科学空间（Scientific Spaces）是由苏剑林（@bojone）创建于2008年的个人技术博客，域名spaces.ac.cn（曾用kexue.fm）。经过十六年的持续运营，该博客已成为中文互联网中极具影响力的深度学习与自然语言处理技术阵地，累计发布数百篇高质量技术文章，影响了一代AI研究者和工程师。

与当下流行的快餐式技术内容不同，科学空间以其数学严谨性、推导完整性和物理直觉著称，每篇文章都力求从第一性原理出发，将复杂的技术概念层层剥开，呈现给读者最本质的理解。

核心亮点

1. 旋转位置编码（RoPE）的诞生地

科学空间最广为人知的技术贡献，是苏剑林在此提出的旋转位置编码（Rotary Position Embedding, RoPE）。这一创新性的位置编码方法通过绝对位置编码实现了相对位置编码的效果，理论优雅且实践性能优越，尤其在长文本外推性方面表现卓越。

RoPE现已成为大语言模型架构的事实标准之一，被广泛应用于：

• Meta 的 LLaMA 系列模型
• EleutherAI 的 GPT-Neo/GPT-J
• Google 的 FLASH 模型
• 各类国产大模型架构

2. 系列化深度技术内容

博客内容围绕多个核心系列展开，形成完整的知识体系：

• 《Transformer升级之路》：深入剖析Transformer架构的演进与优化
• 《生成扩散模型漫谈》：从数学原理到实现细节的扩散模型教程
• 《线性注意力简史》：追踪线性Attention从边缘到主流的技术脉络
• 《MuP之上》：关于模型优化与超参数缩放的最新思考

3. 开源工具与项目

除了理论文章，科学空间还孕育了多个实用开源项目：

• bert4keras：基于Keras的BERT实现，简化预训练模型的集成与优化
• SimBERT/SimBERTv2：中文文本相似度基准模型
• Cool Papers：利用大模型智能问答功能辅助学术论文筛选的工具

内容特色

数学与物理的视角

苏剑林拥有中山大学基础数学研究生学历，博客内容体现出强烈的数理背景。文章常从随机矩阵论、信息论、统计力学等角度切入，为深度学习问题提供独特的分析框架。例如近期关于"标准正态分布随机最大值期望"的讨论，就展现了对基础概率论的深刻理解。

前沿与经典的平衡

博客既追踪最新技术动态（如Muon优化器、DeltaNet架构、低精度训练分析），也不忘对经典方法进行重新解读。这种"温故知新"的内容策略，使读者既能把握前沿，又能夯实基础。

工程实践导向

尽管数学推导严谨，但文章始终服务于工程实践。从《为什么Adam的Update RMS是0.2？》到《低精度Transformer训练失败分析》，都直接回应了模型训练中的实际问题，提供可落地的调参指导和实现建议。

作者背景

苏剑林，广东云浮人，2009年以16岁之龄创建科学空间。从华南师范大学数学系到中山大学基础数学研究生，再到追一科技机器学习算法部门，他始终保持着"不务正业"的跨界热情——明明学基础数学，偏偏沉溺神经网络；妄想人工智能，却未曾在ACL、AAAI等顶会发表文章。

这种"野生"研究者的身份，反而让科学空间保持了独特的独立性和批判性。文章不受学术圈套路束缚，敢于提出非主流观点，如早期对线性Transformer的冷静判断，以及后来对Attention机制的持续反思。

社区影响

经过十六年积累，科学空间已成为中文NLP社区的重要知识基础设施：

• 长期主义范本：在博客式微、自媒体兴起的时代，坚持深度长文写作
• 技术布道作用：RoPE等原创概念通过博客传播，最终被主流框架采纳
• 人才培养：无数NLP从业者通过阅读科学空间文章完成技术启蒙

项目地址

• 主站：https://spaces.ac.cn
• 备用域名：https://kexue.fm
• 作者GitHub：https://github.com/bojone
• 关于页面：https://spaces.ac.cn/me.html