DeepSeek V4发布

DeepSeek V4 上周就发布了，本来想聊聊，但是之前没想清楚要讲什么。今天就说说令我印象深刻的两个部分。

国产芯片适配。

这里我没有细研究，只挑了几个关键点。

（简单来说，就是优化了国产芯片的推理。还有一个 TileLang，能在代码层适配国产芯片的算子和国外的CUDA）

1M上下文成为标配。

国内的模型除了Qwen,其他的厂商似乎都没有做 1M 的上下文。

标准的注意力机制，每个新来的token都要和前面所有token算一次内积。如果把4K上下文换成100万上下文，需要算的内积数量是4000倍，显存占用也是4000倍。粗略估算下来，100万上下文的单次推理成本比4K高约6万倍。这堵「算力墙」和「显存墙」加起来，是大多数模型在128K-200K就停住的原因。

但这次DeepSeek开放的CSA + HCA，给了一个解决方案。具体内容比较复杂，我也看不太明白，只知道效果大概是这样子。

两者加起来，V4在100万上下文下的单次推理成本，只有V3.2的约1/4。KV cache占用只有传统BF16 GQA8 baseline的约2%

感觉今年年底左右，大家应该也会让 1M 上下文变成模型的基本能力，不再是高价位模型的专属。

之前 Karpathy 分享的知识库管理，其实有个前提，就是模型的上下文要比较大，这样在用起来才比较方便。现在看来，在线的知识管理这种产品应该比较慌了，没必要继续续费~~

还有，RAG的场景进一步被压缩。数据量少的时候直接丢到上下文，数据量大且有多实体关联的时候单纯的RAP没用了，又得加图。

还真印证了那句话，AI时代如果你学得慢，很多东西不用学~

具体技术报告：

https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf

推荐阅读（非本人）：

https://mp.weixin.qq.com/s/BELLFDV6hlmmFoAcJy1RZg