开发者开源本地方案，DeepSeek V4 Flash实现本地部署，成本大降！
谁是Agent时代的“硬通货”？
在agent时代，最贵的当属token。一些重度agent使用者，一个月用掉几亿token，账单小几万块钱也是常有的事。
开源方案：实现“龙虾自由”
现在，有开发者开源了一个本地方案，一台苹果笔记本就能部署。从此，用户实现了“龙虾自由”，跑再多任务，也无需为token支付一分钱。该方案使用的是DeeSeek V4 Falsh。几天前，antirez在GitHub上发布了项目ds4，这是专门为DeepSeek V4 Flash写的推理引擎，几千行C代码能让该模型在128G内存的苹果电脑上跑起来。开发者antirez本名Salvatore Sanfilippo，是意大利程序员，也是开源数据库Redis的原作者，Redis后来成为全球互联网基础设施里最常用的内存数据库之一。
免费的DeepSeek，利弊几何？
DeepSeek影响力大，吸引到了圈内顶流程序员，但这回它真的免费了。任何开发者都可用ds4把DeepSeek V4 Flash装进自己的MacBook Pro，本地跑代码、读上下文、做agent任务，无需给DeepSeek付1分钱。虽然DeepSeek V4 Flash本身开源，但FP16精度的原始模型要吃掉284G内存，显存需求高达160G，运行它至少得有两张英伟达A100 80GB、一条512GB DDR5 ECC内存，以及一个4TB NVMe SSD，总成本50万人民币。而现在，一台3万块钱的MacBook Pro就能跑。
为何选中DeepSeek V4 Flash？
antirez选中DeepSeek V4 Flash，是因为它最适合被“塞进本地电脑”。它有284B总参数，足够大；每次推理只激活13B参数，不像传统大模型那样沉重。它支持100万token上下文，适合编程助手这种长任务；同时KV cache压缩得足够狠，给本地内存和SSD留下了操作空间。DeepSeek V4 Flash刚好站在一个神奇的平衡点上，既大到值得折腾，又小到能被塞进苹果笔记本里。YC的CEO Garry Tan在X上转了这条消息，只打了一行字：正在下载……100万token上下文窗口，可用的编程助手能力，全在一台128GB的MacBook Pro上，太疯狂了。
ds4究竟是什么？
ds4不是一个模型，而是一台“专用发动机”。DeepSeek V4 Flash是车，苹果电脑是路，ds4负责把原本更适合跑在云端的大车，改到本地机器上能跑、能接API、还能被coding agent调用。过去大家用llama.cpp在自己电脑上跑大模型，它什么模型都能跑，但为了照顾所有模型，做了很多妥协，性能无法做到极致。antirez则专门伺候DeepSeek V4 Flash，把它优化到极限，他做了三件事。
三件优化之事
第一件事是不对称的2 - bit量化。DeepSeek V4 Flash的架构是MoE（Mixture of Experts），284B总参数里，每次推理只激活13B，这13B是路由挑出来的若干个专家子网络。就像一个工具箱里有284把工具，每次只拿出13把来用。这284B里面，有一大堆“备选专家”占了90%以上的空间，但它们不是每次都用，只是候补。antirez只对这批routed experts做激进的2 - bit量化，up和gate矩阵用IQ2_XXS，down矩阵用Q2_K，而模型里所有关键路径上的组件，包括shared experts、projections、routing网络，全部保持原始精度不动。也就是说，他把“候补专家”狠狠压缩，压到只剩原来1/4的大小，但核心组件保持原样，这是一种不对称的压缩策略，砍掉体积大头，保住质量命脉。
第二件事是把KV Cache搬到SSD上。DeepSeek V4 Flash支持100万token的上下文，这相当于能记住一整本小说。但这么长的上下文，AI工作时要频繁回头翻看前面的内容，为了让这个动作不慢到卡死，需要把内容暂存在“缓存”里。以前把缓存放在内存里，因为内存速度快，但128GB内存的MacBook Pro跑DeepSeek - V4 Flash时，光缓存就能把内存吃光，模型本身都没地方放了。所以antirez把缓存扔到硬盘（SSD）上。ds4把一部分KV状态做成可落盘、可恢复的缓存，让长提示词和agent反复续写时，不必每次从头处理。虽然硬盘比内存慢，但现代Mac SSD足够快，适合做KV缓存持久化和恢复，加上DeepSeek V4 Flash本身对缓存做过压缩，读写量不大，所以硬盘完全顶得住。结果是内存省出来了，100万token的超长对话能在一台MacBook上跑起来。不过128GB MacBook不能毫无压力地把100万token全部拉满，按照ds4自己的说明，2 - bit模型本身已经要占掉大约80GB级别的内存，真正日常使用时，100k到300k上下文会更现实一点。
第三件事是纯Metal原生路径。antirez把所有优化都押在苹果电脑的GPU上，专门为苹果芯片写了一套代码，让DeepSeek V4 Flash能在苹果电脑上跑得飞快。至于CPU，并不是这个项目的重点，README里也写得很直白，CPU模式目前还不稳定，甚至可能触发系统崩溃。antirez进一步表示，如果有人真想走这条路，后续大概还得靠社区来补救。在M3 Max 128GB的MacBook Pro上，实测速度是每秒能生成26个字左右，M3 Ultra 512GB的Mac Studio上能跑到每秒36个字，不算快，但写代码、调试这些日常工作完全够用。更有意思的是，antirez是独自一人通过GPT - 5.5完成的整个这个项目。
利好DeepSeek
根据外媒报道，DeepSeek目前正在寻求高达73.5亿美元的融资，梁文锋处在关键转折点，用商业叙事取代DeepSeek过往的技术叙事。投资人不仅看模型跑分、API调用量，更看生态位和不可替代性。一个海外知名开发大佬愿意为DeepSeek写专用引擎，说明它在海外有一定的生态地位。过去一年，中国开源模型的出海叙事里，主流衡量标准是benchmark，但有人愿意围绕模型做二次工程，才代表模型被认可了。antirez选了DeepSeek并花时间写专用推理引擎等，显然认为它值得，这变相等于一个有信誉的第三方在用自己的时间和名声给DeepSeek - V4背书。
国产模型出海有两条路，一条是API被调用，提供服务，别人付费使用，但客户可随时切换，要时刻对抗竞品；另一条是模型被改造，模型成为材料，会被嵌入到别人的工具链里，很难被换掉。比如某个开发者把ds4集成到自己的coding agent里，团队成员习惯了这套工具，公司代码库里到处都是基于DeepSeek本地推理的调用，此时要换成别的模型，成本太高，大概率不会换，这就是“被嵌入”的粘性。ds4把DeepSeek V4 Flash嵌进了Metal原生本地推理这个场景，截至发稿，Hugging Face上antirez那个deepseek - v4 - gguf仓库，就已经有25000次下载了，每一次下载都意味着有人在自己的机器上跑起了DeepSeek，粘性逐渐建立起来。更值得注意的是连锁效应，Hacker News上有高赞评论提出，如果以后针对精确的GPU加模型组合构建超优化推理引擎会怎样？GPU越来越贵，抽象层去掉得越多，优化空间就越大。这个方向一旦被验证，意味着每一代有分量的开源模型发布时，都会有人跳出来给它做专属引擎、专属量化、专属agent接入。DeepSeek V4 Flash正好踩在了这个起点上，如果这套逻辑成立，后续每个V4 Flash的小版本迭代，都会天然地被嵌入到“一代模型配一个专用引擎”的循环里。梁文锋成了第一个吃螃蟹的人，DeepSeek也从一个模型品牌，变成海外开发者手里的基础设施材料，对于现阶段的DeepSeek来说，这种“升维”非常重要。
焉知非福
目前，DeepSeek的核心商业化路径是API，开发者调用，按token付费，薄利多销，这是它擅长的打法。但ds4这种项目，本质上是在“劝退”一部分API用户。一个独立开发者或小团队，过去用Claude Code或者DeepSeek的API跑coding agent，这是高token消耗场景，按token计费，一个重度agent的开发者每个月可能要花几千块钱的token费用。现在他有了另一个选项，花几万块钱买一台128GB的MacBook Pro，然后跑ds4，前期投入一次，之后推理没有边际成本，数据不出本地，延迟完全可控。外网论坛上有开发者分享，日常写代码、改bug等简单任务，全扔给本地的ds4跑，不花钱，只有遇到复杂的架构设计问题，才切换到云端的DeepSeek V4 - Pro或者Claude Opus。高token消耗的部分被本地化了，只有少量高价值调用还留在云端，相当于一分钱没有给到DeepSeek，却在绝大多数时间都在使用DeepSeek。
同时，antirez采用的量化方法有“坑”。即使是不对称量化策略，只压MoE专家不压关键路径，也不可能完全没有质量损失。外网论坛上已经有人发出测试结果，ds4本地量化版本在超2000行代码的文件里偶尔丢失变量作用域，幻觉略多，MoE路由层对量化噪声尤其敏感。这引出了体验解释权的问题，用户调用DeepSeek官方API效果不好，会认为是DeepSeek的问题，但在本地跑ds4时，面对的是2 - bit量化、Metal runtime、SSD KV cache、上下文截断、agent配置等一整套变量，任何一个环节出问题，往往被归因到“DeepSeek不行”。别人帮扩散模型，但不会帮维护口碑。更深一层看，“成为材料”和“成为平台”不同，梁文锋更想要后者，可ds4却让DeepSeek成为了前者。材料只会被嵌入别人的工具链，不能为DeepSeek提供商业闭环，只有平台才掌握分发、计费、账户、数据、开发者关系和升级节奏。DeepSeek如果只是提供权重，被antirez、Cursor、各种本地agent和第三方runtime拿去改造，它获得了名声，但真正能留住用户的可能是那些工具链的开发者。这就是开源模型的悖论，模型越成功，越容易成为别人的底层能力，但底层能力如果没有抓住开发者的入口，就有可能被上层产品吃掉大部分商业价值。所以ds4对DeepSeek不是简单的好消息，也不是坏消息，可以肯定的是，对于DeepSeek来说，他们又有故事可以讲给投资人听了。