当前位置: 首页 > news >正文

月之暗面开源 Kimi K3 权重,开发者热议自建成本与技术路线

【导语:月之暗面开源 Kimi K3 完整权重后,Hacker News 上开发者围绕其运行成本、性能及技术路线展开热烈讨论。Kimi K3 拥有 2.8 万亿参数等特性,虽性能有差距但有实际产出,定价较高,后续发展将由开发者决定。】


开源 3T 模型的运行难题

月之暗面开源 Kimi K3 完整权重第二天,Hacker News 上热门评论是关于其运行的算数题。MXFP4 原生精度下,光权重就要 1.5TB 显存,8 块 B200 勉强装下,实际部署至少 16 块。有人讨论用二手四路至强服务器插满 3TB DDR5 内存运行,速度大概每秒五六个 token,但也有人认为思考阶段耗时长,实际可用速度按天算。SSD offload 的结论更悲观,3T 级别可能慢到无法使用。

Kimi K3 技术细节与性能表现

7 月 27 日,Kimi 在官网博客发布 K3 技术细节。其具有 2.8 万亿参数,采用 MoE 架构,896 个专家每次激活 16 个,原生支持视觉和 100 万 token 上下文窗口。拥有三项核心技术,配合 MXFP4 权重量化训练,整体规模效率比前代 K2 提升约2.5 倍

基准测试中,虽整体性能落后于 Claude Fable 5 和 GPT - 5.6 Sol,但有实际产出,如 48 小时自主设计芯片、搭建 MiniTriton 编译器、复现计算天体物理研究等。

高定价与自建成本考量

定价方面,缓存命中输入 $0.30 / 百万 token,未命中 $3.00 / 百万 token,输出 $15.00 / 百万 token,Mooncake 分离式推理架构使编码场景缓存命中率超过 90%,价格与 Claude Sonnet 相近。

开发者开始算账,一台 3TB 内存服务器按美国平均电价算,一个月电费约 $135,但重度编码用户一周消耗 50 亿 token,一台服务器一个月只能跑 1300 万 token。不过电力成本可能不是重点,数据主权才是驱动力,一些公司因监管要求本地部署。

技术路线与未来展望

有人提到 AMD 即将推出的 Epyc Venice 和 MI355X 可能改变成本曲线,若推理成本下降,“自建 K3” 对中小团队不再是难事。还有人呼吁社区从 K3 做 “真正的蒸馏”,训练更小的模型。

HN 上讨论基调务实且兴奋,K3 是 “第一个和闭源前沿一样大的开源模型”,让社区有机会量化真实推理成本等参数。Kimi 开放权重后,后续发展由开发者决定。

编辑观点:Kimi K3 的开源为行业带来新契机,虽运行和成本问题待解,但技术路线多样,有望推动开源模型发展,满足不同场景需求。

http://www.jsqmd.com/news/1292303/

相关文章:

  • 3分钟搞定永久分享:百度网盘秒传脚本终极指南
  • C++核心构造单元:类、结构体、指针与引用深度解析与实战指南
  • 一条自己攒的AI图标制作流水线工具链
  • 2026 年花都正规的旋流喷淋塔直销厂家哪家好,车间异味总治不好?原来你缺了这台“看不见的空气清道夫” - 企业推荐管【认证】
  • API接口对接常见问题排查与落地解决方案工作总结
  • AI驱动的全流程产品研发与迭代:从构想到部署的完整实践
  • 价值投资的核心逻辑与实践策略
  • AI 技术日报 - 2026-07-30
  • 专业级飞行控制系统优化:PIDtoolbox黑盒日志分析终极指南
  • B2B企业短视频运营指南:抖音运营公司选型与西骏传媒深度解析
  • vLLM大模型部署优化:PagedAttention机制与生产实践指南
  • 广州渲染农场怎么选?本地创作者的云渲染参考
  • Git 完整学习笔记:从入门到团队协作
  • Ubuntu 部署 Docker 完整教程
  • Android插件化开发实战:Shadow框架SDK接入与核心原理详解
  • 抚琴成一快-4m6/6b和弦
  • STM32串口通信实战:从HAL库配置到DMA+空闲中断应用
  • PN532 NFC模块串口通信全解析:从硬件连接到MIFARE卡读写实战
  • PCB标签定制公司发展现状、痛点与前景深度分析
  • 全面掌握大气层系统:Nintendo Switch进阶用户的实用配置指南
  • gif压缩工具:邮箱附件超限被退时按人群怎么压 - 办公小帮手
  • 5 款主流电商 AI 作图工具深度测评!批量出图、商品保真哪家更强?
  • 2026 上海物流数字化服务商 TOP10 实力榜:拆解 5 个百万级踩坑点,企业选型直接抄作业
  • Abaqus热应力分析中对流换热建模与优化实践
  • 得物推荐评测平台:缩短评测周期至小时级,节省 91% 资源成本!
  • Transformer架构解析:从自注意力机制到工程实践
  • 老年人数字健康平台选型:合规落地与全流程审查指南
  • B 端工厂抖音运营服务商选型全解析(2026年7月工业营销获客指南)
  • 高强度塑钢打包带的优势是什么
  • 数字电路基础:电平、上拉/下拉、开漏与时序逻辑详解