当前位置: 首页 > news >正文

我在 macOS 上跑 300GB 模型却没用 O_DIRECT:为什么绕过 Page Cache 反而慢 2 倍

你打算把一个装不进内存的模型放到 SSD 上流式跑,第一反应大概是去翻O_DIRECT的用法,接着翻io_uring,结果在 macOS 上发现前者根本不存在、后者更没有。于是你转去查fcntl(fd, F_NOCACHE, 1),查到一半会看到 Apple 开发者论坛上一句让人心凉的话:它是个 hint,不保证生效,而且不会清掉已经缓存的页。

DwarfStar 的 ds4 引擎能在一台 128 GiB 的 Mac 上把一个三百多 GiB 的 MoE 模型跑起来。我把整棵源码树 grep 了一遍,O_DIRECT零次,F_NOCACHE零次,io_uring零次。它用的是最朴素的 bufferedpread

这件事第一眼看上去像是“没做优化”,实际上恰恰相反。真正决定这台机器是能出 token 还是四十分钟后开始重度换页的,从来不是你有没有绕过 page cache,而是这几十 GiB 内存的所有权最终记在谁头上——记在内核的 page cache 上,它随时可以在你最需要的时候把它回收掉;记在你自己 mlock 住的 slab 上,它就是你的。这套实现干的全部事情,就是把所有权从前者一寸一寸挪到后者,同时在驱逐的时候主动把前者按回去。

下面我会带你把这条链路从最外层的一行命令拆到最里层的pread落点:先用一个专门用来“制造内存不足”的工具把“模型必须装进 RAM”这个前提实测崩掉;再算清楚 MoE 到底给了我们什么样的结构性机会;然后逐行读d

http://www.jsqmd.com/news/1308987/

相关文章:

  • 卖金必存!石家庄全城口碑黄金回收店名录,从验金到打款全拆解 - 一日一测评
  • 居住证照片回执贵不贵?手机申请价格参考 - 跑政通
  • Agent竞争转向Harness Engineering,优刻得构建企业级AI生产体系
  • 2026年最新上海浦东靠谱装修公司推荐榜:老房翻新工艺过硬,闭口报价拒绝增项 - 优客装修汇
  • Pure CSS Components高级技巧:Dropdown与Tooltip交互设计指南
  • RHCE9.0 vs RHCE10.0 深度对比:现在考哪个更划算?
  • Codex 额度总是不够?用“任务预算”判断 Plus 还是 Pro
  • 如何3秒识别招聘职位新鲜度:NewJob智能时间筛选插件终极指南
  • 看板数据沉睡?用AI编程唤醒它:12个SQL+Python自动化脚本,让燃尽图自动生成预测警报
  • 2026年保定石栏板厂家挑选指南 恒昂园林等企业实测盘点 - 八方八方
  • CISA六步隔离蓝图实战指南:关键基础设施网络攻击应急隔离落地教程
  • USB转TTL串口模块:嵌入式开发的必备调试工具与实战指南
  • 数码相片回执办理免费吗?手机办理费用参考 - 跑政通
  • 卡券处理回收价格表2025年最新行情,手里的卡券怎么处理最划算? - 沃卡回收
  • RDK X5 40PIN 管脚定义与 GPIO 应用详解
  • 西门子200Smart加Smart 1000 IE水处理程序12(设计源文件+万字报告+讲解)(支持资料、图片参考_相关定制)_
  • Annotators:让计算机视觉模型跑得更快的5个秘密武器
  • Frosted Glass Themes终极指南:从安装到自定义的完整教程
  • 终极指南:如何免费将Xbox Game Pass游戏存档迁移到Steam平台
  • Tanuki.py性能优化:如何通过函数配置提升LLM应用响应速度
  • 如何快速集成WaveLineView到Android项目?3步实现炫酷录音波形
  • 【2024纹样AI生产力白皮书】:全球TOP12设计工作室正在用的连续图案生成协议,含3类高危失效预警阈值(附可执行Python校验脚本)
  • 上海恋爱期间虚拟财产分割律所:恋爱期间共同积累的游戏账号等虚拟财产如何分割 - 品牌深度评测
  • Lean量化交易引擎完整指南:从零构建专业级算法交易系统
  • 长春芬尼安装公司推荐:【芬尼】寒区精工 - 云溪自乐
  • 身份证照片回执多少钱?2026年手机在线办理价格 - 跑政通
  • 山东聚脲防腐涂料TOP5厂家参考:昌盛达涂料耐酸碱能力盘点 - 新思维商业观察
  • 长春空气能服务商哪家专业:【芬尼】抗寒施工 - 松梢月冷
  • 免费接口拉数据遇到股票停牌?教你用 Python + QuantDash 彻底解决账户金额对不上难题
  • 英雄联盟客户端增强工具:League Akari 一站式游戏效率革命