llmfit：一条命令，找出你的硬件能跑哪个大模型
文章目录
- llmfit：一条命令，找出你的硬件能跑哪个大模型
- 1、这玩意儿是干嘛的
- 2、支持什么硬件
- 3、怎么用
- 4、评分逻辑
- 5、社区排行榜
- 6、硬件模拟
- 7、适合谁
llmfit：一条命令，找出你的硬件能跑哪个大模型
llmfit 在 GitHub 上已经拿到 28,655 Star 了。
这是一个 Rust 写的终端工具，专门干一件事——检测你的硬件配置，然后从几百个模型里筛出哪些能在你的机器上跑得好。
1、这玩意儿是干嘛的
本地跑大模型的人都碰到过这个问题：下了个模型，加载时发现显存不够，或者跑起来慢得没法用。
llmfit 解决的就是这个。它读取你的 CPU、内存、显卡信息，然后对每个模型做多维度打分——质量、速度、内存适配、上下文长度，最后告诉你哪些模型能跑，哪些跑得最好。
2、支持什么硬件
显卡方面覆盖比较全：
- NVIDIA：通过 nvidia-smi 探测，支持多卡聚合显存
- AMD：通过 rocm-smi 探测
- Intel Arc：独显走 sysfs，核显走 lspci
- Apple Silicon：统一内存架构，VRAM 等于系统内存
- 昇腾 NPU：通过 npu-smi 探测
模型数据库里有几百个模型，数据从 HuggingFace API 拉取，编译时直接嵌入二进制文件。内存需求按参数量和量化等级计算，从 Q8_0 到 Q2_K 逐级尝试，找到质量最高且能塞进你显存的那个。
MoE 架构的模型也有专门处理。比如 Mixtral 8x7B 总参数 46.7B，但每个 token 只激活约 12.9B，实际显存需求从 23.9GB 降到 6.6GB 左右。
3、怎么用
安装方式多样，各平台都有：
# Windowsscoopinstallllmfit# macOS / LinuxbrewinstallAlexsJones/llmfit/llmfit# Pythonuv toolinstall-Ullmfit# Dockerdockerrun ghcr.io/alexsjones/llmfit直接运行llmfit启动交互式 TUI 界面。顶栏显示你的硬件信息，主体是模型列表，按综合得分排序。每行能看到分数、预估速度、推荐量化方案、内存占用和适用场景。
也支持纯命令行模式：
# 查看硬件信息llmfit system# 只看完美适配的模型，取前5个llmfit fit--perfect-n5# 按用途筛选推荐llmfit recommend--json--use-case coding--limit34、评分逻辑
每个模型在四个维度上打分，每项 0-100：
| 维度 | 衡量内容 |
|---|---|
| Quality | 参数量、模型家族口碑、量化惩罚、任务匹配度 |
| Speed | 基于后端、参数量和量化等级估算的 tokens/sec |
| Fit | 内存利用率（最佳区间：可用内存的 50-80%） |
| Context | 上下文窗口能力与目标场景的匹配程度 |
四个维度加权合成总分。权重按用途不同而变化：Chat 场景 Speed 权重 0.35，Reasoning 场景 Quality 权重 0.55。
速度估算基于显存带宽公式：(bandwidth_GB_s / model_size_GB) x efficiency_factor。内置约 80 张显卡的带宽查表，覆盖 NVIDIA、AMD 和 Apple Silicon。
5、社区排行榜
按b打开社区排行榜。数据来自 localmaxxing.com，展示的是真实用户在同款硬件上的实测数据——实际 tokens/sec、首 token 延迟、峰值显存占用。
这个功能的价值在于用实测数据弥补理论估算的偏差。内置 27 个硬件预设，从 RTX 5090 到 Apple M1 都有覆盖。
6、硬件模拟
按S打开硬件模拟弹窗，可以手动覆盖内存、显存和核心数，看不同配置下哪些模型能跑。适合买卡之前做评估，或者想看看升级后能多跑什么模型。
还提供 Plan 模式（按p），反向操作：选一个模型，工具会告诉你需要什么硬件才能跑起来。
7、适合谁
- 想在本地跑大模型但不确定自己硬件能撑什么的人
- 准备买显卡，想提前评估不同型号能跑哪些模型的开发者
- 在做多模型部署、需要为不同节点选配模型的场景
项目地址：AlexsJones/llmfit
己硬件能撑什么的人
- 准备买显卡，想提前评估不同型号能跑哪些模型的开发者
- 在做多模型部署、需要为不同节点选配模型的场景
项目地址：AlexsJones/llmfit