本地跑大模型，终于找到靠谱 AI 工具了。

这两年开源模型从 Llama 到 Qwen，再到 Gemma，能力一点点逼近闭源模型。

于是不少人开始动心思，想要在自己电脑上本地部署模型，试图解决高昂的 Token 费用。

但在 HuggingFace 上有上百多万个开源模型，参数量从 1B 到 100B，该如何选择。

对于大部分人来说，光搞清楚自己的电脑能跑哪些模型，可能就得折腾大半天。

更惨的是，当我们把模型权重下载到本地并部署了，才发现输出一句话得等半分钟。

根本无法使用，然后再卸载删除，重新找模型，重新下载部署，可以说试错成本极高。

最近找到一个开源的命令行工具whichllm，能帮我们解决本地部署，模型选择这个痛点。

它能根据电脑的硬件配置，给我们推荐哪个模型能跑起来又快又好。

与其他检测工具有所区别，它不止关注模型能不能跑，还会判断跑哪个模型更划算，把性能拉满。

简单举个例子。一张 24GB 显存的 RTX 4090，理论上能跑得下 32B 的模型。

但它会将 27B 模型排在第一推荐位置，理由各项基准测试评分更高，而且是最新模型。

也就是说，它不止告诉我们哪些模型能跑，还会考虑到哪些模型体验更好、性价比更高。

下面再来看下如何使用。

安装之后，只需打开终端，输入whichllm命令行，它就会自动检测我们硬件配置。

市面上主流的 N 卡、A 卡、Apple 芯片，甚至纯 CPU 的机器，都能识别出来。

接着就会基于我们的配置信息，计算清楚每个模型大概能跑多少 tok/s。

表格里会显示出模型名称、参数量、量化方式、综合评分还有下载量，所有信息一目了然。

另外，工具还有几个实用的命令，也值得说一说。

想要直接上手体验，只需一条命令whichllm run就能下载、部署模型并开启对话。

如果在纠结购买哪张显卡，可以先跑一下whichllm --gpu "RTX 4090"，模拟看看可以跑哪些模型。

反过来，想知道某个模型需要什么级别的显卡才能跑，则可以用whichllm plan这条命令。

至于如果安装使用 whichllm，只需一行 pip 命令就能搞定。

pip install whichllm

装好之后敲whichllm命令即可开始，它会自动检测硬件并给出推荐列表。

不过也有几个缺点，也跟大家客观说一下。

它的速度计算是基于显存带宽和参数量推算的，可能会跟实测有些出入。

对于 Windows 上的 A 卡检测，精度也不如 Linux，需要靠系统接口去补全信息。

另外就是在 Apple 芯片和纯 CPU 环境下，为了稳定，它只推荐 GGUF 格式。

写在最后

关于本地跑模型这件事，后面肯定有越来越多的人会去尝试。

那么前提比较关键的是，不要只顾着「能跑多大模型」，而是要选择好模型。

whichllm 的出现，便帮我们把试错的成本降下来了，剩下的精力花在真正有意思的事情上。

如何学习AI大模型

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

想正式转到一些新兴的 AI 行业，不仅需要系统的学习AI大模型。同时也要跟已有的技能结合，辅助编程提效，或上手实操应用，增加自己的职场竞争力。

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

那么针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴点击下方链接即可前往获取

学习路线
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发 技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集