【本地部署大模型】openclaw使用太多token?不花钱的token新思路!本地部署帮你解决困扰。
token买了不经用是我们养虾的巨大困扰,本地部署大模型真正意义上可以免费使用openclaw!!!
网络上天天都说自己花了很多钱养虾,也有阴谋论说这是把大家当韭菜,国家也提醒我们使用openclaw有风险。然而,有独立思考能力的人是可以驾驭的!!!如果你花钱安装openclaw,或者花大钱去卸载,再去抱怨openclaw不好用的话,实在让人忍俊不禁。
好了,废话少说,我们开始:
1.去魔搭社区找大模型,链接:
搜索 · 魔搭社区
首先你要知道,本地大模型跑起来是需要使用你的显卡的,显存是一个很重要的指标,我是4060,8GB显存,我选择模型如下:
大家根据自己情况去选择,显存越大性能越好。下载完之后放到一个有准备的文件夹。
2、下载llama.cpp
搜索llama.cpp,到GitHub上找
点击进去,选择:
下载,解压放入同一个文件夹。
3.检查,配置
进入解压的文件路径
进入终端,输入
.\llama-server.exe --list-devices注意注意!!!这里一定要看到有自己独显的设备,我的是4060。你也不想你的CPU直接满载爆炸吧。没有的话需要去下载CUDA软件(英伟达的显卡),链接在下方:
CUDA Toolkit 12.4 Downloads | NVIDIA Developer
然后我们就可以使用本地大模型了,你可以去任务管理器先打开,选择“性能”,
目前风平浪静。
5、使用大模型
在刚刚的命令行下(注意打开路径),输入命令:
.\llama-server.exe -m F:\LLM\Qwen3.5-9B-IQ4_NL.gguf -ngl 99 -c 50000有一个网址 http://127.0.0.1:8080 哦,朋友们,ctrl+单击,来吧。
你去对话试试,注意看自己的任务管理器:
完美!!!
接下来
变动网址:
这就是包含我们模型名字的信息,接下来可以按照之前的文章切换模型给openclaw使用啦!!!
