llama.cpp 加载qwen模型，在 cherry Studio中使用

https://www.bilibili.com/video/BV14pdcBQE7W/?spm_id_from=333.1391.0.0
https://github.com/ggml-org/llama.cpp/releases
https://modelscope.cn/models/unsloth/Qwen3.6-35B-A3B-GGUF/files

 

下载得到的模型文件：Qwen3.6-35B-A3B-UD-IQ2_M.gguf   10.7G 放到目录 C:\soft\AI\llm_models   内
自定义启动文件（win版）：
（1）：解压后进入llama目录，新建start.bat 文件【注意回后缀名】
（2）：编辑文件 输入 llama-server --host 0.0.0.0 --port 8080 --models-dir 模型存放地址

 

start.bat 

llama-server --host 0.0.0.0 --port 8080 --models-dir C:\soft\AI\llm_models  

 

Cherry studio 自定义 LLM   llama.cpp   使用 Open AI 模式。