当前位置：首页 > news >正文

GLM-4.7-Flash 量化版本地部署，1 张 4090 开跑

news 2026/6/26 8:05:30

1、下载模型

我选择的是这个 AWQ-4bit 量化版，原因 1 是它支持 vLLM 部署，原因 2 是它真的很小巧，把原版 58GB 压到了 17GB，原因 3 是压缩至此情况下，幻觉没有显著增加

modelscope download --model cyankiwi/GLM-4.7-Flash-AWQ-4bit

https://modelscope.cn/models/cyankiwi/GLM-4.7-Flash-AWQ-4bit/files

2、升级 vLLM@nightly

先声明：我没有选择此方法，但是官方教程提到了，大家可以试试

我遇到的问题是各种依赖相互干扰，烦死了。还有系统基础环境太差，又不敢升级，昨天DeepSeek-OCR-2 本地部署，实测一文中我有提到。

pip install -U vllm --pre --index-url https://pypi.org/simple --extra-index-url https://wheels.vllm.ai/nightly pip install git+https://github.com/huggingface/transformers.git

vLLM 巨大里程碑一文中提到 vLLM 官网上线（https://vllm.ai/），这里面有个极友好的交互式 vLLM 安装选择器（GPU、CPU 等）

我选择的方式是 vLLM-Docker

https://hub.docker.com/r/vllm/vllm-openai/tags

https://hub.docker.com/r/vllm/vllm-openai/tags很简单，直接docker pull vllm/vllm-openai:nightly拉取镜像

这时还不行，因为即便是 nightly 版本，官方也没有支持 transformers 5.x

这里有个骚操作

新建一个 Dockfile

FROM vllm/vllm-openai:nightly RUN pip install transformers>=5.0.0rc2

然后自行打包 glm-4.7 专用镜像

docker build -t glm-4.7-custom .

新镜像就是 glm-4.7-custom，后面用它拉起模型，至此 vLLM 升级完成

3、启动模型

vllm 直接启动，我没有尝试

CUDA_VISIBLE_DEVICE=0，1 vllm server --model /data/models/GLM-4.7-Flash-AWQ-4bit \ --tensor-parallel-size 2 \ --tool-call-parser glm47 \ --reasoning-parser glm45 \ --enable-auto-tool-choice \ --served-model-name glm-4.7-flash

我的 docker 启动脚本如下，1张卡就能跑起来，这里我用了2张

默认 max-model-len 直接报 OOM，降到 10240，然后 max_num_seqs 设 10 才跑起来

docker run --rm --runtime=nvidia --gpus '"device=0,1"' --name GLM-4.7-Flash -p 3004:8000 -p 5005:8000 -v /data/models/GLM-4.7-Flash-AWQ-4bit:models glm-4.7-custom --model /models/GLM-4.7-Flash-AWQ-4bit \ --tensor-parallel-size 2 \ --tool-call-parser glm47 \ --reasoning-parser glm45 \ --enable-auto-tool-choice \ --served-model-name glm-4.7-flash \ --max-model-len 10240 \ --max_num_seqs 10 \ --host 0.0.0.0 \ --port 8000

运行没问题，我把它接入了 OpenwebUI

使用感受，思考太墨迹了，甚至超过 30s 的思考有点不习惯

生成速度倒是很不错

显存占用如下：

这个级别的模型解决点内网疑难杂症，甚至写点代码还是很不错的

不过大家想不到吧，我内网还在用着DeepSeek-R1-0528-Qwen3-8B（之前有介绍），时常给我惊喜

比如下面问题，它比 GLM 4.7 Flash 还靠谱，还只需要一张卡就能跑，思考极快。现在的大模型，哪有赢家通吃，各有千秋，没必要大炮打蚊子。就算是一张厕纸，一条底裤也有它本身的用处，更何况大模型乎。

如果在使用 GLM 4.7 Flash 时遇到循环或重复问题，可以尝试添加--temp 1.0 --min-p 0.01 --top-p 0.95 --dry-multiplier 1.1

我没遇到

查看全文

http://www.jsqmd.com/news/1080142/