通义千问1.5-1.8B-Chat-GPTQ-Int4人工智能模型在Linux安装教程
通义千问1.5-1.8B-Chat-GPTQ-Int4人工智能模型在Linux安装教程
1. 前言
想在Linux服务器上跑个AI模型试试？通义千问1.5-1.8B-Chat-GPTQ-Int4是个不错的入门选择。这个模型体积小但能力不错，特别适合想在本地部署AI服务的开发者。今天我就带你一步步在Linux系统上把这个模型跑起来，从环境检查到最终运行，全程无坑指南。
不管你是刚接触AI部署的新手，还是想快速验证模型效果的老手，这个教程都能帮你省去很多摸索的时间。我们用的是最常规的Linux环境，不需要什么特殊硬件，跟着做就行。
2. 环境准备
2.1 系统要求检查
先看看你的Linux系统是否符合基本要求。打开终端，挨个检查下面这些：
# 查看系统版本 lsb_release -a # 查看Python版本 python3 --version # 查看内存情况 free -h # 查看磁盘空间 df -h建议配置：Ubuntu 18.04或更高版本，Python 3.8以上，至少4GB内存，10GB可用磁盘空间。如果你的系统符合这些要求，就可以继续下一步了。
2.2 安装必要依赖
接下来安装一些基础依赖包，这些是运行模型必需的：
# 更新包列表 sudo apt update # 安装基础编译工具 sudo apt install -y build-essential python3-dev python3-pip # 安装深度学习相关依赖 sudo apt install -y libopenblas-dev libblas-dev m4 cmake cython python3-dev python3-yaml如果你用的是CentOS或其它Linux发行版，安装命令可能略有不同，但需要的包都差不多。
3. Python环境配置
3.1 创建虚拟环境
我强烈建议使用虚拟环境，这样不会搞乱你的系统Python环境：
# 安装virtualenv pip3 install virtualenv # 创建专门的环境 virtualenv qwen_env # 激活环境 source qwen_env/bin/activate看到命令行前面出现(qwen_env)就说明环境激活成功了。后面所有操作都在这个环境里进行。
3.2 安装Python依赖
现在安装Python相关的依赖包：
pip install torch torchvision torchaudio pip install transformers>=4.32.0 pip install modelscope pip install tiktoken这些包是运行模型的核心依赖，特别是transformers和modelscope，它们提供了模型加载和推理的基础能力。
4. 模型部署
4.1 下载模型文件
我们可以直接用Modelscope来下载模型，这是最简单的方法：
from modelscope import snapshot_download model_dir = snapshot_download('qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4')下载完成后，模型会保存在当前目录下的.cache/modelscope/hub/qwen/文件夹中。整个模型大约占用2-3GB空间，取决于你的网络速度，下载可能需要一些时间。
4.2 验证模型完整性
下载完成后最好检查一下模型文件是否完整：
# 查看模型文件列表 ls -la ~/.cache/modelscope/hub/qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4/ # 应该能看到这些文件： # config.json model.safetensors quantization_config.json tokenizer.json tokenizer_config.json如果所有文件都存在且大小正常，说明下载成功了。
5. 运行第一个测试
5.1 编写测试脚本
创建一个简单的Python脚本来测试模型：
from transformers import AutoModelForCausalLM, AutoTokenizer # 加载模型和分词器 tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4") model = AutoModelForCausalLM.from_pretrained("qwen/Qwen1.5-1.8B-Chat-GPTQ-Int4") # 准备输入 prompt = "你好，请介绍一下你自己" messages = [{"role": "user", "content": prompt}] # 生成回复 text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) model_inputs = tokenizer([text], return_tensors="pt").to("cuda") generated_ids = model.generate( **model_inputs, max_new_tokens=512 ) generated_ids = [ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids) ] response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] print(response)5.2 运行测试
保存上面的代码为test_model.py，然后运行：
python test_model.py如果一切正常，你会看到模型生成的自我介绍。第一次运行可能会慢一些，因为需要加载模型和初始化。
6. 常见问题解决
在安装过程中可能会遇到一些问题，这里列出几个常见的：
问题1：CUDA out of memory
# 减少batch size或者使用更小的模型 model_inputs = tokenizer([text], return_tensors="pt").to("cuda")问题2：包版本冲突
# 清理环境重新安装 pip uninstall -y transformers modelscope torch pip install transformers==4.32.0 modelscope torch问题3：磁盘空间不足
# 清理缓存 rm -rf ~/.cache/huggingface/如果遇到其他问题，可以查看错误信息中的提示，通常都能找到解决方案。
7. 总结
到这里，你应该已经成功在Linux系统上部署了通义千问1.5-1.8B-Chat-GPTQ-Int4模型。这个模型虽然不大，但对话能力相当不错，适合用来做聊天机器人、智能客服之类的应用。
实际使用中，你可能还需要考虑如何优化推理速度、如何处理并发请求等问题。不过作为入门，先把模型跑起来是最重要的一步。建议多尝试不同的输入，看看模型的表现，慢慢就能找到最适合你的使用方式。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。