当前位置：首页 > news >正文

Qwen2.5-1.5B从零开始：无需Docker，纯Python+Streamlit本地部署全流程

news 2026/5/12 2:11:40

Qwen2.5-1.5B从零开始：无需Docker，纯Python+Streamlit本地部署全流程

1. 项目简介

今天给大家分享一个完全本地化的智能对话助手搭建方案。这个项目基于阿里通义千问官方的Qwen2.5-1.5B-Instruct轻量级大语言模型，用纯Python和Streamlit实现了一个开箱即用的聊天应用。

最大的特点是完全本地运行，不需要连接任何云端服务，所有对话数据都在你自己的电脑上处理。模型只有1.5B参数，对硬件要求很友好，普通显卡甚至CPU都能跑得动。界面做得也很简洁，就像我们平时用的聊天软件一样，上手零门槛。

这个助手能帮你处理各种文本相关的任务：日常问答、写文案、解答技术问题、翻译内容等等。因为完全在本地运行，所以特别适合对数据隐私有要求的朋友，你的所有对话内容都不会上传到任何服务器。

2. 环境准备与快速部署

2.1 安装必要的库

首先确保你的Python环境是3.8或以上版本，然后安装这几个必需的库：

pip install torch transformers streamlit

这三个库各司其职：torch是深度学习框架，transformers用来加载和运行模型，streamlit负责构建网页界面。

2.2 准备模型文件

你需要提前下载好Qwen2.5-1.5B-Instruct的模型文件。可以从官方渠道获取，然后放在本地的一个文件夹里，比如/root/qwen1.5b。

确保文件夹里包含这些核心文件：

config.json：模型配置文件
分词器相关文件（tokenizer.json等）
模型权重文件（通常是pytorch_model.bin或safetensors格式）

3. 核心代码实现

3.1 完整的Python代码

创建一个名为qwen_chat.py的文件，然后复制下面的代码：

import streamlit as st from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 配置模型路径 MODEL_PATH = "/root/qwen1.5b" # 设置页面标题和图标 st.set_page_config(page_title="Qwen2.5-1.5B 智能助手", page_icon="🤖") # 缓存加载模型和分词器，避免重复加载 @st.cache_resource def load_model(): st.write(f"🚀 正在加载模型: {MODEL_PATH}") tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( MODEL_PATH, device_map="auto", torch_dtype="auto", trust_remote_code=True ) return model, tokenizer # 初始化对话历史 if "messages" not in st.session_state: st.session_state.messages = [] # 侧边栏设置 with st.sidebar: st.title("⚙️ 设置") if st.button("🧹 清空对话"): st.session_state.messages = [] torch.cuda.empty_cache() if torch.cuda.is_available() else None st.rerun() # 加载模型 try: model, tokenizer = load_model() st.success("✅ 模型加载成功！") except Exception as e: st.error(f"❌ 模型加载失败: {str(e)}") st.stop() # 显示聊天界面 st.title("💬 Qwen2.5-1.5B 智能助手") # 显示历史消息 for message in st.session_state.messages: with st.chat_message(message["role"]): st.markdown(message["content"]) # 处理用户输入 if prompt := st.chat_input("你好，我是Qwen2.5-1.5B，有什么可以帮你的？"): # 添加用户消息到历史 st.session_state.messages.append({"role": "user", "content": prompt}) with st.chat_message("user"): st.markdown(prompt) # 生成AI回复 with st.chat_message("assistant"): with st.spinner("思考中..."): try: # 准备对话历史 messages = [{"role": m["role"], "content": m["content"]} for m in st.session_state.messages] # 应用聊天模板 text = tokenizer.apply_chat_template( messages, tokenize=False, add_generation_prompt=True ) # 生成回复 with torch.no_grad(): inputs = tokenizer(text, return_tensors="pt").to(model.device) outputs = model.generate( **inputs, max_new_tokens=1024, temperature=0.7, top_p=0.9, do_sample=True ) # 解码并显示回复 response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True) st.markdown(response) # 添加AI回复到历史 st.session_state.messages.append({"role": "assistant", "content": response}) except Exception as e: st.error(f"生成回复时出错: {str(e)}")