当前位置：首页 > news >正文

Qwen3.5-4B-AWQ代码实例：Streamlit构建Qwen3.5交互式数据分析工具

news 2026/4/30 10:16:26

Qwen3.5-4B-AWQ代码实例：Streamlit构建Qwen3.5交互式数据分析工具

1. 项目概述

Qwen3.5-4B-AWQ-4bit是阿里云通义千问团队推出的轻量级大语言模型，经过4bit AWQ量化后显存占用仅约3GB，可在RTX 3060/4060等消费级显卡上流畅运行。该模型在保持高性能的同时，具备以下特点：

性能均衡：MMLU-Pro得分接近Qwen3-30B-A3B，OmniDocBench表现优于GPT-5-Nano
全能力覆盖：支持201种语言处理、原生多模态理解（图文）、长上下文记忆和工具调用
部署友好：适配llama.cpp、vLLM等多种推理引擎，特别适合轻量级Agent、知识库和客服场景

2. 环境准备与快速部署

2.1 基础环境配置

首先确保系统已安装以下组件：

# 安装Python环境（推荐3.9+） sudo apt update sudo apt install python3-pip python3-venv # 创建虚拟环境 python3 -m venv qwen_env source qwen_env/bin/activate # 安装基础依赖 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install vllm streamlit pandas numpy

2.2 模型下载与配置

from vllm import LLM, SamplingParams # 初始化模型 llm = LLM( model="/root/ai-models/cyankiwi/Qwen3___5-4B-AWQ-4bit", quantization="AWQ", dtype="auto", gpu_memory_utilization=0.9 )

3. Streamlit交互界面开发

3.1 基础界面搭建

创建app.py文件，构建数据分析工具的核心界面：

import streamlit as st from vllm import SamplingParams # 初始化session状态 if "messages" not in st.session_state: st.session_state.messages = [] # 设置页面标题 st.title("Qwen3.5数据分析助手") # 侧边栏配置 with st.sidebar: st.header("参数设置") temperature = st.slider("创造性", 0.1, 1.0, 0.7) max_tokens = st.slider("最大长度", 100, 2000, 1000)

3.2 数据上传与分析功能

添加文件上传和数据分析功能：

# 文件上传区域 uploaded_file = st.file_uploader("上传数据文件(CSV/Excel)", type=["csv", "xlsx"]) if uploaded_file: import pandas as pd # 读取数据文件 if uploaded_file.name.endswith('.csv'): df = pd.read_csv(uploaded_file) else: df = pd.read_excel(uploaded_file) # 显示数据预览 st.subheader("数据预览") st.dataframe(df.head()) # 数据分析请求处理 user_query = st.text_input("输入您的数据分析请求:") if user_query: # 构建分析提示词 prompt = f""" 你是一位专业的数据分析师，请根据以下数据进行分析： 数据预览：{df.head().to_string()} 数据列名：{df.columns.tolist()} 用户请求：{user_query} 请给出详细的分析过程和结论： """ # 调用模型生成分析结果 sampling_params = SamplingParams(temperature=temperature, max_tokens=max_tokens) outputs = llm.generate([prompt], sampling_params) # 显示分析结果 st.subheader("分析结果") st.write(outputs[0].outputs[0].text)

4. 高级功能实现

4.1 可视化建议与生成

扩展数据分析功能，添加可视化建议：

# 在分析结果后添加可视化部分 if user_query and 'outputs' in locals(): st.subheader("可视化建议") # 自动生成可视化代码 viz_prompt = f""" 根据以下数据分析结果： {outputs[0].outputs[0].text} 为数据集{df.columns.tolist()}生成3个最合适的可视化方案， 每种方案包含： 1. 图表类型及适用性说明 2. Matplotlib或Seaborn实现代码 3. 预期展示效果描述 """ viz_outputs = llm.generate([viz_prompt], sampling_params) st.write(viz_outputs[0].outputs[0].text)

4.2 对话式数据分析

实现多轮对话分析功能：

# 对话历史展示 for message in st.session_state.messages: with st.chat_message(message["role"]): st.markdown(message["content"]) # 用户输入处理 if prompt := st.chat_input("输入您的数据分析问题..."): st.session_state.messages.append({"role": "user", "content": prompt}) # 调用模型生成回复 chat_outputs = llm.generate([prompt], sampling_params) response = chat_outputs[0].outputs[0].text st.session_state.messages.append({"role": "assistant", "content": response}) # 实时更新对话显示 with st.chat_message("assistant"): st.markdown(response)

5. 部署与优化

5.1 服务管理

使用Supervisor管理Streamlit服务：

# 创建supervisor配置文件 echo "[program:qwen_analyst] command=/path/to/qwen_env/bin/streamlit run app.py --server.port 7860 directory=/path/to/your/project autostart=true autorestart=true stderr_logfile=/var/log/qwen_analyst.err.log stdout_logfile=/var/log/qwen_analyst.out.log" | sudo tee /etc/supervisor/conf.d/qwen_analyst.conf # 重新加载配置 sudo supervisorctl reread sudo supervisorctl update

5.2 性能优化技巧

显存优化：

# 调整vLLM参数 llm = LLM( model="/path/to/model", quantization="AWQ", tensor_parallel_size=1, gpu_memory_utilization=0.85 )

缓存优化：

# 添加Streamlit缓存装饰器 @st.cache_resource def load_model(): return LLM(model="/path/to/model", quantization="AWQ")

批处理优化：

# 批量处理多个请求 sampling_params = SamplingParams(temperature=0.7, max_tokens=1000) prompts = ["分析数据趋势", "识别异常值", "预测未来走势"] outputs = llm.generate(prompts, sampling_params)