告别云端API调用！用PyCharm+Streamlit在本地为Baichuan2大模型打造一个专属聊天界面（Windows11/RTX3060环境）
在Windows11+RTX3060上构建Baichuan2大模型的本地交互界面
当开发者成功在本地部署了大语言模型后，如何将其能力转化为直观易用的产品形态成为下一个关键挑战。本文将详细介绍如何利用PyCharm和Streamlit为Baichuan2-13B-Chat模型打造一个专属的Web交互界面，让技术演示不再局限于命令行窗口。
1. 环境准备与项目初始化
在开始构建聊天界面之前，确保已完成以下基础配置：
- 硬件环境：NVIDIA RTX3060显卡（12GB显存）
- 操作系统：Windows11 64位
- Python环境：通过Conda创建的Python3.10虚拟环境
- 核心依赖：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install bitsandbytes xformers sentencepiece streamlit pip install transformers==4.33.1
提示：建议使用PyCharm作为开发IDE，它能更好地管理Python解释器和项目依赖。
2. 改造原始Web Demo代码
原始的web_demo.py通常只提供基础功能，我们需要对其进行增强：
import torch from transformers import AutoModelForCausalLM, AutoTokenizer import streamlit as st # 初始化模型和tokenizer @st.cache_resource def load_model(): model = AutoModelForCausalLM.from_pretrained( "baichuan-inc/Baichuan2-13B-Chat", torch_dtype=torch.float16, trust_remote_code=True ) return model.quantize(4).cuda() tokenizer = AutoTokenizer.from_pretrained( "baichuan-inc/Baichuan2-13B-Chat", trust_remote_code=True ) model = load_model()关键改进点：
- 添加Streamlit缓存装饰器：
@st.cache_resource避免重复加载模型 - 量化配置：
.quantize(4)使用4位量化以适应RTX3060的显存限制 - GPU加速：
.cuda()确保模型运行在显卡上
3. 构建交互式聊天界面
利用Streamlit快速创建美观的Web界面：
# 设置页面标题和图标 st.set_page_config(page_title="Baichuan2聊天助手", page_icon="") # 创建会话状态管理 if "messages" not in st.session_state: st.session_state.messages = [] # 显示历史消息 for message in st.session_state.messages: with st.chat_message(message["role"]): st.markdown(message["content"]) # 处理用户输入 if prompt := st.chat_input("请输入您的问题..."): # 添加用户消息到历史 st.session_state.messages.append({"role": "user", "content": prompt}) with st.chat_message("user"): st.markdown(prompt) # 生成AI回复 with st.chat_message("assistant"): message_placeholder = st.empty() full_response = "" for response in model.chat(tokenizer, prompt, stream=True): full_response += response message_placeholder.markdown(full_response + "▌") message_placeholder.markdown(full_response) # 添加AI回复到历史 st.session_state.messages.append({"role": "assistant", "content": full_response})界面功能亮点：
- 对话历史持久化：使用
st.session_state保存聊天记录 - 流式响应：实时显示生成过程，提升用户体验
- 角色区分：清晰标注用户和AI的对话内容
4. 界面美化与功能增强
让基础聊天界面更具产品感：
# 添加侧边栏配置 with st.sidebar: st.title("配置选项") temperature = st.slider("响应随机性", 0.1, 1.0, 0.7) max_length = st.slider("最大生成长度", 50, 500, 200) if st.button("清空对话历史"): st.session_state.messages = [] st.rerun() # 修改模型调用部分 response = model.chat( tokenizer, prompt, stream=True, temperature=temperature, max_new_tokens=max_length )美化技巧：
CSS自定义：在项目根目录创建
.streamlit/config.toml[theme] primaryColor = "#4b8bf5" backgroundColor = "#ffffff" secondaryBackgroundColor = "#f0f2f6" textColor = "#31333f" font = "sans serif"加载动画：使用
st.spinner()优化等待体验with st.spinner("思考中..."): response = model.chat(tokenizer, prompt)
5. 项目打包与分享
将整个应用打包为可执行文件，方便分享：
安装PyInstaller：
pip install pyinstaller创建打包脚本
build.spec：# -*- mode: python -*- block_cipher = None a = Analysis( ['web_demo.py'], pathex=[], binaries=[], datas=[('Baichuan2-13B-Chat', 'Baichuan2-13B-Chat')], hiddenimports=[], hookspath=[], runtime_hooks=[], excludes=[], win_no_prefer_redirects=False, win_private_assemblies=False, cipher=block_cipher, noarchive=False, ) pyz = PYZ(a.pure, a.zipped_data, cipher=block_cipher) exe = EXE( pyz, a.scripts, a.binaries, a.zipfiles, a.datas, [], name='Baichuan2_Chat', debug=False, bootloader_ignore_signals=False, strip=False, upx=True, upx_exclude=[], runtime_tmpdir=None, console=False, icon='icon.ico' )执行打包命令：
pyinstaller build.spec
打包后的应用会生成在dist目录，包含所有依赖项，可以直接分享给其他Windows用户使用。
6. 性能优化技巧
针对RTX3060的12GB显存限制，以下优化措施特别重要：
量化策略对比：
量化位数 显存占用 响应速度 生成质量 8-bit ~16GB 快 高 4-bit ~10GB 中等 良好 无量化 >24GB 慢 最佳 内存管理：
# 在长时间不使用时释放显存 import gc torch.cuda.empty_cache() gc.collect()批处理优化：
# 调整并行处理参数 model = model.quantize(4).cuda() model.eval() model.config.use_cache = True
通过这些优化，即使在RTX3060这样的消费级显卡上，也能获得流畅的交互体验。