Nanbeige 4.1-3B部署教程：Windows WSL2环境下Streamlit+Transformers完整配置

Nanbeige 4.1-3B部署教程：Windows WSL2环境下Streamlit+Transformers完整配置

1. 环境准备与快速部署

1.1 系统要求

在开始之前，请确保您的Windows系统满足以下要求：

• Windows 10版本2004或更高（建议使用Windows 11）
• 至少16GB内存（推荐32GB）
• 支持CUDA的NVIDIA显卡（至少8GB显存）
• 已启用WSL2功能
• 已安装最新版NVIDIA驱动

1.2 WSL2环境配置

1. 以管理员身份打开PowerShell，运行以下命令启用WSL功能：

   dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart

2. 重启计算机后，设置WSL2为默认版本：

   wsl --set-default-version 2

3. 从Microsoft Store安装Ubuntu 22.04 LTS

1.3 基础软件安装

在WSL2的Ubuntu终端中执行以下命令：

# 更新系统 sudo apt update && sudo apt upgrade -y # 安装基础工具 sudo apt install -y python3-pip python3-venv git curl # 安装CUDA Toolkit wget https://developer.download.nvidia.com/compute/cuda/repos/wsl-ubuntu/x86_64/cuda-wsl-ubuntu.pin sudo mv cuda-wsl-ubuntu.pin /etc/apt/preferences.d/cuda-repository-pin-600 wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda-repo-wsl-ubuntu-12-2-local_12.2.2-1_amd64.deb sudo dpkg -i cuda-repo-wsl-ubuntu-12-2-local_12.2.2-1_amd64.deb sudo cp /var/cuda-repo-wsl-ubuntu-12-2-local/cuda-*-keyring.gpg /usr/share/keyrings/ sudo apt-get update sudo apt-get -y install cuda

2. 项目部署与模型下载

2.1 获取项目代码

# 克隆项目仓库 git clone https://github.com/nanbeige/pixel-chat-terminal.git cd pixel-chat-terminal # 创建Python虚拟环境 python3 -m venv venv source venv/bin/activate

2.2 安装Python依赖

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt

requirements.txt应包含以下关键包：

streamlit>=1.28.0 transformers>=4.35.0 accelerate>=0.24.0 bitsandbytes>=0.41.0

2.3 下载Nanbeige 4.1-3B模型

from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "nanbeige/nanbeige-4.1-3B" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained( model_name, device_map="auto", torch_dtype="auto", trust_remote_code=True )

3. 运行像素冒险聊天终端

3.1 启动Streamlit应用

streamlit run app.py

首次运行时会自动下载模型文件（约6GB），请确保网络连接稳定。

3.2 界面功能说明

应用启动后，您将看到以下主要界面元素：

1. 角色对话框：
   • 蓝色气泡：玩家输入区域
   • 绿色气泡：AI回复区域
2. 系统日志：显示模型思考过程的<think>标签内容
3. 控制按钮：
   • RESET：清空对话历史
   • SETTINGS：调整生成参数

3.3 自定义配置

编辑config.py可以修改以下参数：

# 生成参数配置 GENERATION_CONFIG = { "max_new_tokens": 2048, # 最大生成token数 "temperature": 0.7, # 创意程度 "top_p": 0.9, # 采样阈值 "repetition_penalty": 1.1 # 重复惩罚 } # 界面样式配置 UI_THEME = { "background": "#FDF6E3", # 背景色 "player_color": "#4D96FF", # 玩家对话框颜色 "bot_color": "#6BCB77" # AI对话框颜色 }

4. 常见问题解决

4.1 CUDA内存不足错误

如果遇到CUDA内存错误，可以尝试以下解决方案：

1. 降低max_new_tokens值（如改为1024）
2. 启用8-bit量化：

   model = AutoModelForCausalLM.from_pretrained( model_name, device_map="auto", load_in_8bit=True, # 添加此参数 trust_remote_code=True )

3. 使用梯度检查点：

   model.gradient_checkpointing_enable()

4.2 流式输出卡顿

如果发现文字输出不流畅：

1. 检查WSL2的内存分配：

   # 在Windows PowerShell中设置 wsl --shutdown notepad "$env:USERPROFILE/.wslconfig"

   添加以下内容：

   [wsl2] memory=16GB swap=8GB

2. 降低Streamlit的更新频率：

   # 在app.py中修改 st_interval = st.slider("更新间隔(ms)", 50, 500, 100)

4.3 模型加载失败

如果模型下载中断：

1. 手动下载模型文件到~/.cache/huggingface/hub
2. 使用huggingface-cli工具：

   pip install huggingface_hub huggingface-cli download nanbeige/nanbeige-4.1-3B --resume-download

5. 总结

通过本教程，您已经成功在Windows WSL2环境下部署了Nanbeige 4.1-3B模型的像素冒险聊天终端。这套系统不仅提供了独特的JRPG风格交互体验，还完整保留了模型的原生能力。

建议进一步探索：

1. 尝试不同的生成参数组合，找到最适合您使用场景的配置
2. 修改UI主题颜色，创建个性化的对话界面
3. 集成其他功能插件，如语音输入/输出

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。