Qwen3-14B部署教程：vLLM服务TLS加密、Chainlit HTTPS安全访问配置

Qwen3-14B部署教程：vLLM服务TLS加密、Chainlit HTTPS安全访问配置

1. 环境准备与快速部署

在开始之前，请确保您的服务器满足以下要求：

• 操作系统：Linux（推荐Ubuntu 20.04+）
• GPU：NVIDIA显卡（建议显存≥16GB）
• 存储空间：至少50GB可用空间
• Python 3.8+

1.1 安装基础依赖

# 更新系统包 sudo apt update && sudo apt upgrade -y # 安装基础工具 sudo apt install -y git curl wget build-essential # 安装CUDA Toolkit（根据您的CUDA版本调整） sudo apt install -y cuda-11-8

1.2 部署Qwen3-14b_int4_awq模型

Qwen3-14b_int4_awq是基于Qwen3-14b模型的int4 AWQ量化版本，使用AngelSlim进行压缩，特别适合文本生成任务。

# 克隆模型仓库 git clone https://github.com/Qwen/Qwen-14B.git cd Qwen-14B # 安装Python依赖 pip install -r requirements.txt # 下载量化模型权重（请替换为实际下载链接） wget https://example.com/qwen3-14b_int4_awq.tar.gz tar -xzvf qwen3-14b_int4_awq.tar.gz

2. 配置vLLM服务与TLS加密

2.1 启动vLLM服务

# 安装vLLM pip install vllm # 启动服务（调整参数根据您的硬件配置） python -m vllm.entrypoints.api_server \ --model /path/to/qwen3-14b_int4_awq \ --tensor-parallel-size 1 \ --port 8000

2.2 配置TLS加密

为了确保通信安全，我们需要为vLLM服务配置HTTPS：

# 安装OpenSSL（如未安装） sudo apt install -y openssl # 生成自签名证书（生产环境建议使用CA签发证书） openssl req -x509 -newkey rsa:4096 -nodes -out cert.pem -keyout key.pem -days 365

修改vLLM启动命令以启用HTTPS：

python -m vllm.entrypoints.api_server \ --model /path/to/qwen3-14b_int4_awq \ --tensor-parallel-size 1 \ --port 8000 \ --ssl-keyfile key.pem \ --ssl-certfile cert.pem

3. Chainlit前端配置与HTTPS访问

3.1 安装Chainlit

pip install chainlit

3.2 创建Chainlit应用

创建一个app.py文件：

import chainlit as cl from openai import OpenAI @cl.on_message async def main(message: cl.Message): client = OpenAI( base_url="https://localhost:8000/v1", # 替换为您的vLLM服务地址 api_key="no-key-required" ) response = client.chat.completions.create( model="Qwen3-14b_int4_awq", messages=[{"role": "user", "content": message.content}] ) await cl.Message(content=response.choices[0].message.content).send()

3.3 配置Chainlit HTTPS

创建chainlit.md配置文件：

# 项目配置 project: name: Qwen3-14B Chat description: 基于Qwen3-14b_int4_awq模型的聊天界面 # HTTPS配置 server: ssl_cert: /path/to/cert.pem ssl_key: /path/to/key.pem

启动Chainlit服务：

chainlit run app.py -w --port 7860

4. 验证部署

4.1 检查vLLM服务

curl -k https://localhost:8000/v1/models

预期输出应包含模型信息：

{ "object": "list", "data": [{"id": "Qwen3-14b_int4_awq", "object": "model"}] }

4.2 测试Chainlit界面

1. 打开浏览器访问：https://your-server-ip:7860
2. 在聊天界面输入问题，如"介绍一下你自己"
3. 查看模型响应是否正常

5. 常见问题解决

5.1 模型加载失败

如果遇到模型加载问题，检查日志：

cat /root/workspace/llm.log

常见解决方法：

• 确保显存足够（至少16GB）
• 检查模型路径是否正确
• 确认CUDA版本兼容性

5.2 HTTPS证书警告

浏览器可能会显示安全警告（自签名证书），可以：

1. 点击"高级"→"继续前往"
2. 或使用CA签发的正式证书

5.3 性能优化建议

• 增加--tensor-parallel-size参数值以利用多GPU
• 调整--max-num-seqs参数控制并发请求数
• 使用--quantization awq参数确保正确加载量化模型

6. 总结

通过本教程，您已经完成了：

1. Qwen3-14b_int4_awq模型的部署
2. vLLM服务的TLS加密配置
3. Chainlit前端的HTTPS安全访问设置

这套方案提供了：

• 高性能：利用vLLM的高效推理能力
• 安全性：端到端的HTTPS加密通信
• 易用性：直观的Chainlit聊天界面

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。