Qwen1.5-1.8B GPTQ模型服务化：内网穿透实现公网访问

Qwen1.5-1.8B GPTQ模型服务化：内网穿透实现公网访问

当你费了九牛二虎之力，终于在本地或者内网的服务器上把Qwen1.5-1.8B GPTQ模型跑起来，搭建了一个漂亮的API服务，是不是特别想马上分享给同事或者客户看看效果？但问题来了，你的服务藏在公司内网或者家里的路由器后面，别人根本访问不到。这时候，你就需要一个“任意门”，把你的本地服务临时暴露到公网上。这个“任意门”的技术，就是我们今天要聊的内网穿透。

这篇教程，就是手把手教你，怎么给部署好的Qwen模型服务开一扇临时的“公网窗户”。整个过程不复杂，跟着步骤走，半小时内就能搞定，让你快速实现从“本地自嗨”到“公网演示”的飞跃。

1. 准备工作：明确目标和工具选择

在开始动手之前，我们先搞清楚两件事：我们要做什么，以及用什么工具来做。

我们要做什么？假设你已经用类似FastAPI、Flask或者vLLM这样的框架，在http://localhost:8000或http://192.168.1.100:7860这样的本地地址上，成功启动了Qwen1.5-1.8B GPTQ模型的服务。这个服务现在只有你自己能访问。我们的目标，就是生成一个公网地址（比如https://your-subdomain.ngrok.io），任何人通过这个地址，都能访问到你本地的模型服务。

用什么工具？内网穿透工具有很多，为了快速上手，我们主要介绍两类：

1. 云端托管型（推荐新手）：以ngrok为代表。它提供云端服务，你只需要在本地运行一个客户端，配置简单，几分钟就能获得一个公网地址。缺点是免费版有连接时长、域名随机等限制，适合临时演示。
2. 自建服务器型：以frp (Fast Reverse Proxy)为代表。你需要自己有一台具有公网IP的服务器（比如云服务器）作为中转。配置稍复杂，但完全自主可控，性能好，适合需要较长时间或更稳定穿透的场景。

考虑到这篇教程的初衷是“快速、临时地提供公网演示”，我们会以ngrok作为主要示例，因为它最省心。同时，我们也会简要提一下frp的思路，供有自建条件的朋友参考。

你需要准备：

• 一台已经部署并运行了Qwen模型API服务的本地机器（Windows, macOS, Linux均可）。
• 一个可用的网络连接。
• 对于ngrok，需要一个邮箱来注册免费账户。

2. 使用ngrok快速暴露本地服务

ngrok是目前最流行的内网穿透工具之一，我们先来看看怎么用它。

2.1 注册与安装ngrok

首先，访问 ngrok 的官网，注册一个免费账户。注册成功后，在后台的“Getting Started”部分，你会找到你的Authtoken，一串长长的密钥，把它复制下来。

接下来，根据你的操作系统下载并安装ngrok客户端。以Linux/macOS为例，通常解压后就是一个可执行文件。Windows用户可以直接下载exe文件。

打开你的终端或命令提示符，运行以下命令来设置你的Authtoken：

./ngrok authtoken 你的Authtoken

这行命令会将你的令牌保存到本地配置文件中，之后运行就不需要每次都输入了。

2.2 穿透你的模型API服务

假设你的Qwen模型服务正运行在本地http://localhost:8000。在终端中，运行以下命令：

./ngrok http 8000

稍等片刻，ngrok就会启动。你会在终端看到类似下面的输出：

ngrok (Ctrl+C to quit)