Qwen1.5-1.8B GPTQ企业级部署指南：内网穿透与安全访问配置

Qwen1.5-1.8B GPTQ企业级部署指南：内网穿透与安全访问配置

在星图GPU平台上一键部署好Qwen1.5-1.8B GPTQ模型后，很多企业开发者会遇到一个现实问题：模型服务跑在内网服务器上，怎么让外网的同事、客户或者自己的其他应用安全、稳定地访问它？直接暴露端口风险太大，但业务又确实需要远程调用。

这篇文章，我就结合自己过去在类似场景下的折腾经验，跟你聊聊怎么给这个部署在内网的AI模型服务“开一扇安全的门”。我们不讲复杂的网络理论，就聚焦于几个经过验证的、能实际跑通的方案，从简单的防火墙配置，到更灵活的反向代理，再到解决核心痛点的内网穿透，一步步构建起一个兼顾性能与安全的企业级访问架构。

1. 理解挑战：为什么不能直接暴露服务？

你可能觉得，部署好了，拿到一个内网IP和端口（比如192.168.1.100:7860），直接在公司路由器上做个端口映射不就行了？理论上可以，但对企业环境来说，这几乎是“裸奔”，会带来几个大问题：

• 安全风险极高：将服务的端口直接暴露在公网，相当于向整个互联网开放了一个入口。即使服务本身有认证，其底层框架（如Gradio、FastAPI）也可能存在未知漏洞，容易成为攻击目标。
• 缺乏访问控制：谁都可以来连，无法区分内部员工、合作伙伴还是恶意爬虫。
• IP地址不稳定：大多数企业或家庭宽带的公网IP是动态的，可能会变化，导致配置好的访问地址失效。
• 不符合合规要求：很多行业（如金融、医疗）对数据安全和访问日志有严格规定，直接暴露服务很难满足审计要求。

所以，我们的目标很明确：让授权的用户能从外网访问，同时把服务本身藏在内网，前面加上一层或多层“保安”。

2. 基础防护：配置服务器防火墙

这是第一道，也是最基础的防线。即便服务在内网，也应该遵循最小权限原则，只开放必要的端口。

假设你的Qwen1.5-1.8B GPTQ模型服务通过Gradio启动在7860端口。在部署模型的Linux服务器上，我们可以用ufw（Uncomplicated Firewall）来快速设置。

# 1. 首先，允许SSH端口，确保自己不会把自己关在外面 sudo ufw allow 22/tcp # 2. 默认情况下，拒绝所有入站连接，允许所有出站连接 sudo ufw default deny incoming sudo ufw default allow outgoing # 3. 如果你只需要同一内网的其他机器访问该服务，可以只允许内网网段 # 假设你的内网是 192.168.1.0/24 sudo ufw allow from 192.168.1.0/24 to any port 7860 proto tcp # 或者，在测试阶段，你可以临时允许所有IP访问（生产环境不推荐） # sudo ufw allow 7860/tcp # 4. 启用防火墙 sudo ufw enable # 查看防火墙状态和规则 sudo ufw status verbose

关键点：这一步确保了即使服务进程在运行，来自非授权网络（比如互联网）的流量在服务器层面就被拒绝了。但这只解决了服务器自身的安全，要对外提供服务，还需要接下来的步骤。

3. 进阶网关：使用Nginx作为反向代理

反向代理像是公司的前台接待。外部的访问请求先到达它（Nginx），由它根据规则转发给内网真正的模型服务（Gradio）。这样做的好处太多了：

1. 隐藏后端：用户只知道Nginx的地址和端口，不知道后端服务的真实IP和端口。
2. 负载均衡：如果你部署了多个模型服务实例，Nginx可以把流量分发给它们。
3. SSL/TLS终结：在Nginx上配置HTTPS证书，实现加密通信，后端服务可以继续用HTTP，简化配置。
4. 访问控制与日志：方便地配置IP黑白名单、限流、并记录详细的访问日志。

3.1 安装与基础配置

首先，在服务器上安装Nginx。

# Ubuntu/Debian sudo apt update sudo apt install nginx -y # CentOS/RHEL sudo yum install epel-release -y sudo yum install nginx -y

安装后，创建一个新的配置文件来代理我们的模型服务。假设我们想让用户通过https://ai.your-company.com来访问。

sudo vim /etc/nginx/conf.d/qwen_proxy.conf

将以下配置写入文件。这里我们假设：

• 模型服务运行在本机的http://127.0.0.1:7860
• 你已有一个域名ai.your-company.com并解析到了这台服务器的公网IP（注意：此时服务端口仍需通过其他方式暴露给Nginx，见第4节）。

server { listen 80; server_name ai.your-company.com; # 你的域名 # 建议将所有HTTP请求重定向到HTTPS，更安全 return 301 https://$server_name$request_uri; } server { listen 443 ssl http2; server_name ai.your-company.com; # SSL证书路径，你需要申请并放置证书文件 ssl_certificate /path/to/your/certificate.crt; ssl_certificate_key /path/to/your/private.key; ssl_protocols TLSv1.2 TLSv1.3; ssl_ciphers HIGH:!aNULL:!MD5; # 反向代理核心配置 location / { # 设置一些超时参数，避免长连接请求被中断 proxy_read_timeout 300s; proxy_connect_timeout 75s; proxy_send_timeout 300s; # 将请求转发给后端的Gradio服务 proxy_pass http://127.0.0.1:7860; # 传递重要的请求头信息 proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection "upgrade"; # 这对Gradio的WebSocket连接很重要 # 禁用缓冲，对于AI模型流式输出特别有用 proxy_buffering off; } # 可以添加访问日志 access_log /var/log/nginx/qwen_access.log; error_log /var/log/nginx/qwen_error.log; }

3.2 测试与启用配置

# 检查Nginx配置语法是否正确 sudo nginx -t # 如果显示“syntax is ok”，则重新加载Nginx使配置生效 sudo systemctl reload nginx

现在，Nginx已经配置好了。但是，如果服务器在公司内网，公网用户仍然无法访问到ai.your-company.com对应的服务器IP。这就需要“内网穿透”来打通最后一公里。

4. 核心解决方案：实现安全的内网穿透

“内网穿透”是解决无公网IP或服务位于多层NAT后访问问题的关键技术。其原理是在公网有一台具有固定IP的服务器（称为“服务端”或“中转服务器”），内网的服务（称为“客户端”）主动连接到它，建立一个隧道。公网用户访问服务端的某个端口，流量就会通过这个隧道转发到内网服务。

这里我以frp这个开源工具为例，因为它配置灵活、性能稳定。你需要准备一台公网服务器（VPS）作为服务端，你的内网模型服务器作为客户端。

4.1 公网服务器端配置

1. 下载frp：在公网服务器上，从GitHub Release页面下载对应架构的frp。
2. 编辑服务端配置(frps.ini)：

# frps.ini [common] bind_port = 7000 # frp服务端监听的端口，用于与客户端建立控制连接 # 以下认证和Dashboard配置是为了增强安全性，建议设置 authentication_method = token token = your_strong_password_here # 设置一个强密码，客户端需要匹配 # 启用Web管理界面（可选，方便查看状态） dashboard_port = 7500 dashboard_user = admin dashboard_pwd = admin_dashboard_password

3. 启动frp服务端：

./frps -c ./frps.ini

建议使用systemd或supervisor来守护进程，保证其持续运行。

4.2 内网模型服务器端配置

1. 同样下载frp客户端。
2. 编辑客户端配置(frpc.ini)。这里我们配置两种常见的穿透方式：

方式一：TCP隧道（简单直接）将公网服务器7001端口的流量，直接转发到内网模型的7860端口。

# frpc.ini [common] server_addr = your_vps_public_ip # 你的公网服务器IP server_port = 7000 # 对应frps的bind_port token = your_strong_password_here # 必须与frps.ini中设置的一致 [qwen-gradio-tcp] type = tcp local_ip = 127.0.0.1 local_port = 7860 # 本地Gradio服务端口 remote_port = 7001 # 公网服务器上暴露的端口

配置好后，用户访问http://your_vps_public_ip:7001就能连接到内网的模型服务。此时，可以将这个your_vps_public_ip:7001配置为前面Nginx配置中的proxy_pass目标，从而结合HTTPS和反向代理。

方式二：HTTP/HTTPS隧道（更推荐）frp服务端直接扮演Web服务器，绑定域名，省去再配一层Nginx的麻烦。

首先，在公网服务器的frps.ini中增加：

# frps.ini 追加 vhost_http_port = 8080 # 用于HTTP域名的监听端口 vhost_https_port = 8443 # 用于HTTPS域名的监听端口

然后，在内网的frpc.ini中配置：

# frpc.ini [common] server_addr = your_vps_public_ip server_port = 7000 token = your_strong_password_here [qwen-gradio-web] type = http # 或 https local_port = 7860 custom_domains = ai.your-company.com # 你的域名 # 如果你希望使用HTTPS，且证书在公网服务器上，type用https # 并将域名解析到公网服务器IP

这种方式下，用户直接访问https://ai.your-company.com:8443（或配置Nginx将80/443反向代理到frps的8080/8443端口，实现标准端口访问），流量路径是：用户 -> 公网服务器(frps) -> 隧道 -> 内网模型。

4.3 启动与测试

1. 在内网服务器启动frp客户端：

   ./frpc -c ./frpc.ini

2. 查看frp服务端日志和Dashboard (http://your_vps_ip:7500)，确认客户端连接成功和隧道建立。
3. 通过配置好的域名或IP:PORT访问测试。

安全加固建议：

• 使用强Token：务必设置并保管好token。
• 限制端口：在公网服务器防火墙只开放必要的端口（如7000, 7500, 8080, 8443）。
• 使用HTTPS：尽可能为域名配置SSL证书，frp支持将HTTPS流量解密后以HTTP形式转发给内网服务。
• 设置访问控制：在frp或前端的Nginx中，可以配置IP白名单，只允许公司IP或VPN IP访问。

5. 总结与选择建议

走完这三步，我们实际上构建了一个多层次的安全访问体系：

1. 主机防火墙：守护服务器自身，过滤非法网络请求。
2. 反向代理：作为统一的流量入口，提供负载均衡、SSL卸载、访问日志和精细控制的能力。
3. 内网穿透：解决网络可达性问题，让内网服务能够安全地“主动出站”对外提供服务。

对于企业部署Qwen1.5-1.8B GPTQ这类AI服务，我的建议是：

• 测试与开发环境：如果只是小范围临时测试，可以只用防火墙 + frp TCP隧道，快速打通。
• 预发布与生产环境：强烈推荐防火墙 + Nginx + frp HTTP/HTTPS隧道的组合。Nginx负责HTTPS、域名绑定和初步过滤，frp解决网络穿透。这样既能享受Nginx的强大功能，又能保持后端服务在内网的安全。
• 高阶安全场景：在Nginx之前，可以再引入企业级防火墙、WAF（Web应用防火墙），或者要求用户先接入公司VPN，再从内网访问服务地址，实现零暴露。

最后，别忘了监控和日志。检查Nginx的access.log和error.log，关注frp服务端的连接状态。任何安全策略都不是一劳永逸的，结合业务流量和威胁情报适时调整规则，才是可持续的运维之道。

这套组合拳打下来，你的Qwen1.5-1.8B GPTQ模型服务就能在深藏内网的同时，为授权用户提供稳定、安全、高效的远程访问能力了。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。