【华为云CCE实战】内网环境下的Nacos集群部署：从私有镜像到有状态负载
1. 内网环境下的Nacos集群部署挑战
在企业级微服务架构中，Nacos作为注册中心和配置中心的双重角色越来越重要。但很多企业出于安全考虑，会将生产环境部署在内网隔离区域，这就带来了特殊的部署挑战。上周我刚帮一家金融客户在华为云CCE上完成了内网Nacos集群部署，整个过程踩了不少坑，也积累了一些实用经验。
内网环境最大的特点是无法直接拉取公有镜像，所有依赖都需要自给自足。这就像在孤岛上建房子，所有建材都得提前准备好。我们采用的方案是通过私有镜像仓库SWR来托管自定义的Nacos镜像，再结合CCE的有状态负载(StatefulSet)实现集群部署。与常见的Helm部署方式不同，这种纯页面化操作更适合对Kubernetes命令不熟悉的运维团队。
2. 私有镜像准备与上传
2.1 镜像本地处理
首先需要在内网机器上准备好基础镜像。我推荐使用Nacos官方镜像作为基础，这样可以减少兼容性问题。下载完成后，建议用docker inspect检查镜像的ENTRYPOINT和ENV配置：
docker pull nacos/nacos-server:latest docker inspect nacos/nacos-server:latest关键是要确认镜像中是否包含必要的启动脚本。曾经遇到过客户自己打包的镜像缺少启动脚本导致容器不断重启的情况。如果需要对镜像进行定制化修改，建议使用多阶段构建：
FROM nacos/nacos-server:latest AS builder # 添加自定义配置文件 COPY custom.properties /home/nacos/conf/ FROM nacos/nacos-server:latest COPY --from=builder /home/nacos/conf/custom.properties /home/nacos/conf/2.2 推送到SWR仓库
华为云SWR镜像仓库的使用有几个关键点需要注意：
- 组织名称建议采用项目代号而非个人名称
- 镜像标签尽量包含版本号和构建日期
- 上传前必须完成docker login认证
具体操作时，我发现很多人会在镜像重命名环节出错。正确的tag命令格式应该是：
docker tag nacos/nacos-server:latest \ swr.<region>.myhuaweicloud.com/<组织名称>/<项目名称>/nacos-server:v2.2.3上传完成后，一定要在SWR控制台检查镜像的"安全扫描"结果。有次部署后出现莫名崩溃，后来发现是基础镜像存在高危漏洞导致的。
3. 有状态负载配置详解
3.1 工作负载基础配置
在CCE控制台创建有状态负载时，这几个参数需要特别注意：
- 实例数量：初始建议设为1，验证通过后再扩容
- 容器规格：Nacos对内存要求较高，建议4GB起步
- 数据卷：一定要挂载持久化卷到/home/nacos/data目录
配置容器时，最关键的还是环境变量设置。以下是必须配置的核心参数：
PREFER_HOST_MODE=hostname SPRING_DATASOURCE_PLATFORM=mysql MYSQL_SERVICE_HOST=<数据库内网IP> MYSQL_SERVICE_DB_NAME=nacos MYSQL_SERVICE_USER=nacos MYSQL_SERVICE_PASSWORD=<加密后的密码>3.2 实例间服务发现
这是集群部署最关键的环节。在"工作负载访问设置"中：
- 服务名称建议用nacos-hs这样的有意义的名称
- 必须添加8848（主端口）、7848（集群RPC端口）、9848（gRPC端口）
- 就绪探针建议使用TCP检查而非HTTP
配置完成后，可以先启动单个实例测试连通性。常见问题包括：
- 端口映射错误导致无法访问
- 网络策略未放行相应端口
- 安全组规则限制
4. 集群化配置实战
4.1 节点扩容操作
当单节点验证通过后，在"工作负载"页面直接修改实例数量为3。CCE会自动创建新的Pod，但此时它们还不会自动组成集群。需要观察Pod的启动顺序，确保nacos-cluster-0最先启动成功，因为它会作为集群的初始节点。
扩容过程中常见的问题有：
- 新Pod因资源不足处于Pending状态
- 存储卷声明(PVC)创建失败
- 节点间网络不通
4.2 集群成员列表配置
这是最容易被忽视的关键步骤。需要通过环境变量NACOS_SERVERS显式指定集群节点列表。格式要求非常严格：
nacos-cluster-0.nacos-hs.default.svc.cluster.local:8848, nacos-cluster-1.nacos-hs.default.svc.cluster.local:8848, nacos-cluster-2.nacos-hs.default.svc.cluster.local:8848注意点：
- 必须使用完整的FQDN格式
- 端口不能省略
- 逗号分隔且不能有空格
- 建议先在单个节点的nacos控制台检查集群配置
5. 访问与验证
5.1 服务暴露方式
根据不同的使用场景，通常需要配置两种Service：
- ClusterIP：用于集群内部服务注册发现
- NodePort：用于管理控制台访问
在配置NodePort时，建议：
- 使用30000以上的端口号
- 同时开放8848和9848端口
- 配置负载均衡器时开启健康检查
5.2 集群健康检查
部署完成后，可以通过以下几种方式验证：
- 登录控制台查看节点列表
- 检查日志是否有"Cluster is healthy"输出
- 通过API接口获取集群状态：
curl -X GET "http://<节点IP>:8848/nacos/v1/core/cluster/health"常见异常情况处理：
- 节点显示UP但无法同步配置：检查7848端口通信
- 新配置无法推送：检查gRPC端口9848
- 频繁leader切换：调整JVM内存参数
6. 运维优化建议
在实际运行中，我总结了几个提升稳定性的技巧：
- 资源限制：一定要设置CPU和内存的limits，避免节点OOM
- 日志收集：建议将/home/nacos/logs挂载到持久卷
- 定期备份：对config和naming数据做定时备份
- 监控告警：配置Prometheus监控关键指标
对于生产环境，还需要考虑：
- 数据库主从配置
- Nacos节点跨可用区部署
- 安全加固（TLS加密、ACL控制）
整个部署过程虽然步骤较多，但按照这个流程操作基本可以避开90%的常见问题。记得第一次部署时因为漏掉gRPC端口配置，折腾了大半天才找到原因。现在回头看，这些经验都是宝贵的财富。