Etcd单机多实例部署与配置指南

1. 项目背景与核心需求

最近在部署一套分布式系统时，需要搭建高可用的键值存储服务。经过技术选型对比，最终选择了Etcd作为底层存储组件。考虑到生产环境对稳定性的要求，我们决定采用经过长期验证的v3.1.15版本，而非盲目追求最新版本。

在Linux CentOS7环境下，通常建议采用集群部署来保证高可用性。但实际场景中，我们有时需要在单台机器上模拟多节点环境进行开发和测试。这时通过修改端口号来实现"伪集群"就成为了一个实用的解决方案。

2. 环境准备与前置条件

2.1 系统环境检查

首先确认操作系统版本：

cat /etc/centos-release

输出应显示为CentOS 7.x版本。同时检查内核版本：

uname -r

建议使用3.10.0-1160及以上版本的内核，以获得更好的性能表现。

2.2 依赖安装

安装必要的工具链：

yum install -y wget tar gzip

对于防火墙配置，建议暂时关闭或设置相应规则：

systemctl stop firewalld systemctl disable firewalld

注意：生产环境中请谨慎操作防火墙，建议配置精确的规则而非完全关闭

3. Etcd安装与配置

3.1 二进制包下载

从GitHub获取指定版本的Etcd：

ETCD_VER=v3.1.15 wget https://github.com/etcd-io/etcd/releases/download/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz tar xzvf etcd-${ETCD_VER}-linux-amd64.tar.gz cd etcd-${ETCD_VER}-linux-amd64

3.2 单节点基础配置

创建基础配置文件etcd.conf：

ETCD_NAME=default ETCD_DATA_DIR=/var/lib/etcd/default ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380 ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379 ETCD_INITIAL_ADVERTISE_PEER_URLS=http://${HOST_IP}:2380 ETCD_ADVERTISE_CLIENT_URLS=http://${HOST_IP}:2379 ETCD_INITIAL_CLUSTER="default=http://${HOST_IP}:2380"

3.3 多实例端口修改方案

要实现单机多实例，关键是通过修改以下端口参数：

1. 客户端通信端口：默认2379
2. 节点间通信端口：默认2380
3. 度量指标端口：默认2381

例如创建第二个实例：

ETCD_NAME=instance2 ETCD_DATA_DIR=/var/lib/etcd/instance2 ETCD_LISTEN_PEER_URLS=http://0.0.0.0:3380 ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:3379 ETCD_INITIAL_ADVERTISE_PEER_URLS=http://${HOST_IP}:3380 ETCD_ADVERTISE_CLIENT_URLS=http://${HOST_IP}:3379

4. 集群启动与管理

4.1 启动单个节点

使用nohup后台运行：

nohup ./etcd --config-file etcd.conf > etcd.log 2>&1 &

验证节点状态：

ETCDCTL_API=3 ./etcdctl --endpoints=localhost:2379 endpoint status

4.2 多实例启动脚本

编写启动脚本start_etcd_cluster.sh：

#!/bin/bash # 第一个实例 ETCD_NAME=node1 \ ETCD_LISTEN_PEER_URLS=http://0.0.0.0:2380 \ ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379 \ nohup ./etcd > node1.log 2>&1 & # 第二个实例 ETCD_NAME=node2 \ ETCD_LISTEN_PEER_URLS=http://0.0.0.0:3380 \ ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:3379 \ nohup ./etcd > node2.log 2>&1 &

赋予执行权限：

chmod +x start_etcd_cluster.sh

4.3 集群健康检查

检查集群成员：

ETCDCTL_API=3 ./etcdctl --endpoints=localhost:2379,localhost:3379 member list

5. 常见问题与解决方案

5.1 端口冲突问题

错误现象：

listen tcp 0.0.0.0:2380: bind: address already in use

解决方案：

1. 确认端口是否被占用：netstat -tulnp | grep 2380
2. 修改配置文件中的端口号
3. 杀死占用进程：kill -9 <PID>

5.2 数据目录冲突

错误现象：

etcdserver: data dir /var/lib/etcd/default exists and is not empty

解决方案：

1. 备份后清空数据目录：rm -rf /var/lib/etcd/default/*
2. 或者指定新的数据目录路径

5.3 集群通信失败

错误现象：

failed to connect to member http://127.0.0.1:3380: context deadline exceeded

排查步骤：

1. 检查实例是否正常启动
2. 验证网络连通性：telnet 127.0.0.1 3380
3. 检查防火墙设置
4. 查看日志文件中的错误信息

6. 性能优化建议

6.1 内存配置

对于生产环境，建议设置合理的内存限制：

ETCD_MAX_MEMORY=4096 # 单位MB

6.2 日志级别调整

根据需求调整日志级别：

ETCD_LOG_LEVEL=info # 可选debug, info, warn, error

6.3 定期维护

建议配置定期压缩和碎片整理：

# 压缩修订版本 ETCDCTL_API=3 etcdctl compact 1000 # 碎片整理 ETCDCTL_API=3 etcdctl defrag

7. 监控与告警

7.1 基础监控指标

关键监控指标包括：

• 存储大小
• 请求延迟
• 领导节点变更次数
• 提案提交/应用速率

7.2 Prometheus集成

Etcd原生支持Prometheus监控，暴露的指标端口默认是2381。配置示例：

scrape_configs: - job_name: 'etcd' static_configs: - targets: ['localhost:2381']

8. 安全加固建议

8.1 基础安全措施

1. 启用TLS加密通信
2. 设置严格的访问控制
3. 定期轮换证书
4. 限制网络访问

8.2 认证配置示例

启用基本认证：

ETCD_AUTH_TOKEN=simple ETCD_AUTH_PASSWORD=your_strong_password

9. 备份与恢复

9.1 定期备份

创建快照备份：

ETCDCTL_API=3 etcdctl --endpoints=localhost:2379 snapshot save backup.db

9.2 灾难恢复

从快照恢复：

ETCDCTL_API=3 etcdctl snapshot restore backup.db \ --name new-etcd \ --initial-cluster new-etcd=http://localhost:2380 \ --initial-advertise-peer-urls http://localhost:2380

10. 版本升级策略

虽然本文基于v3.1.15，但升级时需要注意：

1. 先备份数据
2. 查看版本变更说明
3. 测试环境验证
4. 分阶段滚动升级

升级命令示例：

ETCD_VER=v3.5.0 wget https://github.com/etcd-io/etcd/releases/download/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz