三台旧服务器也能玩转PVE超融合？手把手教你用Ceph和iSCSI搭建低成本高可用集群

三台旧服务器也能玩转PVE超融合？手把手教你用Ceph和iSCSI搭建低成本高可用集群

去年接手公司机房改造时，意外发现角落里堆着三台被淘汰的Dell R720服务器。16核CPU、64GB内存、普通SATA硬盘的配置在今天看来确实有些寒酸，但正是这批"电子垃圾"让我完成了一次惊艳的技术实验——用PVE+Ceph+iSCSI搭建了一套完整的超融合集群。整个过程只消耗了价值不到2000元的二手SSD，却实现了虚拟机热迁移、存储高可用等企业级功能。

1. 硬件规划与系统准备

1.1 旧服务器改造方案

这三台服务器的原始配置为：

• CPU: 2×Intel Xeon E5-2630v2 (共16核32线程)
• 内存: 64GB DDR3 ECC
• 存储:
  • 1TB 机械硬盘 ×1
  • 256GB SATA SSD ×1 (原系统盘)
  • 新增500GB 二手企业级SSD ×1 (成本约600元/块)
• 网络: 板载千兆网卡 ×4

关键改造点：

1. 将新增的500GB SSD划分为：
   • 200GB 用于Ceph的WAL(日志)
   • 300GB 用于Ceph的DB(元数据)
2. 1TB机械盘作为Ceph OSD主存储
3. 保留256GB SSD安装Proxmox VE系统

提示：二手企业级SSD建议选择Intel S3500/S3700系列，写入寿命通常在1PBW以上，价格却只有新盘的1/3。

1.2 网络拓扑简化设计

由于只有单网卡，采用VLAN隔离方案：

# /etc/network/interfaces 配置示例 auto eno1 iface eno1 inet manual auto vmbr0 iface vmbr0 inet static address 172.16.201.71/24 gateway 172.16.201.1 bridge_ports eno1 bridge_stp off bridge_fd 0 auto vmbr0.10 iface vmbr0.10 inet manual bridge_ports eno1.10 bridge_stp off bridge_fd 0

流量类型与VLAN对应表：

2. Ceph超融合部署实战

2.1 非理想硬件下的Ceph调优

在混合存储配置下，需要特别注意WAL/DB的分配策略：

# 创建OSD时指定WAL/DB设备 ceph-volume lvm create \ --data /dev/sdb \ --block.db /dev/nvme0n1p1 \ --block.wal /dev/nvme0n1p2

性能权衡建议：

• 对于机械硬盘+SSD组合：
  • WAL大小 ≥ OSD容量的1%
  • DB大小 ≥ OSD容量的10%
  • 例如1TB HDD应配至少10GB DB和1GB WAL
• 全SSD环境可以省略WAL设备

2.2 单网卡环境下的Ceph配置

修改Ceph配置文件避免网络拥塞：

# /etc/pve/ceph.conf 关键参数 [global] cluster_network = 172.16.201.0/24 public_network = 172.16.201.0/24 osd_pool_default_size = 3 osd_pool_default_min_size = 2 osd_max_backfills = 1 osd_recovery_max_active = 1 osd_op_threads = 2

注意：生产环境务必为Ceph配置独立万兆网络，测试环境可通过限制并发操作缓解单网卡压力。

3. iSCSI多路径高可用方案

3.1 低成本SAN搭建

利用闲置NAS搭建iSCSI存储的配置要点：

1. LUN配置：

   • 启用"允许多重联机"
   • 关闭"立即分配"
   • 选择"Thick Provision"

2. 多路径配置流程：

   # 安装多路径工具 apt install multipath-tools -y # 获取设备WWID /lib/udev/scsi_id -g -u -d /dev/sdX # 配置多路径 cat <<EOF > /etc/multipath.conf defaults { user_friendly_names yes path_grouping_policy multibus } devices { device { vendor "SYNOLOGY" product "iSCSI Storage" path_checker tur features "0" hardware_handler "0" prio const } } EOF

3.2 PVE集群挂载技巧

正确的LVM存储添加步骤：

1. 通过多路径设备创建物理卷
2. 建立卷组时添加--shared参数
3. 在PVE Web界面添加"LVM"类型存储时：
   • 存储ID格式：<节点名称>-iscsi
   • 必须勾选"共享"选项

4. 高可用实战测试

4.1 虚拟机HA配置细节

创建HA组的注意事项：

• 优先级设置：

  • 主节点：100
  • 备节点：80
  • 第三节点：60

• 关键参数解释：

  • restricted=0：允许虚拟机迁移到非HA组节点
  • nofailback=1：主节点恢复后不自动回迁

4.2 故障模拟测试结果

在不同场景下的恢复时间对比：

5. 性能优化与成本分析

5.1 旧硬件性能压测数据

使用fio测试Ceph集群的IOPS表现：

# 随机4K写测试 fio --name=test --ioengine=rbd --pool=rbd \ --rbdname=testimage --direct=1 --bs=4k --iodepth=32 \ --rw=randwrite --runtime=60 --time_based

测试结果对比：

5.2 总成本核算

整套方案的投入产出比：

这套方案最让我惊喜的是，在模拟机房断电测试中，三台服务器同时掉电后，整个集群能在5分钟内自动恢复所有虚拟机服务。相比之下，之前使用的某商业虚拟化方案在这种极端情况下经常需要手动修复。虽然性能比不上顶级硬件配置的超融合方案，但对于预算有限又需要高可用性的场景，这无疑是性价比极高的选择。