Ceph 17.2 实战：基于cephadm的单节点集群快速部署与验证

1. 为什么选择Ceph 17.2单节点部署

很多刚接触Ceph的朋友可能会有疑问：分布式存储系统为什么要用单节点部署？这就像学开车时先在驾校场地练习一样，单节点集群是我们学习Ceph最理想的实验环境。我去年给团队做技术培训时，就发现用单节点环境演示概念比直接操作生产集群效果更好。

Ceph 17.2（代号Quincy）的单节点模式有几个独特优势：

• 硬件成本极低：一台普通服务器甚至高性能笔记本就能运行
• 学习曲线平缓：可以专注核心功能而不被集群复杂度干扰
• 快速验证：5分钟就能验证一个新功能是否可行
• 开发友好：本地调试Ceph客户端应用的最佳搭档

最近帮一个创业团队做技术选型时，我们就用单节点Ceph快速验证了他们需要的EC（纠删码）存储性能。相比搭建多节点集群，节省了至少80%的部署时间。

2. 环境准备实战细节

2.1 硬件配置建议

虽然文档说最小配置就行，但根据我的踩坑经验，建议这样配置：

• CPU：至少4核（实测2核会卡在bootstrap阶段）
• 内存：不低于8GB（运行监控组件需要2GB额外开销）
• 磁盘：
  • 系统盘：50GB（Ubuntu系统会占用约15GB）
  • OSD盘：至少3块20GB磁盘（我用过2块，创建EC池时会报错）

上周在阿里云ecs.g7ne.large实例（8核32GB）上测试时，挂载了3块100GB云盘，部署过程非常顺畅。特别提醒：一定要用独立磁盘作OSD，分区出来的性能差很多。

2.2 系统配置关键步骤

原始文章提到的步骤有些可以优化，这里分享我的实战经验：

# 更可靠的chrony配置（解决时间同步问题） sudo sed -i 's/^#NTP=/NTP=ntp.aliyun.com/' /etc/chrony/chrony.conf sudo systemctl restart chronyd # Docker配置优化（避免pull镜像超时） sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json <<EOF { "registry-mirrors": ["https://registry.cn-hangzhou.aliyuncs.com"], "exec-opts": ["native.cgroupdriver=systemd"] } EOF

遇到过最头疼的问题是防火墙，建议直接禁用：

sudo ufw disable sudo systemctl stop ufw sudo systemctl disable ufw

3. Ceph部署深度解析

3.1 Bootstrap的隐藏参数

原始文档的bootstrap命令其实可以更完善：

cephadm bootstrap \ --mon-ip 192.168.1.100 \ --cluster-network 192.168.1.0/24 \ --allow-fqdn-hostname \ --skip-monitoring-stack \ --single-host-defaults

这里有几个经验参数：

• --allow-fqdn-hostname：避免主机名解析问题
• --skip-monitoring-stack：节省1GB内存（不需要监控时）
• --single-host-defaults：自动优化单节点配置

最近发现个坑：如果在公有云部署，记得添加--skip-firewalld参数。

3.2 OSD部署的实用技巧

创建OSD时，推荐先用这个命令检查磁盘：

ceph orch device ls

我习惯用这个命令部署，比--all-available-devices更可控：

ceph orch daemon add osd ceph01:/dev/sdb ceph orch daemon add osd ceph01:/dev/sdc

4. 集群验证与排错

4.1 健康状态深度检查

除了ceph -s，这些命令更实用：

# 查看详细健康状态 ceph health detail # 检查PG状态（单节点应该全是active+clean） ceph pg ls # 查看OSD树形结构 ceph osd tree

遇到过PG一直卡在creating状态的情况，用这个命令解决：

ceph osd pool set test pg_num 32 ceph osd pool set test pgp_num 32

4.2 存储池实战操作

创建存储池时，这些参数很关键：

ceph osd pool create mypool 32 32 replicated

测试写入速度：

rados -p mypool bench 10 write --no-cleanup

最近发现个性能优化技巧：单节点环境把osd_memory_target调到4GB效果更好：

ceph config set osd osd_memory_target 4294967296

5. 日常维护技巧

5.1 日志查看方法

排查问题时这些日志最有用：

# 实时监控日志 ceph -W cephadm # 查看特定容器日志 cephadm logs --name mon.ceph01 # 查看OSD日志 journalctl -u ceph-$(ceph fsid)@osd.0

5.2 安全清理集群

原始文档的清理方法有个隐患，改进版：

FSID=$(ceph fsid) cephadm rm-cluster --force --zap-osds --fsid $FSID sudo rm -rf /etc/ceph /var/lib/ceph

建议清理后重启服务器，避免残留进程影响新集群。