当前位置：首页 > news >正文

Kylin V10离线部署Ceph集群全攻略：从环境准备到故障排查

news 2026/5/11 15:11:22

Kylin V10环境下Ceph集群离线部署实战指南

1. 离线部署Ceph集群的核心挑战与解决方案

在封闭网络环境中部署Ceph分布式存储系统，运维工程师面临三大核心挑战：

依赖隔离：传统在线部署依赖互联网获取软件包和容器镜像
环境适配：国产操作系统与开源组件的兼容性问题
故障排查：缺乏外部支持时的自主排错能力

针对这些挑战，我们设计了一套完整的解决方案框架：

关键组件离线化方案：

软件仓库镜像：构建本地YUM/DNF仓库
容器镜像仓库：部署私有Registry服务
依赖包缓存：提前下载所有依赖项

环境适配矩阵：

组件	Kylin V10适配要点	解决方案
Cephadm	Python 3.7+依赖	使用系统自带Python3
Docker	麒麟特有内核模块	采用docker-engine版本
时间同步	Chrony配置差异	自定义allow子网段

2. 基础环境准备：从零搭建离线平台

2.1 系统级配置规范

网络拓扑规划示例：

# 三节点集群IP配置模板 nmcli connection modify ens33 \ ipv4.method manual \ ipv4.addresses 172.25.0.141/24 \ ipv4.gateway 172.25.0.2 \ connection.autoconnect yes

关键安全设置：

关闭防火墙：systemctl disable --now firewalld
SELinux策略：setenforce 0+ 配置文件永久禁用
日志权限修正：chmod 600 /var/log/tallylog

注意：生产环境中应根据实际安全需求调整防火墙策略，本文示例仅适用于测试环境

2.2 离线软件源构建

本地仓库搭建步骤：

下载Kylin V10专属ISO镜像

挂载镜像创建本地源：

mount -o loop Kylin-Server-V10.iso /mnt cp -r /mnt/Packages /var/www/html/kylin_repo createrepo /var/www/html/kylin_repo

配置客户端repo文件：

[kylin-local] name=Kylin Local Repository baseurl=http://<server_ip>/kylin_repo enabled=1 gpgcheck=0

3. Ceph组件离线部署全流程

3.1 容器化基础准备

Docker离线安装要点：

# 传输安装包到目标机 scp docker-engine-*.rpm root@node1:/tmp/ # 手动安装 rpm -ivh /tmp/docker-engine-*.rpm --nodeps --force # 配置镜像加速（使用本地registry） mkdir -p /etc/docker cat > /etc/docker/daemon.json <<EOF { "registry-mirrors": ["http://registryserver:4000"], "insecure-registries": ["registryserver:4000"] } EOF

3.2 Ceph镜像处理技巧

镜像导入标准化流程：

加载基础镜像：
```
docker load < ceph-v15.img
```

构建本地registry：

docker run -d -p 4000:5000 \ -v /data/registry:/var/lib/registry \ --restart=always \ --name registry registry:2

重新标记并推送：

docker tag quay.io/ceph/ceph:v15 registryserver:4000/ceph/ceph:v15 docker push registryserver:4000/ceph/ceph:v15

3.3 Cephadm定制化安装

关键修改点：

# 修改/usr/sbin/cephadm中的_pull_image函数 def _pull_image(self): cmd = [ self.docker_path, 'images', '--format', '{{.Repository}}:{{.Tag}}', image ]

离线安装命令：

rpm -ivh cephadm-15.2.17-0.el7.noarch.rpm mkdir -p /etc/ceph

4. 集群初始化与节点扩展

4.1 Bootstrap关键参数

单节点引导示例：

cephadm bootstrap \ --mon-ip 172.25.0.141 \ --registry-url registryserver:4000 \ --registry-username admin \ --registry-password admin

输出解析要点：

Dashboard访问URL：记录初始admin密码
FSID：集群唯一标识，后续操作必需
监控端口：6789(mon)和9283(mgr)

4.2 节点扩展实战

标准化添加流程：

密钥分发：

ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph2

配置文件同步：
```
scp -r /etc/ceph root@ceph2:/etc/
```
集群注册：
```
ceph orch host add ceph2 172.25.0.142
```

主机标签管理：

# 为特定节点添加SSD标签 ceph orch host label add ceph2 ssd # 查看主机状态 ceph orch host ls

5. 存储服务部署与优化

5.1 OSD部署策略对比

部署方式选择矩阵：

方式	命令示例	适用场景	优缺点
自动发现	`ceph orch apply osd --all-available-devices`	测试环境	简单但不可控
指定设备	`ceph orch daemon add osd ceph1:/dev/sdb`	生产环境	精确控制但繁琐
批量部署	`ceph orch apply osd --data=/dev/sd[b-d]`	中型集群	平衡效率与控制力

5.2 核心服务部署模板

MON/MGR高可用配置：

# 设置mon数量为3（奇数原则） ceph orch apply mon 3 # 配置mgr为3节点（active/standby模式） ceph orch apply mgr --placement="3 ceph1 ceph2 ceph3"

RadosGW对象存储部署：

# 创建领域和区域 radosgw-admin realm create --rgw-realm=myrealm --default radosgw-admin zonegroup create --rgw-zonegroup=default --master --default radosgw-admin zone create --rgw-zonegroup=default --rgw-zone=cn --master --default # 部署网关服务 ceph orch apply rgw myrealm cn --placement="3 ceph1 ceph2 ceph3"

6. 典型故障排查手册

6.1 权限类问题

/var/log/tallylog报错：

# 现象：安装时出现pam_tally2权限错误 # 解决方案： chmod 600 /var/log/tallylog pam_tally2 --user root --reset

uid/gid缺失问题：

# 现象：cephadm shell报uid/gid not found # 根本原因：离线镜像缺失RepoDigest信息 # 解决方案： 1. 确保使用本地registry推送的镜像 2. 检查/etc/hosts中registry解析优先级

6.2 网络类问题

认证超时处理：

# 现象：monclient(hunting): authenticate timed out # 解决方案： 1. 检查DNS配置： echo "nameserver 223.5.5.5" >> /etc/resolv.conf 2. 验证网络连通性： ceph config set mon public_network 172.25.0.0/24

容器网络异常：

# 现象：iptables: No chain/target/match by that name # 解决方案（麒麟系统特有）： systemctl restart docker

6.3 服务状态监控

健康检查命令集：

# 查看集群总体状态 ceph -s # 检查具体服务状态 ceph orch ps --daemon-type osd # 查看OSD树状结构 ceph osd tree # 检查PG分布状态 ceph pg dump

异常服务处理流程：

定位问题服务：ceph health detail
尝试重启：ceph orch daemon restart <daemon>
强制重建：ceph orch daemon rm <daemon> --force
重新部署：ceph orch apply <service>

7. 性能调优与生产建议

7.1 内核参数优化

推荐配置：

# 增加网络缓冲区 echo "net.core.rmem_max = 56623104" >> /etc/sysctl.conf echo "net.core.wmem_max = 56623104" >> /etc/sysctl.conf # 调整虚拟机参数 echo "vm.swappiness = 10" >> /etc/sysctl.conf echo "vm.vfs_cache_pressure = 50" >> /etc/sysctl.conf # 生效配置 sysctl -p

7.2 Ceph专属优化

OSD调优参数：

# 调整日志级别 ceph config set osd debug_osd 10/10 # 优化后端存储 ceph config set osd bluestore_cache_size 4G ceph config set osd bluestore_prefer_deferred_size 0

CRUSH算法调整：

# 查看当前CRUSH map ceph osd getcrushmap -o crushmap.txt # 自定义故障域（示例：机架级冗余） ceph osd crush add-bucket rack1 rack ceph osd crush move rack1 root=default ceph osd crush move osd.1 rack=rack1

7.3 监控与告警

Prometheus指标采集：

# 启用mgr插件 ceph mgr module enable prometheus # 配置采集间隔 ceph config set mgr mgr/prometheus/scrape_interval 15

Grafana看板导入：

访问Dashboard的Grafana界面
导入ID为2842的官方Ceph仪表板
配置Prometheus数据源为http://localhost:9090

8. 升级与维护策略

8.1 离线升级路径

版本升级步骤：

下载新版本RPM包和容器镜像

更新本地仓库：

createrepo --update /var/www/html/ceph_repo

滚动升级集群：

ceph orch upgrade start --image registryserver:4000/ceph/ceph:v16

8.2 日常维护要点

健康检查清单：

每日：ceph -s状态检查
每周：ceph osd df空间分析
每月：ceph pg repair一致性校验

容量规划建议：

预留20%的物理空间防止写满
监控ceph df的输出变化
设置自动扩容阈值告警

9. 生态工具集成

9.1 客户端挂载方案

CephFS挂载示例：

# 创建专用客户端密钥 ceph auth get-or-create client.kylin mon 'allow r' mds 'allow rw' osd 'allow rw pool=cephfs_data' # 持久化挂载配置 echo "ceph1:6789,ceph2:6789,ceph3:6789:/ /mnt/cephfs ceph name=kylin,secretfile=/etc/ceph/kylin.key,noatime,_netdev 0 0" >> /etc/fstab

9.2 RBD块设备管理

创建和使用RBD：

# 创建存储池 ceph osd pool create rbd_pool # 初始化RBD rbd create rbd_pool/volume1 --size 100G # 客户端映射 rbd map rbd_pool/volume1 --name client.kylin

10. 安全加固实践

10.1 访问控制策略

RBAC权限配置：

# 创建只读用户 ceph auth get-or-create client.readonly mon 'allow r' osd 'allow r' # 创建特定池读写用户 ceph auth get-or-create client.app1 mon 'allow r' osd 'allow rw pool=app1_pool'

10.2 传输加密配置

启用SSL加密：

# 生成自签名证书 openssl req -new -nodes -x509 \ -subj "/O=IT/CN=ceph-cluster" \ -days 3650 -keyout /etc/ceph/ceph.key \ -out /etc/ceph/ceph.crt -extensions v3_ca # 配置RGW使用HTTPS ceph config set client.rgw rgw_frontends "beast ssl_port=443 ssl_certificate=/etc/ceph/ceph.crt ssl_key=/etc/ceph/ceph.key"

查看全文

http://www.jsqmd.com/news/512450/