ceph提供存储的形式
- ceph非常强大的，能提供三种存储的形式
块存储
文件存储
对象存储
ceph组件
1、osd(集群仓库管理员)
-
唯一存储用户的数据的组件，存储的都是对象，数据以对象的形式存储在osd上
-
处理数据的复制，恢复和再平衡
-
osd直接与客户端进行通信，直接io读写
-
一个硬盘对应一个osd，新版本的ceph，osd需要使用一整块盘
-
在ceph集群中，osd具有主从关系
-
所有的IO请求都是主OSD完成的
-
数据的保护和复制都是由主osd完成的
-
负责检查数据的一致性，数据的平衡，在恢复
-
先将数据写到主OSD上，然后主OSD复制到多个从OSD上
-
通常是一主多从的架构
-
从OSD
-
被动的接收数据复制
-
随时准备接替主OSD的服务
-
-
2、mon
-
维护集群状态的map,唯一的访问入口
-
保存一份集群状态映射来维护整个集群的健康状态，分别为每个组件维护映射信息，包括OSD map,mon map，PG map,crush map
-
mon map 记录集群中哪些mon节点，ip地址，端口
-
osd map 记录集群中所有的osd设备，状态(up/down)
-
pg map 记录所有归置组(placement group)的详细信息，
-
crush map 记录集群的物理拓扑架构(主机，磁盘)，数据如何通过crush算法分布到osd上的规则
-
mds map 记录元数据服务器mds状态和信息
-
-
所有集群节点都向mon节点汇报信息，分享他们状态中的任何变化
-
mon需要配置奇数个上
-
客户端进行读写的时候，首先连接MON，获取最新的集群信息
3、mgr
-
一个web界面，显示集群信息
-
通过web管理集群
-
通过cephadm模块 管理ceph ，cephadm shell 进入一个shell管理ceph集群(不推荐使用)
-
dashboard默认是主备模式进行部署，监听在8443端口上
4、MDS(可选组件)
-
元数据服务器，不存储数据，存储文件的元数据
-
使用cephfs的时候，需要安装mds
- 元数据和数据分离，客户端先通过这个MDS找到文件的地址，然后直接去找OSD读写数据
5、RGW(rados gateway)
-
提供对象存储接口，实现对象存储的
-
这是一个 HTTP 网关，它提供了与 Amazon S3 或 OpenStack Swift 兼容的 RESTful API
-
它将 HTTP 请求（如上传文件）转换为对底层 RADOS 集群（OSD）的操作。当你使用 AWS SDK 调用 S3 接口上传文件到 Ceph 时，实际上就是 RGW 在处理这个请求
-
使得 Ceph 可以作为对象存储被 Web 应用、备份软件等直接使用
7、crush
-
数据分布和复制算法
-
这不是一个单独的进程，而是一种算法
-
职责：它决定了数据该放在哪里。当你有数据要存储时，不需要一个中心化的索引表来查询数据位置，CRUSH 算法通过计算（基于设备权重、故障域等规则）就能直接计算出数据应该写在哪个 OSD 上，以及从哪个 OSD 读数据
-
这种算法避免了传统存储系统中的元数据查询瓶颈，实现了真正的去中心化和高扩展性
8、pools(存储池)
-
逻辑存储池，用于数据组织
-
Pool 是 Ceph 中的一个逻辑分区，用于管理不同类型的存储策略
-
每个 Pool 可以设置自己的 PG 数量（Placement Group）、副本数（如 2 副本或 3 副本）、或者纠删码策略
9、RBD (RADOS Block Device)
-
提供块存储服务
-
它将 Ceph 集群的存储空间划分成一个个的“块设备”（类似于虚拟硬盘）
-
最常见的应用是作为 OpenStack 的后端存储，或者作为 Kubernetes 的持久化存储（PV）。虚拟机（如 KVM）可以直接将 RBD 设备作为系统盘或数据盘挂载，享受快照、克隆、动态扩容等功能
10、CephFS (Ceph File System)
-
提供分布式文件系统
-
它利用了 MDS 管理元数据，将文件数据切碎后通过 CRUSH 算法分布到各个 OSD 上
-
适用于需要共享目录的多个 Linux 客户端场景，例如传统的文件服务器、HPC（高性能计算）场景，或者需要共享存储的容器化应用
ceph访问流程
-
客户端访问集群中的mon,会得到集群的cluster map(mon,mgr,osd,mds等map信息)，这个表包含了存储池的数量等信息
-
客户端会根据哈希算法使用对象id和存储池的名称算出对象所在的PG
-
客户端根据找到的PG,使用池的放置算法(CRUSH算法)得出了PG映射的一组OSD
-
客户端通过PG-map,得出一组OSD中的主OSD节点，第一个OSD是主OSD
-
客户端向主OSD发起IO请求，完成对象的读写，操作(客户端直接与OSD进行通信)
-
如果是通过文件系统访问，客户端会先经过 MDS 查找文件的元数据。
-
管理员通过 Dashboard 监控整个流程的健康状态。