当前位置：首页 > news >正文

ceph支持nfs

news 2026/5/23 17:03:32

ceph提供nfs服务

ceph除了可以提供cephfs之外，也是支持nfs的，因为直接对外提供cephfs的话，客户端挂载非常的麻烦，使用nfs的话，就非常的简单

1、提供的nfs是什么

ceph本身不支持传统的nfs挂载，ceph的nfs就是给ceph套一层nfs外壳，让别人访问普通的nas一样，用ceph
实际上提供的后端存储还是cephfs
核心角色
- nfs-ganesha 用户态nfs服务器，是ceph与nfs客户端间的协议转换网关,对外的一个窗口
- fsal_ceph ganesha的文件系统抽象层插件，负责用libcephfs库对接cephfs
- cephfs 分布式文件系统，由mds(元数据服务器)+ osd(数据)提供存储
- nfs客户端通过标准的nfs挂载使用，无需安装ceph组件
ceph提供的nfs架构
- ceph的nfs有一个组件架构nfs-ganesha，cephfs的是由mds组成的
- 客户端通过nfs的方式挂载ceph的话，j相当于nfs-ganesha是一个翻译器，将你的nfs连接请求转换成cephfs，在你看起来挂载的是nfs，但是这个底层的提供的存储还是cephfs，简化了挂载的流程
- 客户端存储请求---> nfs-ganesha---> mds
- 除了存储用cephfs，还可以用rgw,不过这个适配做的不是很好，很多的功能还不能使用

2、前期准备

1、检查模块

[root@ceph01 ~]# ceph mgr module ls | grep nfs"nfs",# 显示了表示开启了nfs的模块

默认是启动的，如果没有启用的话,可以开启

[root@ceph01 ~]# ceph mgr  module enable nfs

2、检查是否有nfs-ganesha集群

# 之前没有创建，所有显示没有
[root@ceph01 ~]# ceph nfs cluster ls
[root@ceph01 ~]#

3、创建nfs服务

[root@ceph01 ~]# ceph nfs cluster create 1 "ceph01"
NFS Cluster Created Successfully# 显示集群id
[root@ceph01 ~]# ceph nfs cluster ls
1# 有一个服务进程
[root@ceph01 ~]# ceph orch ps |grep nfs
nfs.1.0.0.ceph01.keloru  ceph01  *:2049       running (61s)    56s ago  60s    17.7M        -  3.5      e08a45948779  2a68e0ac6fa3

create后面的1指定集群的id,可以改成其他的
ceph01就是在哪些节点上启动进程
nfs服务创建出来了，但是没有配置后端的存储

4、nfs导出

配置后端存储

1、创建cephfs

# 创建一个cephfs
[root@ceph01 ~]# ceph fs volume create cephfs# 这个命令非常的nb,相当于做了好多事情# 创建存储池，运行了mds进程,cephfs的用户，等等
# 简而言之就是cephfs创建完成了

2、nfs导出(共享cephfs)

[root@ceph01 ~]# ceph nfs export create cephfs --cluster-id 1 --pseudo-path /cephfs --fsname cephfs --path=/
{"bind": "/cephfs","fs": "cephfs","path": "/","cluster": "1","mode": "RW"
}

cephfs 就是共享的是cephfs，而不是rgw
从cephfs中创建了一个nfs,cluster-id就是之前创建的nfs指定的id,导出的nfs路径为/cephfs
--pseudo-path 就是nfs客户端看到的共享路径
--path指的就是cephfs的路径，如果写子目录也可以 /mydir
--fsname使用的是哪一个cephfs，刚刚创建的名字就是cephfs

3、客户端挂载nfs

[root@ceph01 ~]# mount -t nfs 192.168.50.30:/cephfs /mnt
# 可以看到使用的时30G，也就是我单节点cephfs的三个osd存储的大小
[root@ceph01 ~]# df -hT /mnt
Filesystem            Type  Size  Used Avail Use% Mounted on
192.168.50.30:/cephfs nfs4   29G     0   29G   0% /mnt

这种挂载的方式比cephfs的挂载方便多了，挂载cephfs的话，还需要我们创建cephfs用户，授权等操作

4、验证后端存储是cephfs

使用cephfs客户端挂载，写入数据，看是不是一样的

# 由于上面的一键创建了cephfs,直接使用上面的cephfs的客户端[root@ceph01 ~]# ceph auth get client.cephfs
[client.cephfs]key = AQASDslpXHpvMxAAcJt9drXBYidXeFWIabO84w==caps mds = "allow *"caps mon = "allow r"caps osd = "allow rw pool=cephfs_metadata,allow rw pool=cephfs_data"
exported keyring for client.cephfs

保存keyring文件

[root@ceph01 ~]# cat ceph.client.cephfs.keyring 
AQASDslpXHpvMxAAcJt9drXBYidXeFWIabO84w==# 挂载到/opt下
[root@ceph01 ~]# mount -t ceph 192.168.50.30:6789:/ /opt -o name=cephfs,secretfile=./ceph.client.cephfs.keyring[root@ceph01 ~]# df -hT /opt
Filesystem           Type  Size  Used Avail Use% Mounted on
192.168.50.30:6789:/ ceph   29G     0   29G   0% /opt