项目上,要存储约900T的数据,提供给三方来对接上传,周期内定时删除,主要是视频类文件,文件多,体积小。
之前考虑过各类软件,现场机房其实有概率意外停电,又是私网,没法远程。
各种分布式存储软件也有单机单盘,单机多盘,多机单盘,多机多盘等各种场景的应用,简单的minio、seaweed ,体量大的Ceph、hdfs等各有优缺点
现场硬件环境是华为的虚拟化(FusionCompute)一套,加上配套的存储OceanStor 5510,该存储归虚拟化管理后,没法再提供丰富的存储协议了,像FTP,HTTP,S3了,如果能直接对接存储反而简单了
基于现场环境,要考虑简洁,易维护,现场的人员能协助做简单的运维,常规的分布式存储多少还是要人工干预的,而且一般都是两副本,要是两副本900T变成1.8PB这个很不划算了。
所以打算利用现有虚拟化,从虚拟化中分出一台虚拟机,然后再提供存储空间,原计划一次性提供900T空间的单盘,后来华为现场的交付反馈,单盘超过50T后,就失去了一些虚拟化的高级功能,如克隆、热迁移、快照等。
最终的是分配一个虚拟机,然后通过多块盘的形式提供900T,每个盘50T,一共18个盘,系统磁盘信息如下:

然后按照pv vg lv的顺序执行下面命令
pv创建
pvcreate /dev/vd{b..s}
pvs #查看结果
vg创建
vgcreate vg_ftp /dev/vd{b..s}
vgs
lvm创建
lvcreate -L 容量大小 -n 逻辑卷名 卷组名 lvcreate -l 100%FREE -n lv_ftp vg_ftp lvs #查看结果
最后格式化分区的的时候,因为centos 7版本低,内置的ext4版本低,inode数量会少一些
mkfs.ext4 -b 16384 -O huge_file /dev/vg_ftp/lv_ftp -b 16384:16K 块(解决容量超限问题,老版本必用) -O huge_file:支持超大文件
分区参考网上文章,大部分建议是xfs,优势也明显,但是实际项目上,遇到意外断电情况,不如ext4稳健
期间也升级过一些依赖也没更新成功文件系统版本,以上格式化后inode 数量为4262920960 42亿也够用了
后面就是安装vsftpd等等
