【glusterfs】EC落盘

 

 

1. 客户端入口。FUSE 写请求进入 fuse_write() (line 3128)，恢复后在 fuse_write_resume() (line 3096) 调下层 writev。如果你走的是 gfapi，这一层可以跳过，后面一样。

2. EC 接管写。EC 的 fops 注册在 ec.c (line 1594)，写入口是 ec_gf_writev -> ec_writev() (line 1435)，真正实现从 ec-inode-write.c (line 2305) 开始。

3. 先做条带对齐。EC 初始化参数里：
   fragments = nodes - redundancy，fragment_size = 512，stripe_size = fragment_size * fragments，代码在 ec.c (line 52)、ec.c (line 71)、ec-method.h (line 29)。
   对用户写入，EC 先在 ec_writev_prepare_buffers() (line 1839) 里把 offset 向下按 stripe 对齐、size 向上补齐；对齐辅助函数在 ec-helpers.h (line 101) 和 ec-helpers.h (line 137)。

4. 非整条带写是 RMW。head/tail 不齐时，EC 会在 ec_writev_start() (line 2007) 里先补读旧条带头尾，再合并新数据：
   头部补读见 ec_readv(..., ec_writev_merge_head) (line 2051)，尾部补读见 ec_readv(..., ec_writev_merge_tail) (line 2077)。
   所以 EC 的部分覆盖写，本质是客户端做一次 read-modify-write。

5. 编码发生在客户端。数据准备好后，在 ec_writev_encode() (line 2140) 调 ec_method_encode() (line 394) 生成每个 brick 要写的 fragment。

6. 每个 brick 落自己那一片。下发在 ec_wind_writev() (line 2121)：
   它把总编码缓冲区按 idx * size 切开，传给每个子卷；brick 侧写偏移是 fop->offset / ec->fragments，见 ec-inode-write.c (line 2133)。
   也就是说，逻辑文件的一条 stripe 会变成 n 片，分别写到 n 个 brick 上的同名文件里。

7. RPC 传输的是“fragment + 写元信息”。客户端 RPC 头定义在 glusterfs4-xdr.x (line 389)；客户端封包在 client_pre_writev_v2() (line 434) 和 client4_0_writev() (line 3805)；服务端解包在 server4_0_writev() (line 4040)，恢复后下发给 brick graph 的 server4_writev_resume() (line 3127)。

8. 真正写盘在 posix。服务端最终到 posix_writev() (line 1987)，里面调用 __posix_writev() (line 1880)，常规路径最终是 __posix_pwritev() -> sys_pwrite (line 1856)。