osd memory target

王先生，cephadm + Docker场景下，“限制 OSD 内存”有两类手段，分别对应Ceph 内部的软目标与Docker/cgroup 的硬上限。下面按“怎么做 + 依据”重新整理一遍。

A. Ceph 内部软控制：osd_memory_target（以及osd_memory_target_autotune）

怎么做

• 设置osd_memory_target，或开启osd_memory_target_autotune让 cephadm 自动给每个 OSD 计算/调整 target。

它限制的是什么

• 它是 OSD 的内存使用目标值（soft target）：OSD 会尽量把可调控的缓存/内存结构收敛到这个目标附近。

关键点：它不是硬上限

• Ceph 官方文档明确写了：OSD 仍可能在某些时候超过它的 memory target，原因之一是即便 OSD unmap 了内存，内核也不保证立刻回收。(Ceph 文档)

你看到的ceph orch ps“MEM LIMIT” 是什么

• Ceph 官方 cephadm 的 OSD Service 文档明确说：ceph orch ps里MEM LIMIT会展示“限制值/目标值”，并且当osd_memory_target_autotune开启时，这个值会随自动调参而变化。(Ceph 文档)

结论：ceph orch ps的 MEM LIMIT 更接近“Ceph 侧的 memory target（软目标）”，而不是 Docker 的硬上限。

B. Docker/cgroup 硬上限：用 Docker memory limit 真正封顶（hard cap）✅

怎么做

• 给 OSD 容器设置 Docker 的内存限制（例如--memory，可选--memory-reservation等）。
• 在 cephadm 里通过ServiceSpec 的extra_container_args把这些 Docker 参数透传给容器运行时（docker）。

示例（概念性）

service_type:osdservice_id:defaultextra_container_args:-"--memory=8g"# 可选：--memory-reservation=6g

依据

• Docker 官方文档明确：Docker 可以对容器施加hard/soft memory limits（例如--memory属于硬限制一类）。(Docker Documentation)
• Ceph 官方 cephadm 的 Service Management 文档列出了ServiceSpec(..., extra_container_args=None, ...)，说明 cephadm 支持给容器运行时追加参数。(Ceph 文档)

结论：要“绝对不超过某个上限”，靠的是 Docker/cgroup 的 memory limit；osd_memory_target只能做软约束。

实务建议：两者怎么搭配才稳

1. 用osd_memory_target做软目标（让 OSD 主动收缩），
2. 用 Docker--memory做硬天花板（防止极端情况下顶爆宿主机）。
   并且硬天花板要高于软目标，因为 Ceph 官方已经明确：OSD 可能超过 memory target。(Ceph 文档)

验证方式怎么分清“哪一层在生效”

• ceph orch ps的MEM LIMIT：主要用于观察Ceph 侧 target/自动调参结果。(Ceph 文档)
• Docker 硬上限是否生效：用docker inspect看容器的内存限制字段，或查看宿主机 cgroup（更直接，口径也更准）。Docker 侧限制的语义由 Docker 文档定义。(Docker Documentation)

如果你把你当前ceph orch ps的那一行（含 MEM USED/MEM LIMIT）和你打算设的每 OSD 上限发我，我可以顺手给你一个更稳的数值组合（target 与 hard limit 的比例）。