H200 企业级选型指南：显存测算、多卡互联、整机瓶颈与 PoC 验证

H200 的选型价值主要来自 141GB HBM3e、4.8TB/s 显存带宽和平台互联能力，但这些规格只有在显存、带宽或多卡通信成为真实瓶颈时才有意义。本文给出显存估算模型、70B BF16 边界、多卡误区、系统层检查项和 PoC 验收方法。

先固定硬件形态与规格口径

SXM 与 NVL 的单卡显存和带宽相同，但整机平台、最大可配置 TDP、互联方式和机房条件不同，BOM 中不能只写“H200”而不写形态。

推理显存估算：权重只是第一项

M_total ≈ M_weights + M_KV + M_runtime + M_reserve
总显存至少包含模型权重、KV Cache、框架运行时/工作区和安全余量。

M_weights ≈ N_params × bytes_per_param
BF16/FP16 通常按约 2 bytes/parameter 做理论估算；量化模型还要考虑 scale、zero-point、打包和框架开销。

M_KV ≈ 2 × L × H_kv × D_head × T_active × B × bytes_per_element
2 对应 K 与 V；L 为层数，H_kv 为 KV 头数，D_head 为每头维度，T_active 为活跃 Token 数，B 为同时活跃序列数。GQA/MQA、张量并行、Paged KV Cache、块分配与框架实现会改变实际占用。

70B BF16 权重理论体量约 140GB，而单张 H200 的 141GB 还要容纳 KV Cache、工作区和余量；因此不能从参数量直接推出“单卡可稳定上线”。

多卡边界：总显存不是透明统一显存

2 × 141GB 表示 282GB 物理显存合计。NVLink 可以提高卡间通信效率，但不会自动把两张卡变成一张 282GB GPU。模型仍需由 TensorRT-LLM、vLLM、PyTorch 等软件栈通过张量并行、流水线并行或其他切分机制使用多卡资源。

• 框架支持：确认模型结构、量化方式和推理后端是否支持目标并行策略。
• 拓扑与通信：确认卡间连接、NCCL 路径、NUMA/PCIe 拓扑和跨节点网络。
• 效率损失：把通信、调度、显存碎片和安全余量纳入容量与吞吐测试。

同一张 GPU，服务器为什么会表现不同

选型测试必须统一口径

不同方案只有在同一工作负载下才可比较。至少固定以下条件：

• 模型侧：模型与版本、精度/量化、推理框架、并行策略。
• 负载侧：常用与峰值上下文、输入/输出长度、批量、并发分布。
• 平台侧：服务器型号、GPU 拓扑、CPU/内存、网络、功耗设置和软件版本。
• 指标侧：显存峰值、TTFT、持续生成速度、总吞吐、P95/P99、GPU 利用率、功耗与失败率。

什么时候其实不用 H200

• PoC 或需求定义阶段：模型、流量和上线方式尚未固定，应先得到工作负载画像。
• 中小或量化模型已满足 SLA：不要为未发生的上下文和并发提前购买长期闲置容量。
• RAG / Agent 瓶颈在非生成环节：先优化检索、重排、向量库、工具调用和流程编排。
• 利用率低或平台未就绪：优先比较租用、共享资源池、分阶段采购和基础设施改造成本。

三阶段 PoC 与生产验收

1. 工作负载画像：固定模型、精度、上下文、输入/输出长度和并发，记录显存、延迟、吞吐与失败情况。
2. 试运行与容量校准：接入代表性流量，观察 P95/P99、稳定性、重启恢复、显存碎片、功耗和排队。
3. 生产部署与扩展：补齐监控、告警、配额、模型版本、权限、容灾和扩容机制，并据此确认卡数与安全余量。

常见错误

• 用权重体量代替总显存：忽略 KV Cache、运行时、碎片与预留。
• 用单一 tokens/s 做结论：忽略 TTFT、尾延迟、并发、失败率与功耗。
• 跨模型引用基准：模型、精度、输入输出、批量和框架不同，结果不可直接横比。
• 只比较单卡价格：没有把卡数、整机复杂度、电力散热、软件与三年 TCO 纳入。