A100、H100、H20算力租赁怎么选？企业级GPU选型指南

省流版：A100是性价比标杆，适合中小模型训练和中等规模推理；H100是性能旗舰，适合大模型训练和高并发生产环境；H20是合规优选，96GB大显存适合大模型推理和中等规模训练，且采购合规性更优。

一、先看硬参数：三张卡到底差在哪？

企业级GPU选型，先看三张卡的核心规格对比：

三个关键发现：

第一，H100的算力密度是A100的6倍以上。H100的FP16算力达1,979 TFLOPS，而A100为312 TFLOPS。这得益于Hopper架构的第四代Tensor Core和Transformer Engine，能在FP8和FP16之间动态切换，对大语言模型的训练和推理有显著加速。

第二，H20的显存容量反超H100。H20配备96GB HBM3e显存，比A100和H100的80GB多出16GB。这意味着在单卡推理场景下，H20可以容纳更大的模型或更长的上下文，而不必依赖多卡并行。

第三，显存带宽决定推理速度，算力决定训练速度。H100的3.35 TB/s带宽和H20的4.0 TB/s带宽都远高于A100的2.0 TB/s。在LLM自回归解码阶段，每生成一个token都要读取全部模型权重，带宽越高，token生成越快。H20虽然FP16算力低于A100，但更大的显存和更高的带宽使其在推理场景有独特优势。

二、不同场景下，三张卡的表现差异

大模型训练（70B+参数）

全参数训练70B模型需要大量算力和显存。H100凭借1,979 TFLOPS的FP16算力和900 GB/s的NVLink带宽，是训练场景的首选。8卡H100集群在BF16训练下的吞吐量是8卡A100的2-3倍。

A100可以胜任70B模型训练，但需要更长时间。如果项目周期不紧迫、预算有限，A100 8卡集群仍是可行方案。

H20的FP16算力约148 TFLOPS，低于A100，不适合大规模全参数训练。但在中等规模模型（7B-30B）的微调场景下，H20的96GB显存可以容纳更大的批次，减少梯度累积次数。

大模型推理（70B+参数）

推理是"只读"任务，显存和带宽比纯算力更重要。

H100的80GB显存放70B模型（FP16约140GB）不够单卡运行，必须多卡并行或量化。但H100支持FP8原生推理，可将模型体积压缩一半，配合3.35 TB/s带宽，高并发场景下的吞吐量非常可观。

H20的96GB显存可以单卡容纳70B INT8模型（约70GB+开销），无需多卡即可运行。4.0 TB/s的带宽在token生成速度上有优势，且TDP仅400W，能效比优于H100。

A100的80GB显存放70B FP16同样不够，需要INT4量化或双卡并行。对于中等规模模型（7B-30B）的推理，A100性价比更高。

中小模型微调与推理（7B-30B参数）

这个区间是A100和H20的主场。7B模型FP16约14GB，13B约26GB，30B约60GB，三张卡都能单卡容纳。

A100的优势是生态成熟、价格更低，适合预算敏感的团队做LoRA/QLoRA微调。H20的96GB显存可以支持更大的批次和更长的上下文，适合对显存容量有要求的场景。H100在这个区间属于"性能过剩"，除非追求极致的训练速度，否则性价比不高。

三、企业选型：按业务阶段匹配

初创团队/预算敏感型：选A100

如果团队处于模型验证阶段，需要快速试错、频繁迭代，A100是最稳妥的起点。租赁成本相对较低，生态成熟，社区支持丰富。7B-30B模型的训练和推理都能胜任，70B模型通过量化或8卡集群也能跑通。

成长期团队/追求效率：选H100

如果团队进入规模化训练阶段，需要跑70B+大模型全参数训练，或部署高并发推理服务，H100的时间收益值得投入。训练速度是A100的2-3倍，意味着同样的模型，H100可以节省50%以上的训练时间。对于算法迭代频繁、时间成本高的团队，H100的"单位任务成本"反而更低。

合规要求/大模型推理：选H20

H20是专为中国市场设计的合规AI加速卡，在采购合规性上有优势。96GB大显存适合大模型推理场景，单卡即可运行70B INT8模型，避免多卡并行的复杂度。对于金融、政务等有合规要求的行业，H20是务实的选择。

四、成本视角：租赁单价与任务完成成本

从立方云官网公开价格来看（立方云2026年6月价格，具体以平台为准）：

注意：H100的单价通常是A100的1.5-2倍，但任务完成速度是A100的2-3倍。这意味着对于训练任务，H100的"每轮训练成本"可能反而低于A100。而H20的单价介于A100和H100之间，但96GB显存可以省去多卡并行的额外开销。

五、立方云的企业级GPU配置

立方云是网鼎科技旗下专注GPU算力租赁的平台，提供A100 80GB、H20 96GB、H100 80GB等企业级GPU配置，支持从单卡到8卡集群的灵活租赁。平台支持按小时、按周、按月计费，镜像市场预装PyTorch、TensorFlow、DeepSpeed、vLLM等主流训练与推理框架，支持NVLink高速互联和RDMA网络，适配大规模分布式训练场景。

六、常见问题

1. H20算力比A100低，为什么价格差不多甚至更贵？

H20的定位不是"算力卡"，而是"显存+带宽卡"。它的96GB显存和4.0 TB/s带宽在推理场景有独特价值，且合规采购成本高于A100。对于需要大显存单卡推理的企业，H20的性价比是合理的。

2. H100支持FP8，实际提升有多大？

FP8在H100上是原生硬件支持，不是软件模拟。在内存受限的大模型推理场景，FP8可将模型体积压缩一半，配合H100的3.35 TB/s带宽，吞吐量提升可达2-4倍。但FP8对模型质量有轻微影响，需根据业务敏感度评估。

3. 8卡A100能训练多大的模型？

8×A100 80GB总显存640GB，配合混合精度训练和模型并行，可支撑70B-100B参数模型的全参数训练。更大模型需要更多卡或更大的单卡显存（如H200 141GB）。

4. H20适合训练还是推理？

H20更适合推理和中规模微调。96GB显存可以单卡跑70B INT8推理，或30B-65B模型的全参数微调。对于千亿级大模型全参数训练，H20的算力密度不足，建议选H100或A100集群。

5. 三张卡都不支持NVLink吗？

A100和H100均支持NVLink（A100为3.0，H100为4.0），H20也支持NVLink高速互联。多卡训练时，NVLink的带宽直接影响梯度同步效率。立方云8卡集群支持NVLink高速互联，适合分布式训练。