2.3 模型规模与性能的权衡：参数、上下文、算力全攻略

模型规模与性能的权衡：参数、上下文、算力全攻略

7B、70B、上下文 8K/128K，如何选对模型规模？本节基于《AI工程》第2章「Modeling」— Model Size：参数、上下文长度、计算量与性能的权衡。

一、规模三要素

Chip Huyen 在《AI工程》第2章将**模型规模（Model Size）**列为理解基础模型的关键维度。模型规模的三个核心维度：参数量、上下文长度、计算量。三者相互制约，需按业务场景权衡。书中指出，规模直接影响能力、成本与部署可行性。

二、参数量

2.1 参数量与能力

《AI工程》描述的能力跃迁规律：小模型可完成任务但泛化弱；中等模型涌现能力初现；大模型具备推理、指令遵循、少样本学习；超大模型可处理复杂推理与多步规划。

2.2 参数量与显存

# 估算推理显存（FP16，近似，对应书中推理优化相关）defestimate_vram_gb(num_params_b:float,precision:str="fp16")->float:"""num_params_b: 参数规模，单位十亿"""bytes_per_param=2ifprecision=="fp16"else4model_size=num_params_b*1e9*bytes_per_param/(1024**3)kv_cache=num_params_b*0.5# 粗略：KV 缓存约 0.5x 参数量returnmodel_size+kv_cacheprint(f"7B FP16: ~{estimate_vram_gb(7):.1f}GB")print(f"70B FP16: ~{estimate_vram_gb(70):.1f}GB")

三、上下文长度

3.1 常见配置

《AI工程》多处提及上下文窗口对应用设计的约束。上下文越长，可处理的输入越多，但成本与延迟也越高。

3.2 上下文与成本