当前位置：首页 > news >正文

大模型学习指南：从底层概念到实战应用，小白也能轻松入门（建议收藏）

news 2026/5/6 6:49:17

本文系统梳理了大模型的技术栈分层，从Agent应用层到硬件层，帮助读者建立清晰的技术认知框架。文章详细解析了大模型框架的演变逻辑、训练范式的演变逻辑、推理技术的关系网以及Agent框架的技术栈等内容，并探讨了多模态的统一路径、Benchmark的取舍逻辑等关键问题。通过本文的学习，即使是小白也能对大模型有一个全面而深入的理解。

概念不清，地动山摇，要想搞清楚一件事，一定要从底层概念开始用劲。

温馨提示：文章很长，技术概念较多，建议先收藏，不迷路。

01 大模型总体技术栈分层

大模型技术可以分为以下层次，从顶到底：

┌─────────────────────────────────────────────────┐ │ Agent 应用层 │ │ Agent框架 / Skills / Memory / Multi-Agent │ ├─────────────────────────────────────────────────┤ │ 模型服务层 │ │ 推理(Inference) / API / TPS / 端侧/云端 │ ├─────────────────────────────────────────────────┤ │ 后训练层 (Post-train) │ │ SFT → RLHF → Reasoning RL → Agent RL │ ├─────────────────────────────────────────────────┤ │ 预训练层 (Pretrain) │ │ 自回归语言建模 / next token prediction │ ├─────────────────────────────────────────────────┤ │ 模型架构层 │ │ Transformer → Dense → MoE → MLA/Hybrid Retention│ ├─────────────────────────────────────────────────┤ │ 基础设施层 (Infra) │ │ 集群 / 通信算子 / 监控 / RL Infra │ ├─────────────────────────────────────────────────┤ │ 硬件层 │ │ 训练卡 / 推理卡 / 端侧芯片 │ └─────────────────────────────────────────────────┘

02 大模型框架的演变逻辑

演变路线图：

Transformer (2017) │ ├──→ Dense模型 (LLaMA, 2023) │ │ │ │ 问题：参数全激活，又贵又慢 │ ▼ │ GQA (LLaMA_2, 2023) │ │ 多个Query head共享KV，减少KV Cache │ │ │ │ 问题：仍是Dense，scaling成本高 │ ▼ │ MoE (DeepSeek V2/V3, 2024) │ │ 稀疏激活：每次只用部分Expert │ │ + Router负责调度 │ │ + Expert负载均衡防"专家死亡" │ │ │ │ 问题：MLA设计针对特定推理卡，不支持MTP加速 │ ▼ │ MLA (DeepSeek V2, 2024) │ │ 低秩压缩KV Cache │ │ 访存/计算完美平衡（在Chat时代） │ │ │ │ 问题：已达Compute Bound/Memory Bound临界点 │ │ 上MTP后又被卡回Compute Bound │ │ 后训练周期拉长，架构假设易失效 │ ▼ │ MLA + MTP = ❌ 不兼容 │ └──→ Hybrid Retention (MemoVR, 2025) │ │ Full Attention层 + Sliding Window层交替堆叠 │ 稀疏比 5:1 → 7:1（更大模型可更稀疏） │ ├──→ + MTP = ✅ 兼容 │ │ 利用计算剩余的算力 │ │ 预训练提升基座能力 │ │ 推理时投机解码加速 │ └──→ Agent时代最优解 │ 长上下文效率高（KV Cache小） │ 推理速度快（60-150 TPS） │ 架构简洁，留有调整余地

架构选择的核心矛盾：

判断与洞察：

后训练周期从1个月拉长到半年到一年，预训练阶段做的假设（用什么卡、什么场景、多长上下文）全部可能失效。因此需要更简洁的架构，而非更精细的架构。

03 训练范式的演变逻辑

三阶段演变：

阶段1：Chat时代 (2022-2024) ═══════════════════════════ 预训练(Pretrain) ──→ SFT ──→ 轻量RLHF │ │ │ 大规模语料 人工标注 人类偏好 (互联网数据) (指令-回答对) (哪个更好) │ 核心：学习语言知识和世界知识 算力比：预训练 >> 后训练 (33:5) 代表：ChatGPT, LLaMA 阶段2：Reasoning时代 (2024-2025) ═══════════════════════════════ 预训练(Pretrain) ──→ SFT ──→ Reasoning RL │ │ │ 大规模语料 人工标注 Code/Math验证 + Code数据 │ (有标准答案) │ │ │ 核心：模型学会"思考" │ 模型长链推理 算力比：预训练 ≈ 后训练 │ Chain-of-Thought 代表：DeepSeek R1, o1 │ │ Reward来自验证器(自动) 而非人类标注 阶段3：Agent时代 (2025-2026) ═══════════════════════════ 预训练(Pretrain) ──→ SFT ──→ Agent RL │ │ │ 大规模语料 Skills数据 环境交互 + Code数据 (人机共创) (多轮长程) │ │ │ 核心：模型学会"做事" │ 模型与Agent框架耦合 算力比：预训练 = 后训练 │ Trajectory级训练 代表：Claude Opus 4.6 │ │ Reward来自任务完成率 RL Infra完全不同于Reasoning

关键转变：后训练重心的迁移

Chat时代： 预训练 ████████████████████████████ 后训练 ████ 33份算力 5份算力 Reasoning时代：预训练 ████████████ 后训练 ████████████ 15份算力 15份算力 Agent时代： 预训练 ████ 后训练 ████████████████████████████ 1份算力 1份算力（但研究占3份以上） 研究 ████████████████████████████████████████████████████ 3+份算力

各阶段的数据逻辑：

Code的特殊地位：

在三个阶段都扮演关键角色——预训练中提供长上下文依赖数据、Reasoning中提供可验证reward、Agent中提供天然的长程复杂任务环境。

04 推理技术的关系网

推理流程：

输入文本 │ ▼ ┌─────────┐ │ Prefill │ ← 计算密集（并行处理所有输入token） │ (读题) │ 生成KV Cache └────┬────┘ │ ▼ ┌─────────┐ │ Decode │ ← 访存密集（逐个生成输出token） │ (写答案) │ 每步读取KV Cache └────┬────┘ │ ├──→ 普通Decode：一个一个token生成 │ └──→ MTP加速Decode： │ ▼ ┌──────────┐ │ MTP Head │ ← 小模型/额外层，快速猜多个token │ (小助手) │ └────┬─────┘ │ ▼ ┌──────────┐ │ Verify │ ← 主模型并行验证 │ (检查) │ 命中→采纳，未命中→重新生成 └──────────┘ │ ▼ 速度提升，成本下降

MTP的双重价值：

预训练阶段： 推理阶段： MTP MTP │ │ ▼ ▼ 提升基座能力 投机解码加速 (预测未来多个token (猜对了直接用) 的训练信号更丰富) │ │ │ ▼ ▼ 更好的模型效果 更快的推理速度 + 更低的成本

为什么MLA不能用MTP？

MLA的计算/访存平衡： 访存 ████████████████████████████████ ← 已到极限 计算 ████████████████████████████████ ← 已到极限 ↑ 两者完美平衡 加上MTP后： 计算 ████████████████████████████████░░░░ ← 又被卡满 访存 ████████████████████████████████ ↑ 又变成Compute Bound，MTP白加了 Hybrid Retention + MTP： 计算 ████████████████████░░░░░░░░░░░░░░ ← 有剩余 访存 ████████████████████████████████ ↑ MTP刚好填补计算剩余

05 Agent框架的技术栈

Agent框架的组成：

┌──────────────────────────────────────────────┐ │ 用户交互层 │ │ (UI/消息通道/定时任务/心跳任务) │ ├──────────────────────────────────────────────┤ │ Agent框架层 │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Memory │ │ Skills │ │ 多模型 │ │ │ │ 记忆系统 │ │ 技能包 │ │ 调度 │ │ │ └──────────┘ └──────────┘ └──────────┘ │ │ ┌──────────┐ ┌──────────┐ ┌──────────┐ │ │ │ Context │ │ 评估 │ │ 工具 │ │ │ │ 编排 │ │ 体系 │ │ 调用 │ │ │ └──────────┘ └──────────┘ └──────────┘ │ ├──────────────────────────────────────────────┤ │ 模型层 │ │ 语言模型 + 多模态模型 + TTS │ │ (Pro/Omni/TTS 协同工作) │ ├──────────────────────────────────────────────┤ │ 环境层 │ │ 代码执行 / 文件系统 / API调用 / 搜索 │ └──────────────────────────────────────────────┘

Skills的来源与价值

互联网公开知识 vs 企业/个人私有知识 (预训练数据) (Skills) │ │ ▼ ▼ 模型已学会 模型学不到 │ │ ▼ ▼ 通用能力 场景化能力 (能聊天、能写代码) (能按你的规范写代码) │ │ └───────────┬──────────────────────┘ │ ▼ Skills = 预训练的补充 人与Agent共创的产物 群体智能的具象化

OpenClaw vs Claude Code：

核心洞察：

先用Opus 4.6在OpenClaw上把框架改好（自定义Memory系统、Multi-Agent架构），然后切换到更便宜的模型，效果依然很好。框架弥补了模型短板。

06 多模态的统一路径

当前状态：两条路线并行

路线A：离散化统一（小米AI大模型在探索的方向） ═══════════════════════════════ 文本 ──→ Token ID（离散） ──┐ │ 音频 ──→ RVQ编码 ──→ Token ID（离散）──→ 同一套LLM处理 │ 图像 ──→ RVQ编码 ──→ Token ID（离散）──┘ (正在进行中) (尚未走通) 优势：统一架构、统一RL Infra、统一训练范式 劣势：离散化有损、研究成本高 路线B：连续表征拼接（主流做法） ═══════════════════════════════ 文本 ──→ Token Embedding ──┐ │ 图像 ──→ VIT编码 ──→ 连续表征 ──→ 拼接后送入LLM │ 音频 ──→ 语音编码器 ──→ 连续表征 ──┘ 优势：成熟、效果好 劣势：各模态编码器独立、架构不够优雅

07 Benchmark的取舍逻辑

❌被放弃的Benchmark： SWE-Bench ──→ 只测修bug，不代表真正软件开发能力 BrowseComp ──→ 信息检索太specific，换个方式就不行 TerminalBench ──→ 终端操作能力，实际场景不常用 判断： "在这上面训练模型只能在这种数据集上测" "换的方式哪怕也是做信息检索，最终能力还是放不出去" ✅被采用的评估方式： 体感评估 ──→ 接到OpenClaw/Claude Code里实际用 │ ├──→ Agent框架适配度（是否理解框架） ├──→ 任务完成率（端到端成功率） ├──→ 长程任务表现（复杂软件开发） └──→ 多框架稳定性（在不同scaffold上都好用） "当你路径走对了，靠体感就能立马测出非常大的质的差异"

08 关键技术名词的关联图

Transformer │ ┌──────────────┼──────────────┐ │ │ │ Dense MoE Attention变体 (LLaMA) (DeepSeek V3) │ │ │ ┌────┴────┐ │ │ MLA Hybrid │ │ (DeepSeek) Retention │ │ │ (MemoVR) │ │ │ │ │ │ │ ┌──┴──┐ │ │ │ Full Sliding │ │ │ Attn Window │ │ │ │ │ 不支持MTP 支持MTP │ │ │ │ └──────┬───────┘ │ │ │ │ │ GQA │ │ (减少KV Cache) │ │ │ │ │ └────────┬────────┘ │ │ │ KV Cache │ (显存瓶颈) │ │ │ ┌─────────┴─────────┐ │ │ │ │ Prefill Decode │ (读题) (写答案) │ │ │ │ │ ┌──────┴──────┐ │ │ 普通Decode MTP │ │ (逐个生成) (投机解码)│ │ │ │ │ Speculative │ │ Decoding ◄───┘ │ └──────────→ KV Cache管理 (长上下文核心)

09 训练与推理的Infra差异

预训练Infra： ═══════════ 需求：稳定性、吞吐量 │ ├── Loss Spike必须解决 ├── Expert负载均衡 ├── 通信算子正确性 └── 数值稳定性（Clip/Norm） │ 特点：追求精确，不容错 Reasoning RL Infra： ═══════════════════ 需求：推理引擎 + 验证器 │ ├── 模型推理引擎（长思考） ├── Code执行验证器 ├── Math验证器 └── Reward计算 │ 特点：以推理rollout为中心 Agent RL Infra： ═══════════════ 需求：推理引擎 + Agent框架耦合 │ ├── 模型推理引擎 ├── Agent环境交互（黑盒/白盒） ├── 异构资源调度（GPU+CPU+存储） ├── 容错（任务可能中途断开） ├── 训练/推理一致性容忍 └── 框架变化的兼容性 │ 特点：以Agent为核心，模糊地带多 灵活性和敏捷性要求极高

10 一句话总结各技术的"为什么存在"

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】