LLM爆了！从Token到下个词，深度揭秘它如何“说话”！

本文深入浅出地解析了LLM（大型语言模型）的工作原理，从文本分词（Tokenization）、数字编码（Embedding）、位置编码（Positional Encoding）到核心机制（Attention、Multi-head Attention、Feed-forward Network等），揭示了LLM如何通过不断预测下一个词来生成文本。文章强调，LLM本质上是一个大规模的文本预测机器，其差异主要源于训练数据和参数设置。

LLM · Transformer · 原创解读

LLM 到底是怎么工作的？
从 Token 到下一词预测

基于 0xkato 的文章 How LLMs Actually Work 思路，整理一版中文入门解读：不堆公式，先把核心机械结构讲清楚。

本文是对原文 How LLMs Actually Work 的中文原创解读与摘要，不是全文翻译；未搬运原文及图片，仅保留核心脉络与必要概念。

原文链接: https://www.0xkato.xyz/how-llms-actually-work/

很多人把 LLM 理解成一个神秘的聊天机器人，但从结构上看，它更像一台非常大的「文本预测机器」。输入一段文字，模型把它拆成 token，变成向量，让不同 token 互相交换信息，最后预测下一个最可能出现的 token。不断重复这个过程，就生成了完整回答。

1. Tokenization：文字先变成数字

LLM 并不直接阅读中文、英文或标点。模型真正接收的是一串整数，这个转换过程叫tokenization。一个 tokenizer 会把文本切成 token，再把每个 token 映射到词表里的 ID。

可以把 token ID 理解成「词表编号」。模型处理的是编号，不是人眼看到的文字本身。

token 通常不是完整单词，也不是单个字符，而是介于两者之间的 subword。这样既能控制词表大小，又能处理没见过的新词。

2. Embedding：数字获得语义位置

一个 token ID 本身没有意义，它只是一个行号。模型会用这个 ID 去查一张巨大的表，取出一串数字向量，这张表就是embedding matrix。

训练之后，语义接近的 token 往往会在向量空间里靠得更近。这些关系不是人工写死的，而是模型为了更好预测文本而学出来的。

3. Positional Encoding：模型需要知道顺序

只有 embedding 还不够，因为同一个词出现在不同位置，含义可能不同。模型必须知道 token 的顺序。

现代 LLM 常见的是RoPE，也就是 Rotary Position Embeddings。它不是简单添加位置向量，而是在 attention 中旋转 Query 和 Key，让相对距离进入计算。

4. Attention：让 token 互相看见

Attention 是 Transformer 的核心。每个 token 会生成三种向量：Query、Key、Value。

**Query：**我在找什么信息？
**Key：**我能提供什么线索？
**Value：**如果你关注我，我真正传过去的信息是什么？

模型会用 Query 和 Key 做相似度匹配，再通过 softmax 变成权重，最后对 Value 做加权平均。GPT 类模型还会使用causal masking，预测当前位置时不能偷看未来 token。

5. Multi-head Attention：同时观察多种关系

一个 attention head 只能从一个角度看上下文，而语言里同时存在很多关系：主谓一致、代词指代、局部短语、长距离引用、重复模式等。

Multi-head attention 会并行运行多个 attention head。每个 head 都有自己的投影矩阵，可以学习不同的信息通道。推理时，模型还会用KV cache保存旧 token 的 Key 和 Value，降低重复计算。

6. Feed-forward Network：模型的很多知识存在这里

Attention 负责让 token 之间交换信息；而每一层里的feed-forward network则负责对每个 token 自己做进一步加工。

它通常会先把向量扩展到更高维，经过非线性函数，再压回原来的大小。很多模型参数都集中在 FFN 里，模型的事实性知识、语义结构、概念模式，也有相当一部分分布在这些权重中。

7. Residual Stream 与 LayerNorm：让深层网络能训练

Transformer 不是每一层都把前一层结果完全覆盖掉，而是把新计算结果加回原向量，这叫residual connection。多层累加形成的通道，常被称为 residual stream。

如果没有这个快捷通道，深层网络很难训练。与此同时，LayerNorm 或 RMSNorm 会把向量数值控制在稳定范围里。

8. Next-token Prediction：一切最终回到下一个 token

经过所有 Transformer 层之后，模型会拿最后一个位置的向量，转换成词表中每个 token 的分数，这些原始分数叫logits。softmax 会把 logits 变成概率分布。

模型选出下一个 token 后，把它接到输入后面，再重复整个过程。长回答就是这样一个 token 一个 token 生成出来的。

9. 架构相似，差异主要来自训练

现代 LLM 大多属于 Transformer 家族。不同模型之间真正拉开差距的，往往是训练数据、参数规模、层数、head 数、是否使用 MoE，以及后训练阶段的 instruction tuning、偏好优化和安全对齐。

最后可以这样理解

1.LLM 先把文字切成 token ID。

2.Token ID 通过 embedding 变成向量。

3.位置编码告诉模型顺序。

4.Attention 让 token 从上下文里取信息。

5.FFN 存储和加工大量语义结构。

6.最终目标仍然是预测下一个 token。

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

最后

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型

• 带你了解全球大模型

• 使用国产大模型服务

• 搭建 OpenAI 代理

• 热身：基于阿里云 PAI 部署 Stable Diffusion

• 在本地计算机运行大模型

• 大模型的私有化部署

• 基于 vLLM 部署大模型

• 案例：如何优雅地在阿里云私有部署开源大模型

• 部署一套开源 LLM 项目

• 内容安全

• 互联网信息服务算法备案

• …

  👇👇扫码免费领取全部内容👇👇

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】