当前位置：首页 > news >正文

收藏这份大模型干货，小白也能轻松入门AI世界！

news 2026/3/26 23:28:59

2026年，关于AI技术，我将持续关注的大概有下面这些：

更智能、更高效、更经济的大模型（类Transformer架构优化、MoE类大模型、超稀疏类大模型、注意力优化等）、大模型的预训练、后训练和微调、推理大模型、原生多/全模态理解大模型、图像生成大模型、视频生成大模型、世界模型、代码大模型、AI Agent（智能体系统）、上下文工程、推理引擎、理解和生成大一统的模型、强化学习、在线学习和持续学习（大模型训练和学习新范式）。

我最关注的大模型有这些家的：

OpenAI的GPT系列、Anthropic的Claude、谷歌的Gemini、xAI的Grok、阿里Qwen、DeepSeek、字节豆包系列、智谱GLM、月之暗面Kimi、MiniMax、百度文心、蚂蚁百灵、讯飞星火、美团龙猫、腾讯混元，以及商汤、阶跃星辰、面壁智能等。

关于AI产品、AI工具和AI应用，我会持续关注的大概有这些：

字节豆包/阿里千问/文心一言等C端综合类AI助手、办公智能体（扣子、Kimi、天工、Minimax Agent、WPS AI等）、知识库工具如ima、图像视频创作工具（Nano Banana、Lovart、字节seed图像和视频生成模型、通义万相等）、AI coding类应用（AI IDE如Google Antigravity 、Qoder、Trae、CodeBuddy，Cli端的Claude Code、Open Code类、Codex）、智能搜索类AI工具（秘塔AI搜索、夸克等）、深度研究类工具（Kimi深度研究、千问深度研究）、垂直领域的AI产品（如蚂蚁阿福这类健康助手，视频创作助手剪映等），AI coding模型如Claude Opus，个人智能体助手如OpenClaw等。

本文以阿里云大模型高级工程师ACP考试认证学习资料为主要参考，汇总并总结了大模型领域的基础必备知识、大模型应用开发核心知识等。

无论你未来是想从事大模型领域的应用研发，还是从事AI大模型产品经理、大模型测评还是大模型技术讲师，都可以作为参考资料来学习。

大模型（LLM）基础知识科普

智能问答作为大模型最经典且广泛的应用之一，是探索大语言模型（LLM）工作机制的最佳范例。

以一个简单的输入"ACP is a very"为例，来具体看看大模型是如何一步步处理这个输入，并最终生成完整句子的。

大模型的文本生成流程可以分为文本分词、Token 向量化、大模型推理、解码与自回归、输出文本五个阶段：

第一阶段：文本分词

计算机无法直接理解人类的文字。因此，第一步需要将我们输入的文本“ACP is a very”转换成计算机能够处理的数字格式。

Token 是分词器（Tokenizer）把文本编码后得到的基本单元，每个 token 对应词表中的一个整数 ID。token 通常是子词片段或字符片段，不一定等于一个完整的"词"，也不一定具有独立语义。

比如英文单词可能被拆成词根和后缀，中文可能按字或常见词组切分，空格和标点也可能被编码进 token。

以"ACP is a very"为例，Tokenizer 会将其编码成若干 token，并为每个 token 分配一个 ID。

第二阶段：Token 向量化

虽然得到了数字 ID 序列，但这些 ID 本身的数值大小并没有实际意义（比如，ID 500 并不意味着它在语义上就比 ID 50 更“重要”或“相关”）。

为了让模型理解 token 的真实含义，我们需要将这些离散的 ID 转换成包含丰富语义信息的数学表示——向量 (Vector)。

这个转换通过一个被称为Embedding 矩阵的巨大表格完成。

简单来说，就是用 token ID 在这个大表格里“查表”，取出对应的那一整行向量。每个 token 的向量都包含了其在多维度语义空间中的坐标。

此外，语言的顺序至关重要（“我帮你”和“你帮我”截然不同）。

但基础的 Transformer 模型本身并不直接处理时序信息。因此，还需要额外给每个 token 向量添加位置信息，让模型能够区分出 “我” 是第一个词，“你” 是第三个词，以此类推。

第三阶段：大模型推理

现在，携带了语义和位置信息的向量序列被送入Transformer模型的解码器层进行计算，这个过程被称为前向计算。

向量序列会逐层穿过数十个甚至上百个结构相似的解码器层，在因果自注意力机制和前馈神经网络的作用下，文本向量中的信息被一次一次压缩和提取。

最终会得到最后一个 token（也就是 “very”）所对应的隐藏状态向量。这个向量可以被认为是模型在阅读了 “ACP is a very” 之后，对接下来可能出现的内容的一个高度浓缩的“思考总结”。

最后，这个“思考总结”向量会通过一个线性投影层，映射到整个词汇表的维度，得到一个庞大的分数向量。

第四阶段：解码与自回归

在得到 logits 之后，大模型还需要经过 softmax 函数计算，将这些 logits 重新映射为一种概率分布P，表示每个 token 被选中的概率。最后，大模型会根据一个解码策略来决定最终输出哪个 token。

解码策略主要分为两类：

近似确定性解码：如贪心解码，每次选概率最高的 token，或 Beam Search 保留多个候选路径。
随机采样解码：如Top-p、Top-k Sampling，从高概率的候选集合中随机抽取。

很多在线服务默认使用随机采样解码，因此即使输入完全相同，也可能出现"回答略有不同"的现象。

通过调整temperature，你可以改变 softmax 输出概率分布的"尖锐程度"。

temperature越低，token 之间的概率差异越大，概率分布越集中于少数的高概率 token，模型输出越确定。

temperature 越高，输出概率分布越平坦，模型的输出多样性越高。配合top_p（控制参与采样的候选集合范围）等参数，可以在模型输出的多样性与稳定性之间做权衡。

例如，下图展示了模型预测出的部分候选 token 及其概率（实际词汇表远比这大得多）：

一旦选定了下一个 token（比如模型选择了 “informative”），这个新生成的 token 就会被追加到原始输入序列的末尾，形成新的输入 “ACP is a very informative”。

然后，模型会基于这个新序列，重复第三和第四阶段，继续预测下一个 token。这个"文字接龙"的过程称为自回归生成。

模型的自回归循环会持续进行，直到满足某个停止条件：

生成了特殊的终止符 (End-of-Sequence, EOS token)。
达到了预设的最大生成长度限制。
生成了用户指定的停用词序列。

第五阶段：输出文本

最后，系统会将整个生成过程中的 token ID 序列转换回人类可读的字符串，并呈现给我们。

我们经常看到的流式输出效果，其实是服务端每生成一个或几个 token，就立刻将其解码并增量地发送到你的界面上。

由于 token 可能是子词片段，所以在流式显示时，有时会看到一个词被分成几部分输出，或者空格的出现时机看起来有些奇怪，这都是正常现象。

影响大模型内容生成的随机性参数

假设在一个对话问答场景中，用户提问为：“在大模型ACP课程中，你可以学习什么？”。

为了模拟大模型生成内容的过程，我们预设了一个候选Token集合，这些Token分别为：“RAG”、“提示词”、“模型”、“写作”、“画画”。大模型会从这5个候选Token中选择一个作为结果输出，如下所示。

用户提问：在大模型ACP课程中，你可以学习什么？

大模型回答：RAG

在这个过程中，有两个重要参数会影响大模型的输出：temperature 和 top_p，它们用来控制大模型生成内容的随机性和多样性。

temperature：调整候选Token集合的概率分布

在大模型生成下一个词之前，它会先为候选Token计算一个初始概率分布。这个分布表示每个候选Token作为next-token的概率。

temperature是一个调节器，它通过改变候选Token的概率分布，影响大模型的内容生成。通过调节这个参数，可以灵活地控制生成文本的多样性和创造性。

为了更直观地理解，下图展示了不同temperature值对候选Token概率分布的影响。

图中的低、中、高温度基于Qwen-Max模型的范围[0, 2)划分。

由上图可知，温度从低到高（0.1 -> 0.7 -> 1.2），概率分布从陡峭趋于平滑，候选Token“RAG”从出现的概率从0.8 -> 0.6 -> 0.3，虽然依然是出现概率最高的，但是已经和其它的候选Token概率接近了，最终输出也会从相对固定到逐渐多样化。

针对不同使用场景，可参考以下建议设置 temperature 参数：

明确答案（如生成代码）：调低温度。
创意多样（如广告文案）：调高温度。
无特殊需求：使用默认温度（通常为中温度范围）。

需要注意的是，当 temperature=0 时，虽然会最大限度降低随机性，但无法保证每次输出完全一致。如果想深入了解，可查阅 temperature的底层算法实现。

top_p：控制候选Token集合的采样范围

top_p 是一种筛选机制，用于从候选 Token 集合中选出符合特定条件的“小集合”。

具体方法是：按概率从高到低排序，选取累计概率达到设定阈值的Token 组成新的候选集合，从而缩小选择范围。

下图展示了不同top_p值对候选Token集合的采样效果。

图示中蓝色部分表示累计概率达到top_p阈值（如0.5或0.8）的Token，它们组成新的候选集合；灰色部分则是未被选中的Token。

当top_p=0.5时，模型优先选择最高概率的Token，即“RAG”；而当top_p=0.8时，模型会在“RAG”、“提示词”、“模型”这三个Token中随机选择一个生成输出。

由此可见，top_p值对大模型生成内容的影响可总结为：

值越大：候选范围越广，内容更多样化，适合创意写作、诗歌生成等场景。
值越小：候选范围越窄，输出更稳定，适合新闻初稿、代码生成等需要明确答案的场景。
极小值（如 0.0001）：理论上模型只选择概率最高的 Token，输出非常稳定。但实际上，由于分布式系统、模型输出的额外调整等因素可能引入的微小随机性，仍无法保证每次输出完全一致。

那么，是否需要同时调整temperature和top_p？

为了确保生成内容的可控性，建议不要同时调整top_p和temperature，同时调整可能导致输出结果不可预测。

你可以优先调整其中一种参数，观察其对结果的影响，再逐步微调。

知识延展：top_k在千问系列模型中，参数top_k也有类似top_p的能力。它是一种采样机制，从概率排名前k的Token中随机选择一个进行输出。一般来说，top_k越大，生成内容越多样化；top_k越小，内容则更固定。当top_k设置为1时，模型仅选择概率最高的Token，输出会更加稳定，但也会导致缺乏变化和创意。

知识延展：seed在千问系列模型中，参数seed也支持控制生成内容的确定性。在每次模型调用时传入相同的seed值，并保持其他参数不变，模型会尽最大可能返回相同结果，但无法保证每次结果完全一致。

设置 temperature、top_p、seed 控制大模型输出，为何仍存在随机性？

即使将 temperature 设置为 0、top_p 设置为极小值（如 0.0001），并使用相同的 seed ，同一个问题的生成结果仍可能出现不一致。

这是因为一些复杂因素可能引入微小的随机性，例如大模型运行在分布式系统中，或模型输出引入了优化。

举个例子：分布式系统就像用不同的机器切面包。虽然每台机器都按照相同的设置操作，但由于设备之间的细微差异，切出来的面包片可能还是会略有不同。

让大模型能够回答私域知识问题

回到最初的挑战：答疑机器人无法回答“我们公司项目管理用什么工具”这类内部问题。

根本原因在于，大模型的知识来源于其训练数据，这些数据通常是公开的互联网信息，不包含任何特定公司的内部文档、政策或流程。

你可以把大模型想象成一台刚出厂的超级计算机：它的 CPU（推理能力）极其强大，硬盘（模型权重）里也预装了海量的通用知识。但对于你公司的“内部资料”，它的硬盘里是空白的。

面对这个问题，最直观的解决思路就是：在运行时，把公司的内部知识临时告诉它。

（1）初步方案：在提示词中“喂”入知识

你可以来验证这个思路：将公司项目管理工具的说明文档，直接添加到给模型的指令（System Prompt）中，作为背景知识提供给它。

然而，当你试图将更多的公司文档（例如几十页的员工手册、上百页的技术规范）都用这种方式“喂”给大模型时，一个新的、更严峻的挑战出现了。

（2）核心瓶颈：有限的上下文窗口

大模型接收我们输入（包括指令、问题和背景知识）的地方，被称为上下文窗口。你可以把它理解为计算机的“内存（RAM）”——它的容量是有限的。

你无法将整个公司的知识库（成百上千份文档）一次性塞进这个有限的窗口里。一旦输入内容超过模型的最大限制，就会导致错误。

这引出了一个核心问题：你需要对放入上下文窗口的内容进行筛选和管理。

（3）解决之道：上下文工程

简单粗暴地将信息塞进上下文，除了会超出窗口限制外，还会带来一系列“隐性”问题：

效率低：上下文越长，大模型处理所需的时间就越长，导致用户等待时间增加。
成本高：大部分模型是按输入和输出的文本量计费的，冗长的上下文意味着更高的成本。
信息干扰：如果上下文中包含了大量与当前问题无关的信息，就像在开卷考试时给了考生一本错误科目的教科书，反而会干扰模型的判断，导致回答质量下降。

你会意识到，成功的关键不在于“喂”给模型多少知识，而在于“喂”得有多准。

如何在正确的时间，将最相关、最精准的知识，动态地加载到大模型有限的上下文窗口中？——这门系统性地设计、构建和优化上下文的实践，就是上下文工程。

从这个角度看，许多大模型应用的失败，并非模型本身不够智能，而是“上下文”的失败。

上下文工程正是释放大模型潜力的关键所在。

那么，上下文工程具体包含哪些技术呢？你可以通过下面这张概念图来快速了解它的核心版图：

上下文工程的核心技术主要有：

它是构建可靠、高效大模型应用的一系列关键技术的总和，主要包括：

RAG (检索增强生成)：从外部知识库（如公司文档）中检索信息，为模型提供精准的回答依据。

Prompt (提示词工程)：通过精心设计的指令，精确地引导模型的思考方式和输出格式。

Tool (工具使用)：赋予模型调用外部工具（如计算器、搜索引擎、API）的能力，以获取实时信息或执行特定任务。

Memory (记忆机制)：为模型建立长短期记忆，使其能够在连续对话中理解历史上下文。

现在，聚焦于当前最紧迫的问题——如何解决私域知识问答。在这个技术版图中，RAG是最直接、最有效的解决方案。

技术方案：RAG（检索增强生成）

RAG（Retrieval-Augmented Generation，检索增强生成）就是实现上下文工程的强大技术方案。它的核心思想是：

在用户提问时，不再将全部知识库硬塞给大模型，而是先自动检索出与问题最相关的私有知识片段，然后将这些精准的片段与用户问题合并后，一同传给大模型，从而生成最终的答案。这样既避免了提示词过长的问题，又能确保大模型获得相关的背景信息。

构建一个 RAG 应用通常会分为两个阶段。

（1）第一阶段：建立索引

建立索引是为了将私有知识文档或片段转换为可以高效检索的形式。通过将文件内容分割并转化为多维向量（使用专用 Embedding 模型），并结合向量存储保留文本的语义信息，方便进行相似度计算。

向量化使得模型能够高效检索和匹配相关内容，特别是在处理大规模知识库时，显著提高了查询的准确性和响应速度。

这些向量经过 Embedding 模型处理后不仅很好地捕捉文本内容的语义信息，而且由于语义已经向量化，标准化，便于之后与检索语义向量进行相关度计算。

（2）第二阶段：检索与生成

检索生成是根据用户的提问，从索引中检索相关的文档片段，这些片段会与提问一起输入到大模型生成最终的回答。这样大模型就能够回答私有知识问题了。

总的来说，基于 RAG 结构的应用，既避免了将整个参考文档作为背景信息输入而导致的各种问题，又通过检索提取出了与问题最相关的部分，从而提高了大模型输出的准确性与相关性。

RAG的工作原理

RAG（Retrieval Augmented Generation，检索增强生成），是上下文工程中最重要、最有效的技术之一，专门解决大模型“知识不足”的问题。RAG应用通常包含建立索引与检索生成两部分。

建立索引

你可能会在考试前对参考资料做标记，来帮助你在考试时更容易地找到相关信息。类似的，RAG应用往往也会在回答前就已经做好了标记，这一过程叫做建立索引，建立索引包括四个步骤：

文档解析
就像你会将书上看到的视觉信息理解为文字信息一样，RAG应用也需要首先将知识库文档进行加载并解析为大模型能够理解的文字形式。
文本分段
你通常不会在做某道题时把整本书都翻阅一遍，而是去查找与问题最相关的几个段落，因此你会先把参考资料做一个大致的分段。类似的，RAG应用也会在文档解析后对文本进行分段，以便于在后续能够快速找到与提问最相关的内容。
文本向量化
在开卷考试时，你通常会先在参考资料中寻找与问题最相关的段落，再去进行作答。在RAG应用中，通常需要借助嵌入模型分别对段落与问题进行数字化表示，在进行相似度比较后找出最相关的段落，数字化表示的过程就叫做文本向量化。
存储索引
存储索引将向量化后的段落存储为向量数据库，这样RAG应用就无需在每次进行回复时都重复以上步骤，从而可以增加响应速度。

在建立索引后，RAG应用就可以根据用户的问题检索出相关的文本段了。

检索生成

检索、生成分别对应着RAG名字中的Retrieval（召回）与Generation（生成）两阶段。检索就像开卷考试时去查找资料的过程，生成则是在找到资料后，根据参考资料与问题进行作答的过程。

检索
检索阶段会召回与问题最相关的文本段。通过embedding模型对问题进行文本向量化，并与向量数据库的段落进行语义相似度的比较，找出最相关的段落。
检索是RAG应用中最重要的环节，你可以想象如果考试的时候找到了错误的资料，那么回答一定是不准确的。
这个步骤完美诠释了上下文工程的精髓：从海量知识中“精准地选择相关信息”来填充上下文。找到最匹配的内容，是保证后续生成质量的第一步。为了提高检索准确性，除了使用性能强大的embedding模型，也可以做重排（rerank）、句子窗口检索等方法。
生成
在检索到相关的文本段后，RAG应用会将问题与文本段通过提示词模板生成最终的提示词，由大模型生成回复，这个阶段更多是利用大模型的总结能力，而不是大模型本身具有的知识。
这个提示词模板的设计，是上下文工程的另一个关键环节。我们不仅要提供检索到的“资料”，还要明确地“指导”模型如何使用这些资料来回答问题。
一个典型的提示词模板为：请根据以下信息回答用户的问题：{召回文本段}。用户的问题是：{question}。