完整学习LLM(一):为什么我要系统学习大模型

背景:我不想只停留在会用

一开始用大模型的时候,其实很容易满足.

打开 ChatGPT,问一个问题,它给你一段回答.

接 API,传一个 prompt,拿到一个 response.

看起来好像已经会用了.

但只要开始做项目,问题马上就出来了.

比如做一个项目知识库:

刚开始看起来很顺.

但真实情况是:

这时候我才发现:

真正要把大模型用到项目里,需要理解它周围的一整套东西.

不是只有模型.

还有文档,向量库,数据库,工具调用,权限,评测,部署.

所以这次我想慢一点.

不急着堆新词.

每天只拆一个问题.

1.我现在最想搞清楚的几个问题

我先把现在脑子里的问题列出来.

第一个问题:

它不是普通的 if else 程序.

但也不是魔法.

它到底怎么从一段输入,生成一段输出?

第二个问题:

为什么一句话进入模型前要被切成 token?

为什么有时候中文、英文、标点都会影响 token 数?

第三个问题:

我现在大概知道它是"把文本变成向量".

但这个向量为什么能表示语义?

为什么相似的问题能找到相似的文档?

第四个问题:

前几篇已经写了一部分.

但还有很多没讲:

第五个问题:

如果只是想让模型知道我的项目文档,那应该用 RAG.

那微调到底适合什么?

是风格?

是格式?

还是某种固定任务?

第六个问题:

如果只是模型回答问题,那是聊天.

如果模型开始调用工具,读文件,查数据库,执行命令,这才有一点 Agent 的味道.

但这里面风险也很大.

工具权限怎么控?

做错了怎么办?

这些都要慢慢拆.

2.这次学习不想怎么做

我不想写成那种一篇文章塞满术语的东西.

比如:

全放在一篇里,看起来很完整,但看完可能什么都没记住.

我也不想一开始就上公式.

不是说公式不重要.

而是如果直觉没建立,公式看起来就是一串符号.

所以我想按这种方式写:

比如写 Token,就不从论文开始.

先从:

开始.

写 Embedding,就从:

开始.

这样更容易跟项目经验连起来.

3.准备按什么路线学

目前先把路线定成 8 块.

这不是为了显得很系统.

而是为了避免学习顺序乱.

我之前就是乱跳.

今天看 RAG,明天看 Agent,后天又看到 LoRA.

每个都知道一点,但很难说自己真的理解.

这次按顺序来.

先把基础概念打稳,再往应用层走.

4.第一阶段先学什么

第一阶段先从这些问题开始:

这些东西看起来基础,但后面都要用.

比如 RAG 里会用到 Embedding.

Prompt 里会受上下文窗口限制.

模型生成答案时,本质上还是在一步步预测 token.

如果这些没弄明白,后面很多概念都只能硬背.

我不想硬背.

我想知道它们为什么会这样设计.

5.后面会怎么接到项目里

这次学习不是纯理论.

我还是会尽量和实际项目连起来.

比如:

也就是说,最后不是为了写一堆概念笔记.

而是为了能回答:

比如这个结构:

用户问一个问题.

模型不一定直接回答.

它可能要:

这才像一个能落地的系统.

6.这个系列准备怎么写

我准备给自己定一个简单规则:

每篇文章大概按这个节奏:

这样一篇不会太散.

也方便后面串起来.

7.总结

这篇主要是给后面的系列开个头.

我现在想清楚的一点是: