大模型概述1

一个中文字符大约0.6个token，一个英文单词一般0.3个token，不同的大模型有自己不同的tokenize。令牌化的方法。

FLOPs：算力的参数，多少此浮点型运算

大模型分类：

分类方式一：多模态的，多种形态的模型，专门处理文本：语言大模型，多模态理解大模型（图生文，非文本模态转换为文本），多模态生成大模型（文生图，文本模态转换为非文本模态）。

模态：文本语音，图像，视频，巴拉巴拉的。

大模型4要素，大模型权重参数，推理代码，训练代码（不开源），训练数据集（不开源）

大语言模型训练范式：

1.预训练模型 --》学知识 预训练学习下一个Token的概率分布情况。这个环节模型具备的是词语接龙而不是对话的能力。但无法保证回答是否有用，是否符合人类偏好，是否安全，是否合规。大量数据塞入预训练学分布。 高手，但是什么规矩也不懂

2. SFT--》学会按指令回答问题 （Supervised Fine-Tuning）监督微调，让模型学会如何按指令和执行特定任务，这样只能学到类人，但是没有办法真的完全是人。SFT1.标注成本高，难以全面覆盖场合。

微调不用计算机集群去实现微调。但需要大量的高质量数据。

3.RLHF --》学会人类偏好 对最好的回答做奖励。 反套路必备，避免奶奶难题

模型的训练过程与推理过程：

大模型工程实现：

AIGC跟AGI：

AIGC，人工智能生成。

AGI，通用人工智能。

幻觉：1.LLM不是知识库，是生成模型 2.训练数据本身存在噪声，或者冲突 3.RLHF强调有用回答而不是拒答 4.生成任务天然追求完整性，而不是保守。

1.提示词工程 2.rag 3.微调 4.续训 5.智能体开发

1.提示词工程，系统化地去说明任务。表达需求，你想干嘛？

思维需要严密：

模型需要充当的角色，目标明确，背景与上下文，输入格式，输出格式，质量与约束

加上Few-shot的事例。用QA问答的方式也可以

分系统提示词跟用户提示词。

上下文：我们历史的文字传入。 上下文窗口：存在长度限制。

提示词工程的边界：1.参考资料过多，上下文窗口不够用了 2. 操作需要多步完成 3. 指令遵循能力不足。4.缺少某个垂类领域的知识点

开头与结尾的模型记忆比较好。中间可能就忘了

写词的时候，需要给抛出异常的地方，不用让大模型强撑。CoT（chain of thinking）， ToT（Tree of thinking）