AI 概览
机器学习
监督学习：
- 分类：
- 回归：对数值进行预测
无监督学习
- 聚类
强化学习
- 在环境中采取行动，获取结果反馈， 从反馈里学习，从而在给定情况下采取最佳行动
深度学习
深度学习是机器学习的一个方式，核心在于使用人工神经网络，模仿人脑处理信息的方式，通过层次化的方法提取和表示数据的特征。
神经网络是由多个基本的计算和存储单元组成，这些单元称为神经元。这些神经元通过层层连接来处理数据。并且深度学习模型通常有许多层，因此称为深度。
神经网络可用于监督学习、无监督学习、强化学习
生成式AI
生成式AI是深度学习的一种应用
LLM 即大语言模型
LLM也是深度学习的一种应用，是用于做自然语言相关任务的深度学习模型
LLM本质是一个超级大的概率预测模型，通过预测出现频率最高的下一个词来实现文本生成的
不是所有的生成式AI都是大语言模型，比如生成图像的扩散模型就不是大语言模型，并不输出文本
大模型应用：豆包、deepseek、ChatGPT等
ChatGPT
Gernerative Pre-trained Transformer 即生成式预训练的 Transformer
Transformer 架构
在 Transformer 架构之前，语言模型的主流架构是
- RNN 循环神经网络即 Recurrent Neural Network
- LSTM 长短期记忆网络
Transformer 特点：
- 自注意力机制：给每个词不一样的注意力权重
- 位置编码：词在句子中的位置，是并行学习的前提
编码器
- 先把输入拆分成各个token，是文本的基本单位。短单词用一个token，长单词多个token。
- 每个token 会被用一个整数数字表示即tokenID
- 嵌入层：把每个token都用向量表示即一串数字，就是所谓的词向量
- 位置编码： 把表示每个词在文本里顺序的向量+词向量，这样做的目的是模型既可以理解每个词的意义和又能捕捉词在句子中的位置
- 编码器：把 抽象的表示形式也是向量。捕捉(语法语义的)关键特征的核心是编码器的自注意力机制,通过计算每对词之间的相关性来决定注意力权重。
解码器
- 编码器的输出值+一个特殊值（之前已经生成的文本，来保持连贯性和上下文相关性 ）
- 带掩码的多头自注意力层：只会关注这个词和它前面的其他词
- 预测下一个词，循环往复
- 自注意力会捕捉编码器的输出和解码器即将生成的输出之间的对应关系，从而将原始输入序列的信息融合到输出序列的生成过程中
ChatGPT 训练过程
- 无监督预训练：生成基座模型，仅仅会根据上文补充文本，不擅长对话，比如你提问一个问题，它会模仿提问类似问题
- 监督微调即SFT(Supervised Fine-Tuning):属于监督学习，既给问题，也给高质量答案。会生产一个SFT模型
- 训练奖励模型+强化学习训练：根据奖励模型对答案就行打分
调教AI 聊天助手
- 小样本提示
- 思维链
- 在问题后增加一句分步骤思考
- 开启：深度思考
进阶：
- RAG：Retrieval Augmented Generation 检索增强生成
- PAL: Program-Aided Language Models 程序辅助语言模型
- ReAct：Reason Action 推理行动结合