模型训练过程
根据token窗口猜测下文最可能出现的token，每个token都有一定的概率。
在训练后，确实出现在后文的token概率相对上升，其余的相对下降。
因为处理token很费钱，所以不能处理无限数量的token，我们一般在某个长度阶段它。
模型最大上下文长度：处理token最大的序列长度
神经网络的参数 --- > 每一种token出现的概率
训练神经网络 --- > 发现一种参数设置
神经网络架构 --- > 研究更有效、可优化、并行 的表达式
Transformer
词元序列 --- > 神经网络 --- > 逻辑值SoftMax（对接下来内容的预测
预训练获得token序列 --- 训练神经网络（大量 --- 获得满意的特定参数集
在你和一个训练好的模型聊天时，它只是在做推理，预测下一个可能出现在序列后的词元，，没有更多训练了。
当年还是GPT2
