使用one hot：四十个州，图像分类输出，文本
劣势：1。维度太长了2.无法表示出（你，我，他）之间的关系，或者猫和狗之间的关系
于是有了word embedding
就是靠模型来给文字编码
常见输入可以对每个字编码 我3512，然后进行word embedding
常见输出：每个词都有一个输出，比如词性识别
所有词一个输出，比如情感分类 你做的不错——正向
也有输入输出长度不对应，比如翻译
但文本输入是序列，要考虑前后关系
RNN 的优点
处理变长序列：RNN 可以处理任意长度的输入序列，这使其非常适合 NLP 任务。
捕捉序列依赖关系：它天生具备捕捉序列内部（如一句话中词语前后关系）的能力。
RNN 的缺点（历史包袱）
梯度消失与梯度爆炸：在处理很长的序列时，RNN 难以学习到遥远时间点之间的依赖关系。这个问题限制了它在长文本上的表现。
并行化困难：RNN 必须按顺序处理数据，无法像 CNN 那样高效地并行计算，导致训练速度慢。
假设I是4个字，每个字是768，也就是（4，768），Wq，Wk，Wv都是（768，768），则QKV还都是（4，768），那么Q和K转置相乘就是（4，4），再与V转置相乘，输出就是4，768
其中Q的（4，768），就是每个（1，768）拼起来的，每个都是input中的一个词的query向量，而K，V也是
这样注意力矩阵A，也就是Q的每一个词对应的query向量与K的每一个词的key向量相乘相加
然后V的（4，768）虽然上面的图里与A右乘，但其实V是横着4个向量
最终selfattention的输出还是（4，768），只是让每个词的特征考虑了别的词，所以它是特征转化器
其中cls是用于给分类的输入，之后经过特征提取cls对应的向量直接给分类头，sep是标点符号
