第四讲自注意力机制self-attention
输入是一堆向量的案例：文字处理、声音处理、
一.文字处理
将输入词汇变成数组的方法：
1.one hot encoding独热编码
用一个很长的数组，然后不同位置为1表示不同词汇，可能意思或类别相近的东西编码相近
2.词嵌入word embeding
相似词性的聚集在一起
二.声音信号处理
利用一个滑动窗口，10ms移动一次，每一次截取生成一个向量frame-->所以1s中会生成1000/10=100个frame
三.社交网络
输出
一.输入和输出的数量一样
二.多个输入单个输出
三.多输入经过模型输出多个输出（输出多少不知道）eg：seq2seq模型
词性标注
同一个单词如saw可能词性不同，所以得联系上下文用滑动窗口但容易overfitting
因此要使用self-attention 考虑整个序列
每一个输出要考虑每一个输入a1、a2、a3、a4
输入为a1输出类别b1，因为要考虑上下文，所以考虑a2、a3、a4与a1的关系α
α的计算结果
输入a1判定a1类别为b1
