第七节、自然语言处理与bert

（草稿大纲）

一、基础知识：self-attention 自注意力机制

怎么用数据表示文字？

编码为向量：*插入解释 one-hot Encoding

缺点：汉字有大约两万一千个，用来表示每个字，向量太长；体现不出关系

常见的输出：***3种（本篇只包括了前两种）

问题：同一字放在不同语境语义词义不同？但输入一定，模型一定，输出一定。

所以要考虑前后关系*插入课件图片

传输太远（缺点

RNN（循环神经网络）“传家宝”->记忆单元

->长短期记忆（Long short-term memory LSTM）

但是，RNN和LSTM太慢了，只能串行，也就是只能一个字一个字的看

->Self-attention 自注意力机制

如何计算注意力？

1、点乘 （缺点固定

2、qurry-> 经过soft-max公式，注意力和为一

参数：wq\wv\wk

经过self-attention特征维度不变

token：768向量？？？

bert：一个特征提取器。无监督学习

Bert-Pre-Training

Masked Language Model

使用[mask]遮盖

Next Sentence Prediction:??

Bert：预训练任务

//////Bert结构

//////embedding->bert layers->pooler（池化输出）

Bert输入Embedding

Ea Eb..分辨是哪个句子

Bert输出pooler（4种）：

总结：一、字的表示：768/1024..One-Hot

二、为了知道上下文，引入了RNN和LSTM

三、上面的模型不能并行，速度慢，只能单向，引入Self-attention

四、Self-attention

五、Bert

六、Bert架构：三部分