大模型学习笔记 self attention

1.self attention和RNN CNN的区别

self attention可以理解为感受野不受限制的CNN，当数据量比较少时CNN的表现可能更好但是数据足够时可以捕获任意距离的信息。

RNN也可以建模时间序列但是只能逐个建模，随着距离变远，可能捕捉的有效信息会更少，而且只能串行计算，self attention支持并行计算。

2.self attention

attention机制允许对每个词对其他的词产生有影响有不同的重点，支持并行计算，只需要训练WQ，WK，WV。

3.表示模型和生成模型

分别代表仅仅有编码器和解码器的模型，使用llm时内部有分词和把分过的词输入的过程。

4.transformer在self attention的基础上增加了norm和加法层，需要加上原本的输入之后放入norm。

norm是计算同一特征不同维度的方差和平均值后做标准化操作。

5.使用sigmoid的想法是，使用piecewise的曲线能拟合任意曲线，使用hard sigmoid，只要足够多可以拟合任意piecewise，使用sigmoid能拟合hard sigmoid。

6.分词的四种方式

词分词，子词分词，字符分词，字节分词。

对分词决定的是三部分，一部分是选择的分词方式，第二部分是词的数目等因素，第三个就是训练分词模型的数据，不同的数据、不同的数据量训练出来的也不一样。