如何计算KV Cache占的显存大小
1.什么是KV Cache
推荐文章：
大模型推理加速：看图学KV Cache - 知乎https://zhuanlan.zhihu.com/p/662498827引用文章中给的解释：KV Cache是Transformer标配的推理加速功能，transformer官方use_cache这个参数默认是True，但是它只能用于Decoder架构的模型，这是因为Decoder有Causal Mask，在推理的时候前面已经生成的字符不需要与后面的字符产生attention，从而使得前面已经计算的K和V可以缓存起来。
其中的Causal Mask是什么呢，因果掩码（Causal Mask），又称前瞻掩码（Look-ahead Mask），是Transformer解码器中确保因果关系的关键机制。它通过屏蔽未来位置的信息，让模型在预测当前词时只能看到已经生成的词，不能"偷看"未来的词。
通常情况下，causal mask 是一个二维矩阵，其中对角线以下的元素都为1，表示允许当前位置之前的信息流动，而对角线及以上的元素都为0，表示屏蔽了当前位置之后的信息。在序列生成任务中，这种掩码非常重要，因为它确保了模型按照序列的顺序逐步生成输出，而不会提前使用未来的信息。
关于Transformer的详细结构介绍可以看这篇文章：
(18 封私信 / 14 条消息) Transformer模型详解（图解最完整版） - 知乎https://zhuanlan.zhihu.com/p/338817680其中最重要的就是
使用Mask主要是在训练decoder时使用，在预测时天然就是没有后面信息的。
由于Q、K、V都是通过X与矩阵相乘得到，所以X变化，Q、K、V也都跟着变化。
需要注意的是，X、Q、K、V的每一行都可以表示一个单词，当X增加一个单词时，Q、K、V也都对应的增加一行，并且其他行的值不变。
所以可以推理得到如下所示，KV 为什么需要 Cache。
当大模型进行推理时，每次的注意力计算只和当前的Qk、所有的K、所有的V有关，所以逐字生成的时候必须要缓存之前生成的所有K和V，这样就能避免重复计算，加快推理速度。
K和V也是根据生成句子的长度逐渐累加起来的，和i = i + 1有点类似。
下面4张图展示了使用KV Cache和不使用的对比。