一种解决长文本处理时产生的“计算大，显存占用大”的方法。
全量注意力会看每一个token，稀疏注意力只看重点token
常见实现策略：滑动窗口（每个单词只关注自己前后一定范围内的邻居）、全局关注（选定几个特殊的单词，让它们能看到所有人，其他人也都能看到它们）、跨步/空洞（每隔一定的步长关注一个单词）、随机选择（随机挑选一些点进行计算）
现在大模型是通过组合策略来兼顾效率和效果的
稀疏注意力是对计算与记忆的平衡，稀疏过头了，就会漏掉关键上下文，模型的理解能力下降，反之做得好就能忽略掉那些不重要的噪音信息，让模型处理更长的内容。
