Swin Transformer注意力计算复杂度为何比全局注意力少那么多？
attention is all you need, 随着注意力机制的大火，transformer模型更是延伸到了计算机视觉领域。前期我们介绍了vision transformer模型，VIT模型成功把transformer模型使用到了计算机视觉任务，且为了保证transformer的完整性，VIT模型并没有修改transformer模型的整体架构，而直接引用了transformer模型的encoder编码器。
我们知道VIT模型采用了全局注意力机制，若图片尺寸较大，其计算量便会成倍的增加。而swin transformer模型采用了window窗口注意力机制的概念，把整个图片划分成一个一个的窗口，在每个小的窗口中来计算注意力机制，这样便大大节省了计算资源。
本期我们就