Swin Transformer模型如何利用Patch Merging模仿CNN卷积神经网络

 动画详解transformer  在线视频教程 

上两期视频，我们介绍了swin transformer模型的框架以及swin transformer模型的window窗口的概念。

根据我们介绍的swin transformer模型的框架，我们知道输入数据经过transformer block后，每次都会经过一层patch merging的操作。而输入经过patch merging操作后，数据尺寸维度会被压缩一半，而通道维度会被放大一倍，本期我们就演示一下patch merging的操作。来看看swin transformer模型的patch merging操作是如何模仿CNN卷积神经网络的。