代码实战swin transformer模型的位置编码

上期视频教程，我们利用动画的方式，讲解了swin transformer模型的位置编码的计算过程。这里再次重申一下，我们计算的是位置编码的相对索引，其相对位置编码有一个初始化的数据表，此表随机初始化，当我们计算完成相对索引后，根据索引，获得相应的相对位置编码，且swin transformer模型的位置编码随着模型的训练而实时更新。本期我们就基于上期动画过程来讲解一下swin transformer模型的位置编码代码实现过程。

import torch # relative_position_index (4, 4) window_size = [2, 2] # relative_position_bias_table (1, 9) relative_position_bias_table = torch.tensor([0.3,0.1,0.2,0.5,0.8,0.9,0.4,0.6,0.7]) coords_h = torch.arange(window_size[0]) coords_w = torch.arange(window_size[1]) coords = torch.st