


如果encoder提取出来的特征能够decoder出来的数据与原始数据非常相似,这意味着encoder提取数据很厉害
生成式自监督拿自己的数据,通过mask比如去掉图片的一部分像素,改成灰度图,或者文本mask掉一些字,来训练特征提取器的能力,这样训练出来的提取器直接加一个分类头就可以进行分类了。

上游就是无监督与训练,下游就是微调



如果encoder提取出来的特征能够decoder出来的数据与原始数据非常相似,这意味着encoder提取数据很厉害
生成式自监督拿自己的数据,通过mask比如去掉图片的一部分像素,改成灰度图,或者文本mask掉一些字,来训练特征提取器的能力,这样训练出来的提取器直接加一个分类头就可以进行分类了。

上游就是无监督与训练,下游就是微调