vlm clip-llava
准备录制cs336-assign 1，下午和朋友讨论了一下
上班
梳理了CLIP,image encoder采用的是ViT或者是resnet，text encoder采用的是transformer的decoder（mask attention换成了自注意力机制）
llava 就是极简风，视觉层接一个线性层（投影层，我习惯叫它对齐层）就接入llm。进行指令微调。llava1.5就是将图片更好的处理，使用高分辨率的图像并全局和局部融合，llava1.6则是采用了更好的融合策略，而且对分辨率没有要求（这里感觉有点像qwen2.5-vl 动态分辨率的雏形）