多模态大模型概述

多模态大模型简介总结，参考文章：GPT-4对多模态大模型在多模态理解、生成、交互上的启发

1. 多模态大模型概述

深度学习三次重大研究范式转变：

• 监督学习
• 预训练模型+任务微调
• 预训练大模型+提示生成

大模型在海量的数据上进行大规模预训练，然后就通过微调、上下文学习、零样本学习等方式以适应一系列下游任务。

常见多模态任务：

• 多模态理解任务：视频分类、视觉问答、跨模态检索等
• 多模态生成任务：以文生图和视频、歌词生成音乐、基于对话的图片编辑等

多模态大模型关键技术：大规模预训练数据、模型架构设计、自监督学习任务设计、下游任务适配

多模态大模型的整体技术框架：

GPT系列模型的发展脉络：

结合多模态大模型和大语言模型的“多模态大语言模型”

多模态大语言模型结构组成：单模态编码器、连接器、大语言模型

多模态大模型存在的问题：

• 大模型幻觉问题
• 模型内部知识与外部知识库的协同作用机制尚未成熟
• 更多模态的细粒度对齐

基于文本的视觉内容生成与编辑方法发展时间线：

多模态生成模型中常用的文本编码器：