模态，某种信息来源或表达方式。
多模态输入，就是系统可以同时接收并处理两种或两种以上类型的数据。
模型多模态输入的步骤：
1.将不同类型的数据转换成向量/数字阵列
2.在模型训练中，AI学习到一个东西的多种描述，像是苹果、红色圆形水果图片，被AI认为所指相同。训练之后，AI会将所指相同的不同能指进行对齐
3.将所有信息整合到一个统一的数学空间进行理解
为什么要搞多模态，因为这样才能让AI更贴近真实世界逻辑，从而做到更多事。大语言模型只有文字能力，应用还是太窄了。
让 AI 在同一时间处理多种数据，同时还要保持响应速度，这工程量不小。而且AI还会在不同信息之间产生幻觉，比如图片里是🐱，文字回答是狗。