【AI黑话日日新】什么是多模态

在大模型迭代越来越快的今天，几乎所有厂商都在往同一个方向发力——多模态。不管是GPT‑4o、Gemini，还是国内的Qwen‑VL、MiniCPM‑V，都在强调自己的多模态能力。

但很多人直到现在，对“模态”和“多模态”的理解还停留在“能看图、能说话”的浅层认知。这篇文章我不用冗长的列表、不用零散的要点，用连贯、成体系的文字，从基础概念讲到模型架构，再到可直接运行的上手代码，帮你真正吃透多模态大模型。

一、先从根上理解：什么是“模态”？

在人工智能领域，模态（Modality）可以理解为信息被感知、表达和存储的形式。

人有五感：视觉、听觉、触觉、嗅觉、味觉。对应到机器，就是信息的不同载体：

• 文字与代码，是语言模态；
• 图片、深度图、点云，是视觉模态；
• 语音、歌声、环境音，是音频模态；
• 视频，则是视觉+音频+时序信息的复合模态。

传统AI模型，大多只在单一模态上训练。比如纯文本大模型只吃文字，CV模型只处理图像，语音识别模型只接收音频。它们就像只会一种语言的专家，彼此之间无法直接沟通，更无法联合理解同一件事物。

而多模态，就是让模型具备同时接收、理解、转