理解（或感知）多媒体内容的能力，需要大模型支持
1、理解图片（图像）
就是把图片和提示语一起提交给大模型。需要用到 Image 接口
| 接口 | 描述 |
|---|---|
Image.ofUrl(String) |
根据 url 创建 Image |
Image.ofBase64(String) |
根据 base64 String 创建 Image |
Image.ofBase64(byte[]) |
根据 base64 byte[] 创建 Image |
示例（有些模型需要提交 url ，有些需要提交 b64。按模型要求使用）：
chatModel.prompt(ChatMessage.ofUser("这个图上有人像吗？", Image.ofUrl("http://.../demo.jpg"))).call();
2、理解声音（音频）
就是把声音和提示语一起提交给大模型。需要用到 Audio 接口
| 接口 | 描述 |
|---|---|
Audio.ofUrl(String) |
根据 url 创建 Audio |
示例：
chatModel.prompt(ChatMessage.ofUser("这里讲了什么？", Audio.ofUrl("http://.../demo.jpg"))).call();
3、理解视频
就是把视频和提示语一起提交给大模型。需要用到 Video 接口
| 接口 | 描述 |
|---|---|
Video.ofUrl(String) |
根据 url 创建 Video |
示例：
chatModel.prompt(ChatMessage.ofUser("这里讲了什么？", Video.ofUrl("http://.../demo.jpg"))).call();