当前位置：首页 > news >正文

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit：终极4bit量化多模态模型震撼登场！一文看懂核心优势

news 2026/8/10 0:07:48

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit：终极4bit量化多模态模型震撼登场！一文看懂核心优势

【免费下载链接】DeepSeek-V4-Pro-Qwen3.5-9B-4bit项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit是一款基于MLX框架的4bit量化多模态模型，它从Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B转换而来，专为Apple Silicon设备优化，能高效处理文本、图像和视频等多种输入类型，为用户带来强大的多模态AI体验。

🚀 核心优势解析

极致高效的4bit量化技术

该模型采用MLX 4bit affine量化方案，量化配置中group_size为64，bits为4，mode为affine（config.json）。这种量化方式在大幅降低模型体积和显存占用的同时，能最大程度保留原始模型的性能，让普通设备也能流畅运行强大的多模态模型。

全面的多模态能力

作为一款多模态模型，它支持文本/代码生成、图像理解和视频输入处理。其架构为Qwen3_5ForConditionalGeneration（config.json），拥有专门的视觉配置，包括16的patch_size、27的depth等参数，能精准解析视觉内容，实现跨模态的信息处理与生成。

广泛的语言支持

模型支持多种语言，包括英语、中文、西班牙语、俄语、日语等（README.md），能满足不同语言用户的需求，在全球化应用场景中表现出色。

⚡ 快速上手指南

环境准备

首先需要安装mlx-vlm，可通过以下命令快速安装：

pip install -U mlx-vlm

图像输入处理

若要对图像进行描述或问答，可使用以下命令：

python -m mlx_vlm.generate \ --model mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit \ --max-tokens 512 \ --temperature 0.0 \ --prompt "Describe this image." \ --image <path_to_image>

文本/代码生成

进行文本创作或代码编写时，使用如下命令：

python -m mlx_vlm.generate \ --model mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit \ --max-tokens 512 \ --temperature 0.2 \ --prompt "Write a Python function that parses a JSONL file and counts records by label."

📝 模型转换方法

如果你想自己进行模型转换，可使用mlx_vlm.convert命令，具体如下：

mlx_vlm.convert \ --hf-path Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B \ --mlx-path DeepSeek-V4-Pro-Qwen3.5-9B-4bit \ --quantize \ --q-bits 4 \ --q-group-size 64 \ --q-mode affine

🔍 注意事项

该模型是Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B的4bit MLX量化版本，主要用于Apple Silicon推理（README.md）。
进行多模态使用时，建议优先选择mlx-vlm而非plain mlx-lm（README.md）。
模型遵循Apache 2.0许可，继承自源模型元数据（README.md）。