Mac用户必看：Hy3-oQ2e-2.37bpw本地运行环境搭建完全教程

Mac用户必看：Hy3-oQ2e-2.37bpw本地运行环境搭建完全教程

【免费下载链接】Hy3-oQ2e-2.37bpw项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.37bpw

Hy3-oQ2e-2.37bpw是腾讯Hunyuan 3.0大模型的MLX量化版本，专为Apple Silicon优化，以2.37 bits/weight的高效压缩比实现87.7GB的磁盘占用，让Mac用户也能体验强大的本地AI能力。本教程将带你完成从环境准备到模型运行的全流程，即使是新手也能轻松上手！

📋 准备工作：系统与环境要求

在开始前，请确保你的Mac设备满足以下条件：

• 硬件要求：搭载Apple Silicon芯片（M1及以上）
• 系统要求：macOS 12.0+
• 存储空间：至少100GB可用空间（模型文件87.7GB）
• 依赖工具：已安装Git和Python 3.8+

🔧 快速安装：三步完成环境配置

1. 安装UV包管理器（推荐）

UV是比pip更快的Python包管理器，执行以下命令安装：

curl -LsSf https://astral.sh/uv/install.sh | sh

2. 克隆模型仓库

git clone https://gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.37bpw cd Hy3-oQ2e-2.37bpw

3. 安装mlx-lm与依赖

由于官方mlx-lm暂不支持Hy3，需安装预览版本：

uv pip install "mlx-lm @ git+https://github.com/kernelpool/mlx-lm.git@add-hy3-preview"

🚀 启动模型：两种运行方式

方式一：命令行快速生成

直接通过终端命令运行：

python -m mlx_lm generate --model . \ --prompt "请用三句话介绍机器学习" --max-tokens 300

方式二：Python代码调用

创建run_model.py文件，使用以下代码：

from mlx_lm import load, generate model, tokenizer = load(".") # 加载当前目录模型 response = generate(model, tokenizer, prompt="解释什么是人工智能", max_tokens=200) print(response)

运行脚本：python run_model.py

⚙️ 高级配置：优化你的生成效果

修改generation_config.json文件可调整模型输出：

• temperature：控制随机性（0.1-1.0，值越低越确定）
• top_p： nucleus采样参数（0.7-1.0）
• max_tokens：最大输出长度

示例配置：

{ "temperature": 0.7, "top_p": 0.9, "max_tokens": 512 }

📊 模型特点：为什么选择这个版本？

Hy3-oQ2e-2.37bpw是"shell-reduced"优化版本，与其他变体相比：

• 专家层：保持与oQ2e相同的2-bit gs128 + imatrix量化
• 注意力层：从8-bit降至6-bit gs128
• 嵌入层：从8-bit降至4-bit gs128
• 优势：减少约2GB磁盘占用，同时保持接近原始模型的性能

❓ 常见问题解决

Q：运行时提示内存不足怎么办？

A：关闭其他占用内存的应用，或尝试减少max_tokens参数值

Q：生成速度慢如何优化？

A：确保使用最新版mlx框架，M2及以上芯片性能更佳

Q：模型文件下载不完整？

A：检查网络连接，可使用git lfs pull确保大文件完整下载

📄 许可证信息

本模型基于Apache-2.0许可证，继承自tencent/Hy3，详细许可条款可查看项目根目录的LICENSE文件。

通过以上步骤，你已经成功在Mac上搭建了Hy3-oQ2e-2.37bpw的本地运行环境。现在就开始探索这个强大模型的各种能力吧！无论是代码生成、文本创作还是知识问答，它都能成为你的得力助手。

【免费下载链接】Hy3-oQ2e-2.37bpw项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Hy3-oQ2e-2.37bpw