项目分享|在家搭建AI集群：exo让普通设备也能跑大模型

引言

随着大模型参数规模不断提升，单台设备的显存、算力瓶颈成为普通开发者部署大模型的核心障碍——要么模型因显存不足无法运行，要么推理速度极慢。而exo项目的出现解决了这一痛点：它能将日常设备（如Mac Studio、MacBook）连接成一个AI集群，不仅能运行远超单设备显存容量的大模型，还能通过RDMA等技术大幅提升推理速度，让个人用户也能低成本搭建专属AI集群。

项目核心定位与功能

exo是一款面向个人用户的AI集群管理工具，核心目标是让普通人用日常设备搭建分布式AI集群，轻松运行超大参数量的大模型。

它的核心功能覆盖集群全生命周期：设备层面支持自动发现，无需手动配置即可让多台设备组建集群；模型运行层面支持张量并行，能将大模型分片部署到多台设备上，实测在4台M3 Ultra Mac Studio组成的集群中，可流畅运行Qwen3-235B、DeepSeek v3.1 671B、Kimi K2 Thinking等超大模型；此外，exo还提供可视化仪表盘和OpenAI兼容的API，降低集群使用门槛。

核心创新点与优势

exo能突破单设备限制，核心源于四大关键创新与优势：

1. 自动设备发现：集群内设备无需手动配置，启动exo后自动识别彼此，降低集群搭建门槛；
2. RDMA over Thunderbolt 5支持：原生支持RDMA（远程直接内存访问），可将设备间通信延迟降低99%，这也是exo相比传统分布式框架的核心优势；
3. 拓扑感知自动并行：实时感知设备拓扑结构，结合设备资源、网络带宽/延迟动态规划模型分片策略，最大化集群效率；
4. 张量并行提速：支持模型分片部署，实测2台设备可实现1.8倍提速，4台设备达3.2倍；
5. MLX生态适配：基于MLX（苹果生态高效推理框架）和MLX distributed做分布式通信，适配Apple Silicon硬件特性，性能更优。

部署与技术实践

1. 环境部署（分系统）

macOS部署（从源码运行）

先安装依赖：

# 安装brew/bin/bash -c"$(curl-fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"# 安装uv、macmon、nodebrewinstalluv macmonnode# 安装Rust（nightly版本）curl--proto'=https'--tlsv1.2 -sSf https://sh.rustup.rs|shrustup toolchaininstallnightly

再克隆代码并运行：

# 克隆仓库gitclone https://github.com/exo-explore/exo# 构建仪表盘cdexo/dashboard&&npminstall&&npmrun build&&cd..# 启动exouv run exo

启动后可访问http://localhost:52415查看仪表盘和API。

Linux部署（从源码运行）

以Ubuntu/Debian为例安装依赖：

# 安装Node.js和npmsudoaptupdatesudoaptinstallnodejsnpm# 安装uvcurl-LsSf https://astral.sh/uv/install.sh|sh# 安装Rust（nightly版本）curl--proto'=https'--tlsv1.2 -sSf https://sh.rustup.rs|shrustup toolchaininstallnightly

克隆代码并运行（步骤同macOS，无需安装macmon）：

gitclone https://github.com/exo-explore/exocdexo/dashboard&&npminstall&&npmrun build&&cd..uv run exo

2. 启用RDMA（macOS）

RDMA是exo高性能的核心，需在macOS 26.2+（Thunderbolt 5设备）中启用：

1. 关闭Mac，长按电源键10秒进入启动菜单；
2. 选择“Options”进入恢复模式，打开“实用工具”→“终端”；
3. 执行命令启用RDMA：rdma_ctl enable；
4. 重启Mac即可。

3. API使用示例

预览模型部署方案

curl"http://localhost:52415/instance/previews?model_id=llama-3.2-1b"

创建模型实例

curl-X POST http://localhost:52415/instance\-H'Content-Type: application/json'\-d'{ "instance": {...} # 替换为预览接口返回的instance内容 }'

发送聊天补全请求（兼容OpenAI API）

curl-N -X POST http://localhost:52415/v1/chat/completions\-H'Content-Type: application/json'\-d'{ "model": "mlx-community/Llama-3.2-1B-Instruct-4bit", "messages": [ {"role": "user", "content": "What is Llama 3.2 1B?"} ], "stream": true }'

删除模型实例

curl-X DELETE http://localhost:52415/instance/YOUR_INSTANCE_ID

该项目及相关内容已 AladdinEdu课题广场同步发布，欢迎前往了解更多技术实现与资源。

项目地址：AladdinEdu课题广场