5台Mac部署MLX-LM API集群——完整技术方案

5台Mac部署MLX-LM API集群——完整技术方案

一、系统概述

1.1 项目背景

MLX是苹果机器学习团队专为Apple Silicon开发的开源阵列框架，MLX-LM是其配套的文本生成与微调工具包。MLX-LM原生支持通过mlx_lm.server命令启动OpenAI兼容的HTTP服务器，暴露/v1/chat/completions和/v1/models接口。

本研究旨在构建一个由5台Mac设备组成的MLX-LM API集群，实现以下核心功能：

• 对接国内SiliconFlow/DeepSeek等shturl渠道和海外OpenRouter渠道
• 定时自动切换国内外网络
• 5台设备集群负载均衡
• Token用量精确记录与账单统计
• 7×24小时稳定挂机运行

1.2 系统架构总览

┌─────────────────────────────────────────────────────────────────────┐ │ 外部客户端 │ │ (OpenAI SDK / curl / 各类应用) │ └──