【学习笔记】端侧大模型：Phi、Gemma 与小模型逆袭（33/35）

前 32 篇我们讲的大部分内容都是云端部署——大集群、大显存、大功率。

这一篇换个视角：端侧大模型。也就是在手机、笔记本、嵌入式设备上跑 LLM。

为什么这件事在 2026 年突然重要？三个变化叠加：

1. 小模型变强：Phi-4-mini 3.8B 在多项任务超 Llama-2-70B

2. 推理蒸馏：R1-Distill-1.5B 推理能力超 GPT-4o

3. 硬件升级：iPhone 17 Pro NPU + M4 Max 64GB + Copilot+ PC 普及

云端大模型 + 端侧小模型 = 2026 年的标准 AI 应用架构。

如果你做过相关工作，下面这些问题应该不陌生：

• 手机能跑多大的模型？速度怎么样？

• Phi、Gemma、Qwen 小尺寸到底哪个强？

• iOS / Android / Mac / Windows 各自的端侧方案？

• 浏览器里能跑 LLM 吗？WebGPU 现在到什么程度了？

• 端侧 vs 云端，业务怎么分？

读完本文你将能：

1. 区分主流端侧小模型的能力与适用场景

2. 选对端侧部署技术栈

3. 设计端云协同的 AI 应用架构

4. 评估端侧化的成本收益

我们开始。

一、端侧大模型为什么 2026 年才"真正可用"

1.1 端侧 AI 的 4 个驱动因素

1. 隐私 ── 数据完全不出设备 2. 离线 ── 不依赖网络 3. 延迟 ── 没有网络往返 4. 成本 ── 服务端零成本

这些诉求一直存在。但直到 2024-2026 年才真正满足：

关键转折点：2025 年。从此手机跑 LLM 从"实验"变成"产品"。

1.2 三股力量推动小模型逆袭

力量 1：数据精炼

Phi 系列证明：用"教科书级"合成数据训练小模型，能干掉用网络数据训练的大模型。

Phi-1.5（1.3B）→ 接近 Llama-7B Phi-2（2.7B） → 接近 Llama-13B Phi-3.5-mini（3.8B）→ 接近 Mixtral 8x7B Phi-4-mini（3.8B）→ 接近 Llama-2-70B

3.8B 模型逐步追平 70B——这就是数据精炼的威力。

力量 2：推理模型蒸馏

R1-Distill 让小模型也能强推理（第 32 篇讲过）：

R1 (671B) → R1-Distill-7B → R1-Distill-1.5B（手机能跑）

手机推理模型正在成为可能。

力量 3：硬件升级

关键认知：

2026 年的手机算力 ≈ 2019 年的数据中心 GPU。

二、主流端侧大模型

2.1 5 大主流系列（2026 中）

Phi 系列（微软）

• Phi-4-mini(3.8B)：综合最强小模型

• Phi-4-mini-reasoning：带推理能力的端侧首选

• Phi-4(14B)：可在 16GB 笔记本跑

特点：

• 主合成数据训练

• 数学 / 代码能力强

• 中文一般

Gemma 系列（Google）

• Gemma 3 1B / 4B / 12B

• 多模态（视觉）支持

• 移动端优化

特点：

• 与 Gemini 同源

• 推理速度快

• 多语言支持

Qwen3 小尺寸（阿里）

• Qwen3-0.6B / 1.7B / 4B / 8B

• 中文最强小模型 ⭐

• MoE 小版本：Qwen3-MoE-A3B

特点：

• 中英文均衡

• Tokenizer 中文优化

• 工具调用强

Llama 4 小尺寸（Meta）

• Llama 4 Scout（17B 激活 / 109B MoE）

• 标准小 LLM 仍在 Llama 3.x 系列

特点：

• 开源生态最广

• 中文一般

MiniCPM 系列（面壁智能）

• MiniCPM 4(8B)

• 主打端侧

• 多模态版本（MiniCPM-V）

特点：

• 国产端侧首选

• 量化优化好

2.2 端侧能力实测（2026.05）

测试硬件：iPhone 17 Pro / Android 旗舰

关键观察：

• 手机最佳点 = 2-4 GB 模型（速度 + 质量平衡）

• 中文应用首选 Qwen3-4B

• 推理任务首选 R1-Distill-1.5B（小且推理强）

• 7B+ 在手机上勉强（速度 + 内存压力）

三、端侧部署技术栈

3.1 跨平台总览

┌──────────────────────────────────┐ │ iOS / iPadOS │ │ └─ MLX / Core ML / Executorch │ ├──────────────────────────────────┤ │ Android │ │ └─ MediaPipe / ExecuTorch / TFLite │ ├──────────────────────────────────┤ │ macOS │ │ └─ MLX / llama.cpp / Ollama │ ├──────────────────────────────────┤ │ Windows │ │ └─ DirectML / ONNX / Ollama │ ├──────────────────────────────────┤ │ 浏览器 │ │ └─ WebLLM / WebGPU │ ├──────────────────────────────────┤ │ 嵌入式 / 物联网 │ │ └─ llama.cpp / TFLite Micro │ └──────────────────────────────────┘

3.2 iOS / iPadOS

MLX（Apple 官方）

第 18 篇讲过——Apple Silicon 的最佳选择：

# Python（用于开发 / Mac） from mlx_lm import load, generate model, tokenizer = load("mlx-community/Qwen3-4B-Instruct-4bit") output = generate(model, tokenizer, "你好", max_tokens=100)

// Swift（用于 iOS App） import MLX import MLXLMCommon let model = try await loadModel("Qwen3-4B-Instruct-4bit") let response = try await model.generate(prompt: "你好", maxTokens: 100)

Core ML

Apple 推理框架（不限于 LLM）。LLM 支持在 2024 后逐渐成熟。

适合：与 Apple ecosystem 深度集成的应用。

Executorch

PyTorch 在端侧的官方方案，跨平台（iOS + Android）。

3.3 Android

Google MediaPipe

// Android Kotlin val llmInference = LlmInference.createFromOptions( context, LlmInferenceOptions.builder() .setModelPath("/path/to/gemma-3-4b-int4.task") .setMaxTokens(1024) .build() ) val response = llmInference.generateResponse("你好")

支持模型：Gemma 系列、部分 Llama / Qwen。

ExecuTorch（PyTorch 官方）

跨平台部署 PyTorch 模型，含 Android 支持。

TFLite

老牌端侧框架，LLM 支持有限。

3.4 macOS

Mac 是端侧大模型的性能王者：

M4 Max 64GB 跑 Qwen3-32B Q4 约 30 tok/s——笔记本就能跑专业模型。

3.5 Windows

DirectML

Windows 原生 GPU 推理框架。

Ollama / LM Studio

跨平台方案在 Windows 也好用。

Copilot+ PC（高通 X Elite / Snapdragon X2）

微软推的40+ TOPS NPU 笔记本，2025 起普及：

• 原生跑 SLM（Small Language Model）

• Phi-4 / Gemma 系列优化

• Windows 11 集成 AI 能力

3.6 浏览器

WebLLM

import { CreateMLCEngine } from "@mlc-ai/web-llm"; const engine = await CreateMLCEngine("Qwen3-4B-Instruct-q4f16_1-MLC", { initProgressCallback: (info) => console.log(info.text), }); const response = await engine.chat.completions.create({ messages: [{ role: "user", content: "你好" }], });

WebGPU 是关键——2024 年后主流浏览器都支持。

实测（Chrome on M3 Mac）：

• Qwen3-1.7B 在浏览器跑 30 tok/s

• 无需任何后端

适合：

• 隐私要求极高的网页应用

• 零后端成本

• 不想装 App 的轻量场景

3.7 嵌入式 / 物联网

llama.cpp 在树莓派 / Jetson Nano 上也能跑：

• Raspberry Pi 5（8GB）：Qwen3-1.7B Q4 约 4 tok/s

• Jetson Orin Nano：Phi-4-mini Q4 约 25 tok/s

适合：智能音箱、机器人、智能玩具。

3.8 浏览器端模型分发

第 23 篇我们讲过模型分发——端侧也有专门方案：

• HuggingFace Spaces：CDN 分发

• MLC AI：浏览器优化版

• Cloudflare R2 + WebGPU：自定义 CDN

四、端侧应用场景

4.1 已经成熟的应用

4.2 Apple Intelligence 案例

Apple 2025 完整推出 Apple Intelligence：

• iPhone / iPad / Mac 原生集成

• 端侧 ~3B 模型（部分能力路由到云）

• 隐私架构：端侧能搞定的不发云

架构：

用户请求 ↓ 端侧路由器（< 1B 模型） ├─ 简单任务 → 端侧 ~3B 模型直接处理 └─ 复杂任务 → 苹果云（Private Cloud Compute） └─ 极端复杂 → 用户授权后调 ChatGPT

这是端云协同的教科书级架构。

4.3 Copilot+ PC

微软 2025 推全系 Copilot+ PC：

• 40+ TOPS NPU 标配

• Phi 系列原生集成

• Recall功能：本地分析用户操作

• 离线 AI 能力

五、端云协同：未来的标准架构

5.1 分层路由

核心思想：根据任务复杂度，决定用端侧还是云端：

async defhybrid_route(request): # 1. 端侧小模型判断复杂度 complexity = await on_device_classifier(request) if complexity == "trivial": # 简单聊天 / 翻译 / 摘要 → 端侧 1B 模型 returnawait on_device_tiny.complete(request) elif complexity == "medium": # 中等复杂度 → 端侧 4B 模型 returnawait on_device_medium.complete(request) else: # "complex" # 复杂推理 / 多模态 / 长上下文 → 云端 returnawait cloud_api.complete(request)

5.2 路由优势

实测：把简单任务路由到端侧后，云端 token 消耗降 70%+。

5.3 应用架构示例

[用户设备] ├─ 端侧路由模型（0.5B） ├─ 端侧主力模型（4B） ├─ 端侧向量库（私有数据） └─ 端侧记忆库 ↓ 网关（决策端 / 云） ↓ [云端] ├─ 大模型 API（Claude / GPT / DeepSeek） ├─ 中央知识库（RAG） └─ Agent 工具集

5.4 真实业务案例：智能助手

某团队设计的混合架构：

• 80% 请求：端侧 Qwen3-4B 处理（聊天、查询、简单工具）

• 15% 请求：端侧 + 云端协同（RAG 检索发起到云）

• 5% 请求：云端推理模型（复杂规划）

效果：

• 平均延迟从 1.2s 降到 0.3s

• 月 API 账单降 75%

• 隐私合规通过 ✓

六、端侧部署的工程挑战

6.1 内存压力

手机内存有限：

• iPhone 17 Pro：16 GB（应用可用约 6-8 GB）

• Android 旗舰：12-16 GB

对策：

• 模型 Q4 量化（4B 模型约 2 GB）

• 启动时按需加载（不要常驻）

• 后台时释放

6.2 电池消耗

LLM 推理是高功耗操作：

iPhone 17 Pro 持续推理 10 分钟 约消耗 5% 电量

对策：

• 大模型只在用户主动调用时启动

• 优先用 NPU（比 GPU 省电）

• 短回复 / 节流

6.3 启动延迟

模型加载到内存需要时间：

• 4B Q4 模型加载：约 2-3 秒（NVMe SSD）

• 7B Q4 模型加载：约 5-8 秒

对策：

• 应用启动时后台预加载

• 内存 mmap（按需读取）

• 选小一点的模型

6.4 模型分发

让用户首次下载 2GB 模型不是好体验。

对策：

• 应用安装包不含模型，首次启动联网下载

• 增量更新（只下载 diff）

• CDN 加速分发

6.5 跨平台一致性

iOS / Android / Mac / Windows 各有方案，输出一致性难保证。

对策：

• 用同一份 GGUF / MLX 权重

• 关键场景做交叉测试

• 业务侧抽象 API，隔离平台差异

七、端侧大模型的未来

7.1 当下趋势

7.1.1 小模型继续变强：4B 追上 70B 是趋势

7.1.2 推理模型蒸馏：R1-Distill 风格普及

7.1.3多模态小模型：视觉 + 语音 + 文本端侧融合

7.1.4NPU 算力翻倍：每代旗舰芯片

7.1.5.OS 原生集成：Apple Intelligence / Android AI / Windows Copilot

7.2 未来 3 年预判

7.3 业务影响

• 云端 LLM 推理需求增速放缓（部分场景被端侧吃掉）

• AI 应用形态转向"端云协同"

• 隐私合规成本下降（数据本地化）

• AI 工程师必须懂端侧栈

八、避坑

8.1 坑 1：盲目追新

对策：不是所有手机都能跑 4B 模型，要做硬件分级。

8.2 坑 2：模型选择错误

对策：中文场景必选 Qwen，英文 + 数学优先 Phi。

8.3 坑 3：忽视量化精度

对策：Q4_K_M 是甜蜜点，不要再降。

8.4 坑 4：电池被骂

对策：明确告诉用户"开启 AI 会耗电"，提供节能模式。

8.5 坑 5：首次下载体验差

对策：渐进式下载 + 友好提示 + 备用云模式。

8.6 坑 6：忽视云端备份

对策：低端机 / 旧机型 fallback 到云端。

九、结语：端侧大模型是 AI 进入「日常生活」的桥梁

1、2026 是端侧大模型真正可用的元年
2、Phi / Gemma / Qwen3 小尺寸 / R1-Distill 是当下主力
3、中文优先 Qwen3，推理优先 R1-Distill，英文 + 代码优先 Phi

4、手机最佳点是 2-4 GB 模型
5、端云协同是 2026 年的标准架构（80% 端、20% 云）
6、NPU 算力翻倍 + 小模型变强 = 端侧 AI 时代来临

参考文献：

端侧大模型：Phi、Gemma 与小模型逆袭