当前位置：首页 > news >正文

Android 手机跑大模型：基于 MLC LLM 将 DeepSeek 部署到手机端，断网也能聊天的“私人助理”

news 2026/3/26 23:17:15

🧐 前言：为什么要要在手机上跑大模型？

云端大模型（如 ChatGPT、DeepSeek 网页版）固然强大，但主要有三个痛点：

隐私顾虑：你的聊天记录都在云端。
网络依赖：没网就变砖，飞机上、地下室无法使用。
延迟：网络波动导致回复一卡一卡的。

利用MLC LLM，我们可以将模型通过TVM编译成手机 GPU (Adreno/Mali) 能听懂的指令，实现本地推理。

⚠️ 硬件门槛预警：

内存 (RAM)：至少8GB（推荐 12GB 或 16GB）。
芯片 (SoC)：推荐骁龙 8 Gen 2 / Gen 3或天玑 9300及以上。
存储：预留至少5GB空间。

🛠️ 第一步：下载并安装 MLC Chat

MLC 官方提供了一个通用的 Android 容器应用MLC Chat，它就像是一个“游戏模拟器”，我们需要做的就是把“游戏卡带”（模型权重）放进去。

获取 APK：

去 GitHub 的 MLC LLM Releases 页面下载最新的app-release.apk。
或者在 Google Play 搜索MLC Chat。

安装：安装到你的 Android 手机上。

📥 第二步：获取 DeepSeek 模型权重 (MLC 格式)

DeepSeek 原生权重是 PyTorch 格式，手机跑不动。我们需要Quantization（量化）到 4-bit 并转换为 MLC 格式。
幸运的是，社区已经有人转好了。

我们以DeepSeek-Coder-6.7B-Instruct或DeepSeek-LLM-7B为例。

方法 A：直接在 App 内下载（如果官方列表有）

打开 MLC Chat。
如果在列表中看到了DeepSeek相关模型，直接点击Download。
注：官方列表更新较慢，通常需要方法 B。

方法 B：添加自定义模型源 (进阶)
我们需要从 HuggingFace 下载转换好的模型。
推荐使用q4f16_1(4-bit 量化，精度损失小，速度快) 版本。

找到模型库：
在 HuggingFace 上搜索mlc-ai/DeepSeek-Coder-V2-Lite-Instruct-q4f16_1-MLC(举例，具体视你想跑的版本而定)。

注意：手机端通常跑 7B 左右参数量的版本，不要尝试 67B 的 MoE 版本，手机会炸。

获取配置文件：
你需要一个libs配置。在 App 中点击右上角的设置或者Add Model URL。
输入类似以下的 JSON 配置（指向 HuggingFace 的 raw 地址）：

{"model_url":"https://huggingface.co/mlc-ai/DeepSeek-Coder-V2-Lite-Instruct-q4f16_1-MLC","model_lib_url":"https://raw.githubusercontent.com/mlc-ai/binary-mlc-llm-libs/main/web-llm-models/v0_2_48/DeepSeek-Coder-V2-Lite-Instruct-q4f16_1-ctx4k-webgpu.wasm"}

(注：model_lib_url 极其重要，它对应着针对手机 GPU 编译好的二进制库。如果找不到 DeepSeek 专用的，有时通用的 Llama 架构库也能跑，但建议去 MLC Discord 寻找最新的 config).

🏗️ 第三步：手动导入模型数据 (最稳妥方案)

由于手机下载 HuggingFace 很慢且不稳定，推荐用电脑下载后拷贝到手机。

电脑下载模型：
访问 HuggingFace，下载DeepSeek-Coder-7B-q4f16_1-MLC仓库下的所有文件：

ndarray-cache.json
params_shard_*.bin(权重分片文件)
mlc-chat-config.json

拷贝到手机：
将手机连接电脑，在手机存储根目录下找到（或创建）以下路径：
/Android/data/ai.mlc.mlcchat/files/
创建一个文件夹叫dist，把下载的模型文件夹扔进去。
例如：/Android/data/ai.mlc.mlcchat/files/dist/DeepSeek-7B/
注册模型：
在同一目录下（files/），找到app_config.json。编辑它，把你的模型加进去：

"model_list":[{"model_id":"DeepSeek-7B","model_lib":"llama-q4f16_1",// DeepSeek 7B 通常兼容 Llama 架构"model_path":"dist/DeepSeek-7B"}]

🚀 第四步：开始离线聊天！

彻底关闭并重启 MLC Chat App。
你应该能看到DeepSeek-7B出现在列表中，且状态为 Ready。
点击进入聊天界面。
初始化：第一次加载会比较慢（系统在从存储加载权重到内存），大约需要 10-20 秒。
测试：输入“你好，你是谁？”，或者“写一个 Python 冒泡排序”。

预期性能：

骁龙 8 Gen 2：生成速度大约10 - 15 tokens/sec。这意味着阅读速度跟得上生成速度，体验非常流畅。
发热：运行 5 分钟后，摄像头附近会明显发热。这是正常的，因为 GPU 在满载跑矩阵运算。

💡 进阶玩法：把它变成真正的“助手”

既然是离线模型，我们可以做什么？

飞行模式下的翻译官：
DeepSeek 的中英互译能力极强。在飞机上出国时，直接用它翻译复杂的菜单或文档。
Prompt: “请将以下英文段落翻译成信达雅的中文：…”
断网写代码：
DeepSeek-Coder 是写代码的神器。
Prompt: “用 Kotlin 写一个 Android 的 OkHttp 请求工具类，包含重试机制。”
隐私日记分析：
你可以把心里话发给它，让它做心理疏导。因为没有数据上传，绝对安全。