本地大模型运行、训练、微调全搞定,4GB RAM轻松运行4B模型!
Unsloth Studio是一个本地Web UI工具,集成了大模型下载、运行、训练、微调、导出以及数据集处理等功能。它支持GGUF和safetensors格式的模型,兼容Windows、Mac、Linux系统,并提供数据集整理、生成、训练过程可视化、模型对比等功能。此外,它还支持Tool Calling、代码执行、网络搜索等高级功能,为用户打造了一个完整的本地AI工作台。
Unsltoh 刚刚放出的 Studio 有点东西
大模型下载、运行、训练、微调、导出、数据集处理都串起来到了统一入口
还有个示例:Qwen3.5-4B 搜索了 20 多个网站,引用了其来源,并找到了最佳答案!
通过 Unsloth Studio 仅用 4GB RAM 本地运行, 4B 模型通过在思考过程中直接执行工具调用+网络搜索实现
简介
一句话说,Unsloth Studio 是 一个本地 Web UI,用来统一做模型运行、数据处理、训练和导出
下图是官方 README 给出的主界面截图,整体就是一个很典型的本地 AI 控制台:
Unsloth Studio 主界面
- 模型支持:本地运行 GGUF 和 safetensors 格式的模型,支持文本、视觉、TTS、Embedding 等多种模型类型
- 平台兼容:支持 Windows、Mac、Linux 系统
- 训练与微调:提供数据集整理与生成、训练过程可视化、模型对比(Model Arena)功能,并可使用 AI 助手对音频、视觉、LLM 进行微调,支持导出 GGUF 和 safetensors 模型
- 数据工具:提供数据设计、合成数据生成、快速并行数据准备及嵌入微调工具
- 交互界面:聊天界面集成自动修复、工具调用、Python & Bash 代码执行、网络搜索、以及图像与文档输入功能
这类产品最怕的一点就是摊子铺得很大,最后每一块都只做了个皮毛
但 Unsloth Studio 现在给我的感觉是,方向对了,而且它抓的几个点很懂实际用户:
- 你可以直接搜模型、跑模型
- 你可以上传 PDF、CSV、JSON、DOCX 这些文件
- 你可以把训练后的模型继续导出到 llama.cpp、vLLM、Ollama 这些栈里
- 它甚至把 Tool Calling、Web Search、代码执行也放进了 Studio Chat
对于“我既想本地跑一下,又想继续微调一下,再顺手导出来接现有系统”的用户,这套思路很顺
功能亮点
我把最值得关注的几个点拎出来
1. 本地跑大模型,入口更统一了
它支持搜索和运行 GGUF、safetensors 模型,也支持图片、文档、音频、代码文件上传。
把“本地模型桌面化”,风格上很像把本地模型管理、聊天、参数调节整合到了一起:
Unsloth Studio 运行模型界面
2. 它把 Tool Calling 和代码执行也塞进来了
这一点我挺喜欢
很多本地 UI 做到聊天就停了,能跑工具、能执行 Bash 和 Python 的并不多。
Unsloth Studio 支持代码执行、Web Search,以及所谓的 self-healing tool calling。
这个方向一旦成熟,对本地 Agent 会非常有意思
3. Data Recipes 很像它的隐藏大招
官方一直在强调 Data Recipes
简单理解,就是你把 PDF、CSV、JSON 这些资料丢进去,它帮你转成可用的数据集,走的是图节点工作流,底层是 NVIDIA Nemo Data Designer
如果它后续稳定下来,这个价值其实不小
因为大量微调项目最麻烦的环节,就是前面那堆数据整理
官方截图如下:
Unsloth Studio Data Recipes
4. 训练过程可视化和导出能力也做进去了
这两块我觉得挺实用:
- Observability:实时看训练 loss、gradient norm、GPU 使用率
- Export / Save models:导出 GGUF、16-bit safetensors,继续接 llama.cpp、vLLM、Ollama
这就很像一个真正围绕“训练闭环”做的产品,而不是单纯套了一层聊天壳子
Unsloth Studio Observability
安装
安装方式非常直接,MacOS、Linux、WSL:
curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/main/install.sh | sh它做了下面几件事:
- 检查系统依赖,比如
cmake、git - 自动安装
uv - 创建名为
unsloth_studio的虚拟环境 - 执行
uv pip install unsloth --torch-backend=auto - 最后再跑
unsloth studio setup
Windows Powershell
安装完成后,启动命令如下:
```plaintext
source unsloth_studio/bin/activateunsloth studio -H 0.0.0.0 -p 8888
浏览器打开: ```plaintext http://localhost:8888首次启动会要求你创建密码,然后进入一个 onboarding 向导,选择模型、数据集和一些基础配置
安装体验
这条一键命令确实省心,但首装并不算快
我这边日志里,依赖解析就花了大约 2 分钟,随后开始下载和安装torch、transformers、pyarrow、tokenizers、diffusers、unsloth等包。
你如果看到终端一段时间没有明显新输出,不用太慌,大概率还在后台继续拉依赖。
我这次在本机实测时,一键安装脚本跑了 35 分钟,进程依然停留在uv pip install unsloth --torch-backend=auto这一步。
官方文档里也专门提醒了首装可能需要 5 到 10 分钟,原因是后面还会涉及llama.cpp相关构建。
这一点我很建议大家有点耐心,别看到安静了就顺手Ctrl + C。但如果你本地也卡到半小时以上,我建议你去看一下网络、镜像源、磁盘空间,以及uv的下载缓存。
一个需要注意的小细节
更新说明里,官方写了 MacOS 和 CPU 已经启用了 Data Recipes;
但安装页和系统要求页里,又依然写着 Mac 和 CPU 当前主要支持 Chat,训练部分还要再等等。
所以更稳妥的理解方式是:
- Windows、Linux、WSL 是当前主战场
- NVIDIA GPU 用户可以把训练能力作为重点来看
- Mac 用户当前先把它当成本地聊天和工作流入口
适合谁
下面这几类用户,我觉得 Unsloth Studio 很值得盯一下:
- 想本地跑模型,又不想一直在命令行里切来切去
- 已经在玩 GGUF、Ollama、llama.cpp、vLLM,想找一个统一入口
- 想从“跑模型”继续往“做数据、做训练、做导出”再走一步
- 想研究本地 Agent、Tool Calling、代码执行这类能力
如果你只是想要一个极致稳定、只负责聊天的本地工具,那它当前这个 Beta 状态还需要你多一点耐心。
2026年AI行业最大的机会,毫无疑问就在应用层!
字节跳动已有7个团队全速布局Agent
大模型岗位暴增69%,年薪破百万!
腾讯、京东、百度开放招聘技术岗,80%与AI相关……
如今,超过60%的企业都在推进AI产品落地,而真正能交付项目的大模型应用开发工程师**,**却极度稀缺!
落地AI应用绝对不是写几个prompt,调几个API就能搞定的,企业真正需要的,是能搞定这三项核心能力的人:
✅RAG:融入外部信息,修正模型输出,给模型装靠谱大脑
✅Agent智能体:让AI自主干活,通过工具调用(Tools)环境交互,多步推理完成复杂任务。比如做智能客服等等……
✅微调:针对特定任务优化,让模型适配业务
目前,脉脉上有超过1000家企业发布大模型相关岗位,人工智能岗平均月薪7.8w!实习生日薪高达4000!远超其他行业收入水平!
技术的稀缺性,才是你「值钱」的关键!
具备AI能力的程序员,比传统开发高出不止一截!有的人早就转行AI方向,拿到百万年薪!👇🏻👇🏻
AI浪潮,正在重构程序员的核心竞争力!现在入场,仍是最佳时机!
我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
⭐️从大模型微调到AI Agent智能体搭建
剖析AI技术的应用场景,用实战经验落地AI技术。从GPT到最火的开源模型,让你从容面对AI技术革新!
大模型微调
掌握主流大模型(如DeepSeek、Qwen等)的微调技术,针对特定场景优化模型性能。
学习如何利用领域数据(如制造、医药、金融等)进行模型定制,提升任务准确性和效率。
RAG应用开发
- 深入理解检索增强生成(Retrieval-Augmented Generation, RAG)技术,构建高效的知识检索与生成系统。
- 应用于垂类场景(如法律文档分析、医疗诊断辅助、金融报告生成等),实现精准信息提取与内容生成。
AI Agent智能体搭建
- 学习如何设计和开发AI Agent,实现多任务协同、自主决策和复杂问题解决。
- 构建垂类场景下的智能助手(如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等)。
如果你也有以下诉求:
快速链接产品/业务团队,参与前沿项目
构建技术壁垒,从竞争者中脱颖而出
避开35岁裁员危险期,顺利拿下高薪岗
迭代技术水平,延长未来20年的新职业发展!
……
那这节课你一定要来听!
因为,留给普通程序员的时间真的不多了!
立即扫码,即可免费预约
「AI技术原理 + 实战应用 + 职业发展」
「大模型应用开发实战公开课」
👇👇
👍🏻还有靠谱的内推机会+直聘权益!!
完课后赠送:大模型应用案例集、AI商业落地白皮书
