当前位置: 首页 > news >正文

本地大模型运行、训练、微调全搞定,4GB RAM轻松运行4B模型!

Unsloth Studio是一个本地Web UI工具,集成了大模型下载、运行、训练、微调、导出以及数据集处理等功能。它支持GGUF和safetensors格式的模型,兼容Windows、Mac、Linux系统,并提供数据集整理、生成、训练过程可视化、模型对比等功能。此外,它还支持Tool Calling、代码执行、网络搜索等高级功能,为用户打造了一个完整的本地AI工作台。


Unsltoh 刚刚放出的 Studio 有点东西

大模型下载、运行、训练、微调、导出、数据集处理都串起来到了统一入口

还有个示例:Qwen3.5-4B 搜索了 20 多个网站,引用了其来源,并找到了最佳答案!

通过 Unsloth Studio 仅用 4GB RAM 本地运行, 4B 模型通过在思考过程中直接执行工具调用+网络搜索实现

简介

一句话说,Unsloth Studio 是 一个本地 Web UI,用来统一做模型运行、数据处理、训练和导出

下图是官方 README 给出的主界面截图,整体就是一个很典型的本地 AI 控制台:

Unsloth Studio 主界面

  • 模型支持:本地运行 GGUF 和 safetensors 格式的模型,支持文本、视觉、TTS、Embedding 等多种模型类型
  • 平台兼容:支持 Windows、Mac、Linux 系统
  • 训练与微调:提供数据集整理与生成、训练过程可视化、模型对比(Model Arena)功能,并可使用 AI 助手对音频、视觉、LLM 进行微调,支持导出 GGUF 和 safetensors 模型
  • 数据工具:提供数据设计、合成数据生成、快速并行数据准备及嵌入微调工具
  • 交互界面:聊天界面集成自动修复、工具调用、Python & Bash 代码执行、网络搜索、以及图像与文档输入功能

这类产品最怕的一点就是摊子铺得很大,最后每一块都只做了个皮毛

但 Unsloth Studio 现在给我的感觉是,方向对了,而且它抓的几个点很懂实际用户:

  • 你可以直接搜模型、跑模型
  • 你可以上传 PDF、CSV、JSON、DOCX 这些文件
  • 你可以把训练后的模型继续导出到 llama.cpp、vLLM、Ollama 这些栈里
  • 它甚至把 Tool Calling、Web Search、代码执行也放进了 Studio Chat

对于“我既想本地跑一下,又想继续微调一下,再顺手导出来接现有系统”的用户,这套思路很顺

功能亮点

我把最值得关注的几个点拎出来

1. 本地跑大模型,入口更统一了

它支持搜索和运行 GGUF、safetensors 模型,也支持图片、文档、音频、代码文件上传。

把“本地模型桌面化”,风格上很像把本地模型管理、聊天、参数调节整合到了一起:

Unsloth Studio 运行模型界面

2. 它把 Tool Calling 和代码执行也塞进来了

这一点我挺喜欢

很多本地 UI 做到聊天就停了,能跑工具、能执行 Bash 和 Python 的并不多。

Unsloth Studio 支持代码执行、Web Search,以及所谓的 self-healing tool calling。

这个方向一旦成熟,对本地 Agent 会非常有意思

3. Data Recipes 很像它的隐藏大招

官方一直在强调 Data Recipes

简单理解,就是你把 PDF、CSV、JSON 这些资料丢进去,它帮你转成可用的数据集,走的是图节点工作流,底层是 NVIDIA Nemo Data Designer

如果它后续稳定下来,这个价值其实不小

因为大量微调项目最麻烦的环节,就是前面那堆数据整理

官方截图如下:

Unsloth Studio Data Recipes

4. 训练过程可视化和导出能力也做进去了

这两块我觉得挺实用:

  • Observability:实时看训练 loss、gradient norm、GPU 使用率
  • Export / Save models:导出 GGUF、16-bit safetensors,继续接 llama.cpp、vLLM、Ollama

这就很像一个真正围绕“训练闭环”做的产品,而不是单纯套了一层聊天壳子

Unsloth Studio Observability

安装

安装方式非常直接,MacOS、Linux、WSL:

curl -fsSL https://raw.githubusercontent.com/unslothai/unsloth/main/install.sh | sh

它做了下面几件事:

  1. 检查系统依赖,比如cmakegit
  2. 自动安装uv
  3. 创建名为unsloth_studio的虚拟环境
  4. 执行uv pip install unsloth --torch-backend=auto
  5. 最后再跑unsloth studio setup

Windows Powershell

安装完成后,启动命令如下:

```plaintext
source unsloth_studio/bin/activateunsloth studio -H 0.0.0.0 -p 8888

浏览器打开: ```plaintext http://localhost:8888

首次启动会要求你创建密码,然后进入一个 onboarding 向导,选择模型、数据集和一些基础配置

安装体验

这条一键命令确实省心,但首装并不算快

我这边日志里,依赖解析就花了大约 2 分钟,随后开始下载和安装torchtransformerspyarrowtokenizersdiffusersunsloth等包。

你如果看到终端一段时间没有明显新输出,不用太慌,大概率还在后台继续拉依赖。

我这次在本机实测时,一键安装脚本跑了 35 分钟,进程依然停留在uv pip install unsloth --torch-backend=auto这一步。

官方文档里也专门提醒了首装可能需要 5 到 10 分钟,原因是后面还会涉及llama.cpp相关构建。

这一点我很建议大家有点耐心,别看到安静了就顺手Ctrl + C。但如果你本地也卡到半小时以上,我建议你去看一下网络、镜像源、磁盘空间,以及uv的下载缓存。

一个需要注意的小细节

更新说明里,官方写了 MacOS 和 CPU 已经启用了 Data Recipes;

但安装页和系统要求页里,又依然写着 Mac 和 CPU 当前主要支持 Chat,训练部分还要再等等。

所以更稳妥的理解方式是:

  • Windows、Linux、WSL 是当前主战场
  • NVIDIA GPU 用户可以把训练能力作为重点来看
  • Mac 用户当前先把它当成本地聊天和工作流入口

适合谁

下面这几类用户,我觉得 Unsloth Studio 很值得盯一下:

  • 想本地跑模型,又不想一直在命令行里切来切去
  • 已经在玩 GGUF、Ollama、llama.cpp、vLLM,想找一个统一入口
  • 想从“跑模型”继续往“做数据、做训练、做导出”再走一步
  • 想研究本地 Agent、Tool Calling、代码执行这类能力

如果你只是想要一个极致稳定、只负责聊天的本地工具,那它当前这个 Beta 状态还需要你多一点耐心。

2026年AI行业最大的机会,毫无疑问就在应用层

字节跳动已有7个团队全速布局Agent

大模型岗位暴增69%,年薪破百万!

腾讯、京东、百度开放招聘技术岗,80%与AI相关……

如今,超过60%的企业都在推进AI产品落地,而真正能交付项目的大模型应用开发工程师**,**却极度稀缺!

落地AI应用绝对不是写几个prompt,调几个API就能搞定的,企业真正需要的,是能搞定这三项核心能力的人:

✅RAG:融入外部信息,修正模型输出,给模型装靠谱大脑

✅Agent智能体:让AI自主干活,通过工具调用(Tools)环境交互,多步推理完成复杂任务。比如做智能客服等等……

✅微调:针对特定任务优化,让模型适配业务

目前,脉脉上有超过1000家企业发布大模型相关岗位,人工智能岗平均月薪7.8w!实习生日薪高达4000!远超其他行业收入水平!

技术的稀缺性,才是你「值钱」的关键!

具备AI能力的程序员,比传统开发高出不止一截!有的人早就转行AI方向,拿到百万年薪!👇🏻👇🏻

AI浪潮,正在重构程序员的核心竞争力!现在入场,仍是最佳时机!

我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

⭐️从大模型微调到AI Agent智能体搭建

剖析AI技术的应用场景,用实战经验落地AI技术。从GPT到最火的开源模型,让你从容面对AI技术革新!

大模型微调

  • 掌握主流大模型(如DeepSeek、Qwen等)的微调技术,针对特定场景优化模型性能。

  • 学习如何利用领域数据(如制造、医药、金融等)进行模型定制,提升任务准确性和效率。

RAG应用开发

  • 深入理解检索增强生成(Retrieval-Augmented Generation, RAG)技术,构建高效的知识检索与生成系统。
  • 应用于垂类场景(如法律文档分析、医疗诊断辅助、金融报告生成等),实现精准信息提取与内容生成。

AI Agent智能体搭建

  • 学习如何设计和开发AI Agent,实现多任务协同、自主决策和复杂问题解决。
  • 构建垂类场景下的智能助手(如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等)。

如果你也有以下诉求:

快速链接产品/业务团队,参与前沿项目

构建技术壁垒,从竞争者中脱颖而出

避开35岁裁员危险期,顺利拿下高薪岗

迭代技术水平,延长未来20年的新职业发展!

……

那这节课你一定要来听!

因为,留给普通程序员的时间真的不多了!

立即扫码,即可免费预约

「AI技术原理 + 实战应用 + 职业发展

「大模型应用开发实战公开课」

👇👇

👍🏻还有靠谱的内推机会+直聘权益!!

完课后赠送:大模型应用案例集、AI商业落地白皮书

http://www.jsqmd.com/news/826103/

相关文章:

  • msphpsql高级功能深度解析:Always Encrypted、数据分类和表值参数全面指南
  • Python-ADB协议实现原理:深入理解ADB和Fastboot通信机制
  • 构建个人知识库:从代码仓库到第二大脑的实践指南
  • FS8024A芯片实现USB-C PD诱骗:打造TYPE-C转DC电源转接头方案
  • AI LED调光驱动电源智能功率 MOSFET 完整选型方案
  • Blender FLIP Fluids域设置详解:如何优化模拟精度与性能
  • AI智能体钩子模式:用JSON Schema构建标准化交互协议
  • SDLPAL图形渲染技术揭秘:OpenGL与Shader的完美结合
  • DevUI布局系统完全指南:响应式设计的终极解决方案
  • 基于知识图谱构建个人第二大脑:从原理到实践
  • GraphQL-WS服务器配置:完整参数详解与最佳实践
  • 联想M920x黑苹果终极指南:3个关键步骤打造完美macOS工作站
  • Git 怎么只拉取特定目录文件而不克隆整个仓库
  • 自托管GitHub数据看板:从架构设计到部署运维的实战指南
  • ARM调试寄存器详解:EDITCTRL与EDPRCR应用指南
  • 命令行控制中心:提升开发效率的聚合与自动化工具
  • Arm Iris Components调试与追踪接口技术解析
  • erd入门教程:5分钟学会创建你的第一个数据库ER图
  • AI与Web3融合:Solana开发者工具箱core-ai架构解析与实践
  • ChanlunX:重新定义缠论技术分析的开源架构与创新实现
  • UTF8-CPP跨版本兼容性指南:从C++98到C++20的完整支持
  • 强力备份QQ空间历史说说的完整解决方案
  • AI LED调光落地灯智能功率 MOSFET 完整选型方案
  • AI技能实战:本地部署大模型构建智能摘要工具
  • Cheshire Cat AI Core:开源AI应用框架架构解析与实战部署指南
  • leetcode279.完全平方数
  • Copaw多智能体系统:从架构设计到实战应用的深度解析
  • Arm Neoverse CMN-650架构与寄存器编程详解
  • TV Bro电视浏览器:如何让Android电视真正成为你的智能上网终端?
  • 动物常见图像的图像分类数据集