【零基础入门】本地LLM聊天机器人保姆级教程｜Windows+Mac通用

本文适合：完全不懂Python、AI零基础小白，无需显卡、无需翻墙、无需付费，跟着步骤复制粘贴即可拥有自己的本地AI助手。

🍓 前言

最近本地大模型特别火，很多同学想入门，却被环境配置、模型部署、代码逻辑劝退。
其实跑通一个本地AI聊天机器人根本没那么难，不需要你会写代码，不需要高端显卡，8G内存普通电脑就能流畅运行。

这篇文章是免费入门推广版，步骤精简但足够详细，带你从零搭建一个本地聊天机器人，做完你会发现：AI入门原来这么简单。

一、项目介绍 & 运行要求

1.1 项目是什么？

基于 Ollama + Gradio 实现的本地离线大模型聊天机器人，支持：

• 命令行聊天模式
• 网页可视化聊天界面（类似 ChatGPT）
• 多轮对话记忆
• 自定义AI角色、温度参数等

1.2 电脑配置要求

• 系统：Windows 10/11 或 macOS 10.15+
• 内存：≥8GB（最低要求）
• 硬盘：预留≥5GB空间
• 网络：能正常下载即可

1.3 难度与耗时

• 难度：⭐⭐☆☆☆（纯小白可做）
• 预计时间：40～90 分钟（主要是模型下载时间）

二、需要安装的两个核心工具

只需要装两个软件，全程“下一步”式安装，非常简单。

2.1 安装 Python（项目运行基础）

Windows 安装

1. 进入官网：https://www.python.org/downloads/
2. 下载 Python 3.11 / 3.12 版本
3. 重要：安装界面底部勾选Add Python to PATH
4. 一路默认安装完成

验证是否成功：
按Win + R输入cmd，执行：

python--version

出现版本号即成功。

macOS 安装

打开终端，依次执行：

# 安装homebrew/bin/bash-c"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"# 安装python3.12brewinstallpython@3.12

验证：

python3--version

2.2 安装 Ollama（本地模型一键工具）

Ollama 是目前最简单的本地大模型运行工具，自动管理模型、自动部署服务。

Windows

1. 下载：https://ollama.com/download/windows
2. 运行OllamaSetup.exe，一路下一步
3. 安装后会自动后台运行

macOS

1. 下载：https://ollama.com/download/mac
2. 拖入应用程序即可

验证安装：
新开终端输入：

ollama--version

三、下载轻量AI模型（中文友好、小而快）

我们选用阿里通义 Qwen2.5:0.5b，只有约 400MB，CPU 可流畅运行，中文效果远超同量级模型。

打开 cmd / 终端，直接执行：

ollama pull qwen2.5:0.5b

等待自动下载完成。

查看已下载模型：

ollama list

能看到qwen2.5:0.5b即成功。

四、安装项目依赖库

在 cmd / 终端中执行下面命令，使用清华源加速，国内下载更快：

pipinstallollama gradio-ihttps://pypi.tuna.tsinghua.edu.cn/simple

看到类似如下提示表示安装成功：

Successfully installed ollama… gradio…

五、启动本地AI聊天机器人

5.1 命令行模式（极简快速）

进入项目目录后执行：

python main.py

启动成功后界面：

🤖 本地 LLM 聊天机器人 后端: Ollama(qwen2.5:0.5b) You>

直接输入问题即可对话。

5.2 网页界面模式（推荐体验）

执行：

python main.py--uiweb

在浏览器打开：

http://localhost:7860

你将获得一个完整的聊天界面：

• 左侧聊天区
• 右侧可设置系统提示词、温度、最大长度
• 支持连续对话、清空历史

体验和在线AI几乎一致，但完全本地、不联网、无次数限制。

六、这个本地机器人能用来干嘛？

• 日常问答、科普知识、生活咨询
• 写文案、写标题、写总结
• 学习辅导、解释概念、作业思路
• 简单编程答疑、代码解释
• 翻译、润色、文本优化
• 隐私内容放心问，不会上传任何服务器

七、新手常见报错解决（必看）

7.1 报错：No module named ‘ollama’

原因：依赖未安装或环境未加载
解决：重新执行安装命令

pipinstallollama gradio

7.2 报错：无法连接到 Ollama 服务

原因：Ollama 未启动
解决：新开终端执行

ollama serve

保持窗口打开，再启动机器人。

7.3 模型下载慢/超时

优先使用最小模型：qwen2.5:0.5b，不要盲目下大模型。

7.4 AI 回复特别慢

• 关闭浏览器、微信、游戏等占内存程序
• 只使用 0.5B 小模型
• CPU 机器属于正常现象

八、完整项目源码免费领取

本文所有步骤配套的
项目源码 + 图文步骤文档 + 常见问题汇总
已经打包整理好，完全免费分享，用于小白入门练习。

需要的同学可以：

• 评论区留言：本地AI机器人
• 或者私信我，直接发你全套工程文件

拿到代码后，直接跟着本文一步步走，100%可以跑通。

九、总结

这篇教程是专门为零基础小白设计的免费入门版，不搞复杂理论、不堆专业名词，只讲“怎么做”。

只要你有一台普通电脑，就能拥有一个属于自己的本地私有AI助手，既可以日常使用，也可以作为你踏入AI大模型领域的第一个小项目。

后续我会继续更新：

• 模型更换与优化
• 界面美化与功能增强
• 接入语音、知识库
• 更复杂的本地AI项目

欢迎关注 + 收藏，一起从零入门大模型！