5分钟本地跑起大模型
Ollama 是什么？
一个让你在自家电脑上运行大模型的免费工具，相当于大模型的“安装管家”，帮你把复杂的 AI 模型一键下载到本地，不用联网也能用 。
运行本地大模型可以进行微调可以作为个人的知识库，比如模仿作家文风之类的，并且不需要apikey的花费，完全免费。
第一步：装Ollama（就两步）
- 打开官网ollama，根据电脑系统下载,比如Windows版。
- 双击安装，完事。（右下角会出现个小羊驼图标）
第二步：下载模型
现在ollama界面友好了很多，之前需要命令行输入，现在你只需在下拉中选择你想下载安装的大模型。要考虑你的显卡，比如3070左右的显卡可以玩玩8b的模型，3060左右的7b,如果你的显卡很差建议运行1.5b大小的模型。目前国产的模型绝大多数都被限制，比如敏感类的文字
第三步：开始聊天
下载完就可以在对话框中和本地大模型对话了，也可以使用cmd命令对话
如果你觉得CMD界面不好看
- 下载一个叫Chatbox的软件。
- 设置里选模型来源为Ollama。
- 点开就能用，界面和ChatGPT差不多。
总结
后续如果想通过接口调用模型使用ollama也很简单
嫌C盘空间不够：下载前，先点界面里的设置（Settings），把模型存储位置改到其他盘（比如D盘），省得C盘爆红。
喜欢敲命令的：老办法依然管用，按 Win+R 输入 cmd，敲 ollama run deepseek-r1 也一样跑起来。