一个就够了!一款All‑in‑One的AI工具,NAS部署AnythingLLM
一个就够了!一款All‑in‑One的AI工具,NAS部署AnythingLLM
哈喽小伙伴们好,我是Stark-C~
不知道各位最近折腾AI有没有很头大:市面上的AI工具那么多,好用是好用,但因为功能导向太分散,所以我们一般都是好几个AI工具同时使用。。
比如说我聊天用一个、读文档用一个、跑 Agent 又是另一个。因为他们每个工具都有自己的界面、自己的账号体系、自己的模型设置,所以管理起来总感觉有些混乱,自己用起来也感觉是越来越累~
既然咱们NAS玩家在折腾的时候都喜欢All‑in‑One,那么AI工具能不能也All‑in‑One,一次性全给我们整合了?
答案是必须的,它就是我今天给大家分享的『AnythingLLM』。
关于AnythingLLM
🔺AnythingLLM是一个能把所有 AI 能力集中管理、统一使用的本地 AI 平台。它把我们日常最常用的 AI 功能:聊天、文档问答、知识库、AI Agents、多用户管理等全部整合到一个统一的界面里,让普通用户也能轻松搭建属于自己的“AI 中控台”。
项目Github地址:https://github.com/Mintplex-Labs/anything-llm
项目亮点特色:
1,真正的 All‑in‑One:我们不再需要装一堆 AI 工具,AnythingLLM 把常用功能全整合了,比如说聊天、文档问答、知识库、AI Agents自动化任务、多模型切换等,总之就是一个工具搞定所有 AI 功能,并且还界面统一、体验一致。
2,成熟的文档问答:AnythingLLM 支持 PDF、Word、PPT、TXT、网页等多种文档,只要我们把这些文档拖进去,它就能直接给我们总结、提取重点、回答问题,或者生成报告,做对比分析等。
3,AI Agents自动化处理任务:它还和当前大火的小龙虾智能体一样,内置 Agent 能力,可以让 AI 自动执行任务,例如:自动搜索资料、自动写报告、自动整理内容、自动处理多步骤任务等,我们只需要一个指令,它就能自己跑流程。
4,多模型支持:它支持的AI大模型也是非常丰富,不管是主流的云端模型(几乎国内外能叫上名的),还是本地Ollama大模型它全部都支持,并且还能再使用的时候自由切换,非常方便。
5,多用户支持:AnythingLLM 支持多用户账号与权限管理,并且还有独立工作区与独立模型配置,我们在NAS里部署好之后可以分享给家人或者同事使用,并且互不干扰。
AnythingLLM部署
🔺本次部署我依然以极空间NAS为例,打开文件管理器,在Docker目录下新建一个“anythingllm”的文件夹。
🔺然后点击极空间NAS的“Docker”应用,点击【Compose】 > 【新增项目】。
🔺在“创建项目”页面自定义项目名称,“存储位置”需要手动选择我们前面新建的go-novel-dl文件夹,勾选下方的“所有合规文件夹添加最大读写权限”,最后输入以下 Docker Compose 配置信息后点“创建”按钮:
services: anythingllm: image: mintplexlabs/anythingllm:latest container_name: anythingllm ports: - "3041:3001" #项目打开端口,冒号前面请勿冲突 cap_add: - SYS_ADMIN environment: - STORAGE_DIR=/app/server/storage - JWT_SECRET=d4f9c3a8e72b4f1c9d8e2f7b1a6c4e93f0b7d2a1c8e4f6b2d9a3c7e1f5b0d4a - TZ=Asia/Shanghai volumes: - ./storage:/app/server/storage restart: unless-stopped
以上代码需要修改的地方就看我给到的中文注释,其它的直接保持默认即可。镜像的拉取需要自行解决网络问题,粘贴到自己的NAS这边之前建议使用AI工具优化一下,以防止格式问题造成的部署失败。
🔺项目部署之后可以看到容器显示“正常”,就说明可以使用了!
AnythingLLM体验
🔺项目的打开方式没什么特别,直接浏览器地址栏输入【IP:端口号】即可,如果你有外网使用需求,也可以直接通过项目自带的“远程访问”一键打开,当然这个也是极空间用户的专属福利了。
🔺AnythingLLM是原生支持中文,这一点还是非常不错的。可以看到它的界面还是很简洁的,乍一看貌似和我们常见的LLM差不多,不过我们还是需要先配置大模型后才能使用。点击左下角的“设置”按钮。
🔺它需要的大模型类型还是挺多的,包括大语言文本对话、向量、Embedding、语音等,我们需要尽可能的把所有它支持的大模型能力都准备齐全。
🔺好在它支持的模型服务商其实还是挺全的,国内外主流大模型厂商它这里都有,并且它也是原生支持本地大模型Ollama。就算它这里没有列出来,它也是支持OpenAI兼容协议的模型服务商,比如说国内的硅基流动。
PS:硅基流动拥有极其丰富的模型矩阵,包括语言、图像 、 视频 、语音等均有涉及。硅基流动目前对所有在注册后首次完成有效实名认证的用户(含新注册与既有用户),免费赠送1 张面值 ¥16 的全站通用「认证奖励券」。活动可以通过官网,或者我的邀请链接【硅基流动统一登录】获取。
🔺我这里因为需要使用硅基流动大模型,所以选择的LLM提供商选择的是“Generic OpenAI”,然后按要求输入对应的Base URL和API Key,在选择对应的模型就可以了。
🔺嵌入模型也可以使用硅基流动提供的。
🔺语音和讲话模型没有也没关系,它默认是直接启用的浏览器自带的。
🔺配置好大模型之后我们现在就可以正常聊天了。但是如果只是纯粹聊天我们肯定是用不着搭建这个项目的,它的价值在于它有专属的工作区,我们可以把大模型接入到文件、知识库、工作流和自动化任务里,让 AI 真正参与到日常工作中。
🔺我们可以直接把本地几乎所有的文件都直接上传到它的工作区,或者是网站的链接也能添加到它的工作区。
🔺不仅如此,它甚至还打通了我们个人私有仓库,包括本地数据库,Obsidian知识库等,还是非常强大的。
🔺添加进来的文件或者链接需要点击“保存并嵌入”。
🔺这个时候我们回到聊天窗口,在找它回答问题的时候,它默认就会从工作区里的文件文档中找答案,而这不正是我们需要的本地知识库问答吗?
🔺你以为这就完了?不止呢!它还能和小龙虾一样真正干活,不过在这之前我们需要手动在设置里面开启代理技能。为什么它默认没有开启呢?因为很多技能可能会更改我们工作区原有的文件文档,引起不必要的风险。当我们手动开启之后,也就意味着你已经接受了这个这个风险,所以我们后面操作就要更加谨慎,确保每一步都在我们可控范围内。
🔺比如说我现在可以让它把我工作区所有的文件文档整理成列表。
🔺还能让它在列表前面加上编号排序。
🔺最爽的是它给出的列表是直接可用的,我直接复制粘贴,效果就出来了,这可比我自己手动创建不知道快了多少倍!
🔺项目支持的功能还很多,比如说多用户,甚至还支持多客户端,有兴趣的可以自己到项目里体验一下,鉴于篇幅关系,我这里就不一一演示了。
最后
总的来说,今天的这个项目还是非常实用的,如果说你想在一个项目上体验AI的多种形态,那它可能就是你最理想的选择。
好了,以上就是今天给大家分享的内容,我是爱分享的Stark-C,如果今天的内容对你有帮助请记得收藏,顺便点点关注,咱们下期再见!谢谢大家~
