https://www.langchain.com.cn/docs/how_to/local_llms/
像 llama.cpp、Ollama、GPT4All、llamafile 等项目的流行突显了在本地（在您自己的设备上）运行大型语言模型（LLMs）的需求。
这至少有两个重要的好处：
隐私：您的数据不会发送给第三方，也不受商业服务条款的约束。成本：没有推理费用，这对于需要大量令牌的应用程序（例如，长时间运行的模拟、摘要）非常重要。
https://www.langchain.com.cn/docs/how_to/local_llms/
像 llama.cpp、Ollama、GPT4All、llamafile 等项目的流行突显了在本地（在您自己的设备上）运行大型语言模型（LLMs）的需求。
这至少有两个重要的好处：
隐私：您的数据不会发送给第三方，也不受商业服务条款的约束。成本：没有推理费用，这对于需要大量令牌的应用程序（例如，长时间运行的模拟、摘要）非常重要。