在cline中使用多个OpenAI Compatible

1 在 cline 中使用多个 OpenAI Compatible

从这篇博文中获得了灵感，https://github.com/cline/cline/discussions/386 ，使用 litellm, docker 容器的方法（成功））

借鉴 LiteLLM - 入门指南 | liteLLM 中文文档 。网上的教程都是在通过代码调用，对于我这个小白来说太难了。

借助 UI 具体操作如下：

1.1 安装 docker

• 步骤1：下载Docker Desktop
  • 访问 Docker官网
    • 下载Docker Desktop for Windows
  • 使用PowerShell命令：

winget install Docker.DockerDesktop

• 步骤2：安装和启动

  • 双击下载的安装包
  • 按照向导完成安装
  • 安装完成后，启动Docker Desktop

• 步骤3：验证安装

# 检查Docker版本
docker --version# 检查Docker服务状态
docker info# 测试Hello World
docker run hello-world

1.2 部署 Litellm

要开始使用 Litellm，请在 shell 中运行以下命令

# Get the code
git clone https://github.com/BerriAI/litellm# Go to folder
cd litellm# Add the master key - you can change this after setup
echo 'LITELLM_MASTER_KEY="sk-1234"' > .env# Add the litellm salt key - you cannot change this after adding a model
# It is used to encrypt / decrypt your LLM API Key credentials
# We recommend - https://1password.com/password-generator/ 
# password generator to get a random hash for litellm salt key
echo 'LITELLM_SALT_KEY="sk-1234"' >> .envsource .env# Start
docker-compose up

1.3 设置 Litellm

打开 docker，进入 Containers，点击 4000：4000

进入页面如下，点击 标红区域

点击 Virtual Keys, 创建一个 key，主要填写 Name 和 Models，我们自己部署是最高权限咯

在 4000 里面进行模型设置。这里有个坑，在选择了协议之后，还需要添加 openai/

在往下翻，填写 API，我这里用的还是 小马算力 的，点击右下方的 Test Connect,按照本文流程基本都能成功。

弹出这个页面，就是连接成功了。

1.4 配置 cline

最后一步，配置 cline。将之前我们创建的 Virtual Keys填进去

配置好了就大功告成了。