如何在Oracle Agent Factory中配置国内厂商的LLM？
目前Oracle PAF（Private Agent Factory）官方提供配置，LLM providers只有OCI GenAI、OpenAI、Gemini以及vLLM和Ollama的方式。
如果想用国内LLM或者其他中转的LLM，通常是兼容OpenAI的模式，但是OpenAI这里配置是写死的，无法自定义baseurl：
如果想直接通过vLLM配置，默认无法指定api key：
看来默认就无法使用其他LLM了？已跟PM反馈过此问题，回复后续版本会考虑支持这个OpenAI兼容的LLM配置。
但是目前有没有workaround呢？实际测试，通过Nginx配置结合vLLM的入口，可以实现连通国内LLM模型。
下面以配置官方DeepSeek的api为例，参考步骤如下：
1.配置Nginx转发策略
安装Nginx软件，然后进入到Nginx配置目录：
cd /etc/nginx/conf.d/ |
新增一个配置文件llm_deepseek.conf，内容如下：
cat llm_deepseek.conf 文本内容如下，方便粘贴:
注意 ：
sk-your_api_key要替换成自己的真实apikey- 自定义配置监听的端口，这里设置的
4001
server { |
listen 4001; |
# 1. 定义 DNS 解析器（这里用谷歌和腾讯的公共DNS，让Nginx能解析api.deepseek.com） |
resolver 8.8.8.8 119.29.29.29 valid=300s; |
resolver_timeout 5s; |
location /v1/ { |
# 2. 转发目标 |
proxy_pass https://api.deepseek.com/v1/; |
# 3. 核心修复：开启 SSL SNI 支持，并透传正确的 Host |
proxy_ssl_server_name on; |
proxy_ssl_name api.deepseek.com; |
proxy_set_header Host api.deepseek.com; |
# 4. 你的业务请求头 |
proxy_set_header Authorization "Bearer sk-your_api_key"; |
proxy_set_header Content-Type "application/json"; |
# 5. 建议加上这些，防止大模型流式传输（Stream）时被 Nginx 缓存导致卡顿 |
proxy_http_version 1.1; |
proxy_set_header Connection ""; |
proxy_buffering off; |
} |
} |
重启Nginx生效配置：
sudo systemctl restart nginx |
2.在PAF中配置通过本地转发的LLM
测试连接成功，然后在一个自定义的flow中，设置成这个通过自定义转发到官方DeepSeek的LLM进行连通性测试：
测试成功：
注：这不是官方认可的方式，也不算最佳实践，只是作为现阶段当PAF必须要用国内LLM场景的workaround。