【RAG】【embeddings19】IBM watsonx.ai
案例概述
WatsonxEmbeddings 是 IBM watsonx.ai 嵌入模型的包装器。本示例展示如何使用 LlamaIndex 嵌入 API 与 watsonx.ai 嵌入模型进行通信。
技术栈与核心依赖
- 核心库：llama-index-embeddings-ibm
- 平台：IBM watsonx.ai
- 支持模型：ibm/slate-125m-english-rtrvr 等 IBM 基础模型
- 认证方式：IBM Cloud API 密钥或 Cloud Pak for Data 凭据
环境配置
1. 安装依赖
!pip install -qU llama-index-embeddings-ibm2. 设置 API 密钥
import os from getpass import getpass watsonx_api_key = getpass() os.environ["WATSONX_APIKEY"] = watsonx_api_key3. 设置其他环境变量（可选）
import os os.environ["WATSONX_URL"] = "your service instance url" os.environ["WATSONX_TOKEN"] = "your token for accessing the CPD cluster" os.environ["WATSONX_PASSWORD"] = "your password for accessing the CPD cluster" os.environ["WATSONX_USERNAME"] = "your username for accessing the CPD cluster" os.environ["WATSONX_INSTANCE_ID"] = "your instance_id for accessing the CPD cluster"案例实现
1. 模型参数设置
truncate_input_tokens = 32. 使用 IBM Cloud 凭据初始化 WatsonxEmbeddings
from llama_index.embeddings.ibm import WatsonxEmbeddings watsonx_embedding = WatsonxEmbeddings( model_id="ibm/slate-125m-english-rtrvr", url="https://us-south.ml.cloud.ibm.com", project_id="PASTE YOUR PROJECT_ID HERE", truncate_input_tokens=truncate_input_tokens, )3. 使用 Cloud Pak for Data 凭据初始化
watsonx_embedding = WatsonxEmbeddings( model_id="ibm/slate-125m-english-rtrvr", url="PASTE YOUR URL HERE", username="PASTE YOUR USERNAME HERE", password="PASTE YOUR PASSWORD HERE", instance_id="openshift", version="4.8", project_id="PASTE YOUR PROJECT_ID HERE", truncate_input_tokens=truncate_input_tokens, )4. 嵌入查询
query = "Example query." query_result = watsonx_embedding.get_query_embedding(query) print(query_result[:5])5. 嵌入文本列表
texts = ["This is a content of one document", "This is another document"] doc_result = watsonx_embedding.get_text_embedding_batch(texts) print(doc_result[0][:5])案例效果
通过 WatsonxEmbeddings 类，您可以：
- 使用 IBM watsonx.ai 平台上的嵌入模型
- 通过 get_query_embedding 方法获取查询的嵌入向量
- 通过 get_text_embedding_batch 方法批量获取文本的嵌入向量
- 配置截断输入令牌数量等参数
示例输出
查询嵌入向量（前5个值）：
[-0.05538924, 0.05161056, 0.01207759, 0.0017501727, -0.017691258]文档嵌入向量（前5个值）：
[0.009447167, -0.024981938, -0.02601326, -0.04048393, -0.05780444]案例实现思路
- API 封装：将 IBM watsonx.ai 的嵌入模型 API 封装为 LlamaIndex 标准接口
- 多种认证方式：支持 IBM Cloud API 密钥和 Cloud Pak for Data 两种认证方式
- 参数配置：允许用户自定义模型 ID、项目 ID、截断参数等
- 批量处理：提供批量处理文本嵌入的功能，提高效率
扩展建议
- 添加异步支持以提高大规模处理性能
- 实现缓存机制，减少重复请求
- 添加更多模型配置选项，如温度、最大令牌数等
- 集成更多 IBM watsonx.ai 平台特性，如模型微调、部署等
总结
IBM watsonx.ai 嵌入集成为开发者提供了一个便捷的方式来使用 IBM 云平台上的强大嵌入模型。通过简单的配置，您可以快速集成企业级的嵌入功能到您的应用中，同时利用 IBM watsonx.ai 平台的安全性、可扩展性和可靠性。该集成特别适合那些已经在使用 IBM 云服务或需要企业级 AI 解决方案的开发者。
注意：
- 要为 API 调用提供上下文，必须传递 project_id 或 space_id。要获取项目或空间 ID，请打开您的项目或空间，转到"管理"选项卡，然后单击"常规"。
- 根据您配置的服务实例的区域，使用 watsonx.ai API 身份验证中列出的 URL 之一。
- 您可以在 支持的基础模型 中找到所有可用模型的列表。