使用向量数据库实现RAG功能

一、文本嵌入Embedding模型
向量化一段文本的时候，经常用到all-MiniLM-L6-v2，它是一个轻量级的文本嵌入Embedding模型，专门把文字转成数字向量，给RAG做语义检索用。

命令行通过cd命令进入Python工程的所在目录，再执行下面的模型下载命令，可将all-MiniLM-L6-v2保存到本地目录：

modelscope download --model sentence-transformers/all-MiniLM-L6-v2 --local_dir all-MiniLM-L6-v2
接着编写下面的Python代码，就表示把指定文本转成数字向量，也就是对文本做向量化处理：

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(“./all-MiniLM-L6-v2”)
vectors = model.encode(“什么是RAG”)
二、向量检索库FAISS
把文本向量化之后，还要找个地方保存向量数据，以便后续从数据集中检索知识。
FAISS就是一个本地、超快、免费的语义检索工具，专门用来在RAG里找“最相似的知识”。

Python代码里的FAISS主要完成三件事：建立索引、放入知识向量、在用户提问时检索知识，如下代码所示：

import faiss

建立索引（相当于建了个检索表）

index = faiss.IndexFlatL2(vectors.shape[1])

把知识向量放进去

index.add(np.array(vectors).astype(“float32”))

用户提问 → 检索最相似的1条

D, I = index.search(…)
三、结合all-MiniLM-L6-v2与FAISS实现RAG
接下来演示如何使用all-MiniLM-L6-v2与FAISS实现RAG检索功能。在编写Python代码前，要先在命令行执行下面的pip安装命令：

pip install faiss-cpu sentence-transformers
然后编写下面的Python检索测试代码：

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

===================== 你的知识库（完全不变） =====================

knowledge = [
“什么是AI：人工智能（AI）是一门使机器模拟人类智能的技术。”,
“什么是RAG：RAG代表检索增强生成，通过检索外部知识提升大模型回答准确性。”,
“本地RAG消耗Token吗：本地RAG不调用云端API，不消耗Token，完全免费。”,
“FAISS是什么：FAISS是Facebook开源的向量检索库，用于本地高效检索。”,
“RAG的作用：RAG让大模型能引用外部知识，避免胡说八道。”
]

===================== 加载你本地已有的模型（不变） =====================

embed_model = SentenceTransformer(“./all-MiniLM-L6-v2”, device=“cpu”)

生成向量（把知识库向量化）

vectors = embed_model.encode(knowledge)

构建 FAISS 索引

index = faiss.IndexFlatL2(vectors.shape[1])
index.add(np.array(vectors).astype(“float32”))

===================== RAG 检索（逻辑不变） =====================

def rag(question):
print(“\n 问题：” + question)
# 把问题向量化
q_vec = embed_model.encode([question])
# 从 FAISS 检索对应的知识
D, I = index.search(np.array(q_vec).astype(“float32”), 1)
best = knowledge[I[0][0]]
answer = best.split(“：”)[-1]
print(" 答案：" + answer)
print(“-” * 50)

===================== 运行 =====================

ifname== “main”:
print(“=== 本地智能 RAG 系统：问什么答什么 ===”)
while True:
q = input(“\n请输入问题（q退出）：”)
if q.lower() == “q”:
break
rag(q)
运行上面的Python代码，根据提示输入问题“什么是FAISS？”，输出日志结果如下：

=== 本地智能 RAG 系统：问什么答什么 ===

请输入问题（q退出）：什么是FAISS？

问题：什么是FAISS？
答案：FAISS是Facebook开源的向量检索库，用于本地高效检索。