当前位置：首页 > news >正文

新手必看！用Python轻松打造你的第一个RAG项目，玩转AI知识库问答！

news 2026/7/10 2:36:14

RAG 是这两年非常热门的方向：把企业文档、课程资料、产品手册放进知识库，让 AI 能基于资料回答问题。

但很多新手一上来就卡在大模型 API、向量数据库、框架选择上。其实 RAG 的核心逻辑很简单：切文档、做索引、检索相关片段、再生成回答。

今天我们先不用复杂框架，用 Python 做一个最小可运行版 RAG 项目。

一、项目目标

输入一批 Markdown 文档，用户提问后，系统返回最相关的文档片段。

比如你问：

数据清洗时缺失值怎么处理？

系统能从你的文章库里找到“均值填充、中位数填充、插值法”相关内容。

二、可视化总览：RAG 的完整链路

本地知识库 RAG 技术流程

RAG 项目最容易讲散，这张框架图可以帮助读者快速理解：文档不是直接丢给模型，而是先切块、向量化、检索，再把相关片段交给模型回答。

检索片段相似度示例

这张图适合放在“测试检索效果”后面：它展示了不同文档片段和用户问题的相似度，能直观看出系统为什么选择某几个片段作为上下文。

三、项目目录

rag_demo/ docs/ article_01.md article_02.md rag_search.py

四、第一步：读取所有 Markdown 文档

from pathlib import Pathdef load_docs(folder): docs = [] for path in Path(folder).glob("*.md"): text = path.read_text(encoding="utf-8") docs.append({ "file": path.name, "text": text }) return docsdocs = load_docs("docs")print("文档数量：", len(docs))

五、第二步：把长文切成小块

RAG 不能直接把整篇文章都塞进去，要先切块。

def chunk_text(text, chunk_size=400, overlap=80): chunks = [] start = 0 while start < len(text): end = start + chunk_size chunks.append(text[start:end]) start = end - overlap return chunksall_chunks = []for doc in docs: chunks = chunk_text(doc["text"]) for i, chunk in enumerate(chunks): all_chunks.append({ "file": doc["file"], "chunk_id": i, "content": chunk })print("切块数量：", len(all_chunks))

overlap的作用是保留上下文，避免答案刚好被切断。

六、第三步：用 TF-IDF 做一个轻量检索器

正式项目常用 embedding 向量模型。为了先跑通逻辑，这里用 sklearn 的 TF-IDF。

from sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.metrics.pairwise import cosine_similaritytexts = [item["content"] for item in all_chunks]vectorizer = TfidfVectorizer( token_pattern=r"(?u)\b\w+\b", max_features=5000)matrix = vectorizer.fit_transform(texts)def search(query, top_k=3): query_vec = vectorizer.transform([query]) scores = cosine_similarity(query_vec, matrix)[0] top_idx = scores.argsort()[::-1][:top_k] results = [] for idx in top_idx: results.append({ "score": scores[idx], "file": all_chunks[idx]["file"], "content": all_chunks[idx]["content"] }) return results

七、第四步：测试检索效果

query = "缺失值应该怎么处理"results = search(query)for r in results: print("=" * 50) print("相似度：", round(r["score"], 4)) print("来源：", r["file"]) print(r["content"][:300])

如果最相关的片段排在前面，说明检索系统已经能工作。

八、第五步：拼成 RAG 提示词

真正接入大模型时，可以把检索结果拼成提示词。

def build_prompt(query, results): context = "\n\n".join([ f"来源：{r['file']}\n内容：{r['content']}" for r in results ]) prompt = f"""请根据以下资料回答问题。如果资料中没有答案，请说“资料中没有找到明确答案”。资料：{context}问题：{query}""" return promptprompt = build_prompt(query, results)print(prompt)

这一步就是 RAG 的关键：让模型基于检索到的资料回答，而不是凭空发挥。

九、项目升级路线

阶段	技术选择
入门版	TF-IDF + 余弦相似度
进阶版	embedding 模型 + FAISS
产品版	向量数据库 + 权限控制
企业版	文档增量更新 + 答案引用来源
评估版	问答集 + 命中率 + 幻觉率

十、避坑指南

坑	解决方案
文档切块太大	检索不精准
文档切块太小	上下文不足
不返回来源	用户不信任答案
只看生成效果	先评估检索命中率
资料没答案还硬答	提示词里明确要求不知道就说不知道

说真的，这两年看着身边一个个搞Java、C++、前端、数据、架构的开始卷大模型，挺唏嘘的。大家最开始都是写接口、搞Spring Boot、连数据库、配Redis，稳稳当当过日子。

结果GPT、DeepSeek火了之后，整条线上的人都开始有点慌了，大家都在想：“我是不是要学大模型，不然这饭碗还能保多久？”

我先给出最直接的答案：一定要把现有的技术和大模型结合起来，而不是抛弃你们现有技术！掌握AI能力的Java工程师比纯Java岗要吃香的多。

即使现在裁员、降薪、团队解散的比比皆是……但后续的趋势一定是AI应用落地！大模型方向才是实现职业升级、提升薪资待遇的绝佳机遇！

这绝非空谈。数据说话

2025年的最后一个月，脉脉高聘发布了《2025年度人才迁徙报告》，披露了2025年前10个月的招聘市场现状。

AI领域的人才需求呈现出极为迫切的“井喷”态势

2025年前10个月，新发AI岗位量同比增长543%，9月单月同比增幅超11倍。同时，在薪资方面，AI领域也显著领先。其中，月薪排名前20的高薪岗位平均月薪均超过6万元，而这些席位大部分被AI研发岗占据。

与此相对应，市场为AI人才支付了显著的溢价：算法工程师中，专攻AIGC方向的岗位平均薪资较普通算法工程师高出近18%；产品经理岗位中，AI方向的产品经理薪资也领先约20%。

当你意识到“技术+AI”是个人突围的最佳路径时，整个就业市场的数据也印证了同一个事实：AI大模型正成为高薪机会的最大源头。