RAGFlow/RAG 从文档解析到混合检索的完整链路

1. RAGFlow

采用ragflow v0.25.6

从github上拉取源码，然后拉取镜像，用docker compose启动

注意，默认启动后会自动拉取tiktoken，但内网环境无法联网，可以从外网下载，然后拷贝到内网，同时tiktoken文件挂载到容器时，直接放在ragflow根目录下即可

environment: - TIKTOKEN_CACHE_DIR=/ragflow - DATA_GYM_CACHE_DIR=/ragflow volumes: - ./ragflow-logs:/ragflow/logs # - ./nginx/ragflow.conf:/etc/nginx/conf.d/ragflow.conf # - ./nginx/proxy.conf:/etc/nginx/proxy.conf # - ./nginx/nginx.conf:/etc/nginx/nginx.conf - ./service_conf.yaml.template:/ragflow/conf/service_conf.yaml.template - ./entrypoint.sh:/ragflow/entrypoint.sh - ./tiktoken_cache/9b5ad71b2ce5302211f9c61530b329a4922fc6a4:/ragflow/9b5ad71b2ce5302211f9c61530b329a4922fc6a4:rw

2. Eembedding

公司内网采用gte-Qwen2-7B-instruct模型，该模型的默认请求参数为prompt。默认请求链接为

curl -X POST "http://10.0.17.56:50000/api/hirain/pmtggtt/api/embeddings" ^ -H "Content-Type: application/json" ^ -H "Authorization: Bearer a0d3cc35475f43c4b5f17b562123cb6b" ^ -d "{\"model\":\"gte-Qwen2-7B-instruct\",\"prompt\":\"网络管理模块 BusOff 后应该设计哪些测试点？\"}"

但是无法直接集成到ragflow中，所以在10.99.0.38服务器上启动一个embedding_adapter.py，该文件使用fastapi的方式，将请求参数中的prompt转换为input，以便于直接集成到RAGFlow中。

启动命令为

pip install fastapi uvicorn requests uvicorn embedding_adapter:app --host 0.0.0.0 --port 18080

/********************** embedding_adapter.py **********************/ from typing import List, Union, Any, Dict import requests from fastapi import FastAPI, Header, HTTPException from pydantic import BaseModel INNER_EMBEDDING_URL = "http://10.0.17.56:50000/api/hirain/pmtggtt/api/embeddings" INNER_API_KEY = "a0d3cc35475f43c4b5f17b562123cb6b" DEFAULT_MODEL = "gte-Qwen2-7B-instruct" app = FastAPI(title="Embedding Adapter for RAGFlow") class EmbeddingRequest(BaseModel): model: str = DEFAULT_MODEL input: Union[str, List[str]] encoding_format: str = "float" def call_inner_embedding(text: str, model: str) -> List[float]: payload = { "model": model, "prompt": text, } resp = requests.post( INNER_EMBEDDING_URL, headers={ "Content-Type": "application/json", "Authorization": f"Bearer {INNER_API_KEY}", }, json=payload, timeout=120, ) resp.raise_for_status() data = resp.json() embedding = data.get("embedding") if not embedding: raise RuntimeError(f"内部 embedding 接口返回空 embedding: {data}") if not isinstance(embedding, list): raise RuntimeError(f"内部 embedding 返回格式不是 list: {data}") return embedding @app.get("/v1/models") def list_models() -> Dict[str, Any]: return { "object": "list", "data": [ { "id": DEFAULT_MODEL, "object": "model", "owned_by": "hirain", } ], } @app.post("/v1/embeddings") def create_embeddings(req: EmbeddingRequest): try: inputs = req.input if isinstance(req.input, list) else [req.input] data = [] total_tokens = 0 for idx, text in enumerate(inputs): embedding = call_inner_embedding(text=text, model=req.model) data.append( { "object": "embedding", "index": idx, "embedding": embedding, } ) total_tokens += len(text) return { "object": "list", "data": data, "model": req.model, "usage": { "prompt_tokens": total_tokens, "total_tokens": total_tokens, }, } except Exception as e: raise HTTPException(status_code=500, detail=str(e)) @app.get("/health") def health(): return {"status": "ok"}

经过转发之后，emdedding的链接变为

curl -X POST "http://10.99.0.38:18080/v1/embeddings" ^ -H "Content-Type: application/json" ^ -H "Authorization: Bearer a0d3cc35475f43c4b5f17b562123cb6b" ^ -d "{\"model\":\"gte-Qwen2-7B-instruct\",\"input\":\"网络管理模块 BusOff 后应该设计哪些测试点？\"}"

同时，也可直接集成进RAGFlow的OpenAI-API-Compatible模型中

注：将embedding_adapter.py设置为开机自启动的服务

APP_DIR="$(pwd)" UVICORN_BIN="$(readlink -f "$(command -v uvicorn)")" RUN_USER="$(whoami)" sudo tee /etc/systemd/system/embedding-adapter.service > /dev/null <<EOF [Unit] Description=Embedding Adapter for RAGFlow After=network-online.target Wants=network-online.target [Service] Type=simple User=$RUN_USER WorkingDirectory=$APP_DIR ExecStart=$UVICORN_BIN embedding_adapter:app --host 0.0.0.0 --port 18080 Restart=always RestartSec=5 Environment=PYTHONUNBUFFERED=1 [Install] WantedBy=multi-user.target EOF sudo systemctl daemon-reload sudo systemctl enable --now embedding-adapter.service systemctl status embedding-adapter.service

3. Reranker

公司内网采用bge-reranker-v2-m3模型，可直接集成进RAGFlow。测试命令为

curl -X POST "http://10.0.17.56:50000/api/hirain/pmtggtt/v1/rerank" ^ -H "Content-Type: application/json" ^ -H "Authorization: Bearer 7f80770a1ccd45dda39f481d183a4322" ^ -d "{\"model\":\"bge-reranker-v2-m3\",\"query\":\"什么是RAG？\",\"documents\":[\"RAG是一种结合检索和生成的技术。\",\"今天天气很好。\",\"向量数据库可以用于相似度检索。\"],\"top_n\":3}"

4. RAGFow内置pipeline

RAGFlow 官方说明：从 v0.17.0 开始，PDF 的DeepDoc 数据抽取任务和chunking method解耦；PDF parser 用于 OCR、TSR、DLR 等视觉抽取任务，chunking method 决定怎么切块

在 RAGFlow v0.25.6 创建知识库时看到的：

General / Q&A / Resume / Manual / Table / Paper ...

主要是内置分块方法，也就是 API 里的chunk_method。

而在某些分块方法下面看到的：

PDF Parser / PDF 解析器 General / Naive / Docling / DeepDOC / MinerU ...

是解析器选择，更准确说是：PDF 怎么先被解析成文本、表格、图片、版面结构。

二者关系：

原始文件 ↓ PDF 解析器 / 文档解析器 ↓ 解析后的文本、表格、图片、结构 ↓ chunk_method 分块方法 ↓ chunk ↓ embedding ↓ indexing

所以：

PDF 解析器解决：文件怎么读出来 chunk_method 解决：读出来的内容怎么切成 chunk

内置pipeline主要解决把“文档入库处理流程”从固定内置 chunk method，扩展成可配置、可编排的解析流水线

传统内置 chunk_method： 上传文档 → RAGFlow 按固定方法解析/切片/embedding Pipeline： 上传文档 → 按你配置的 Parser 组件和后续流程处理 → chunk → embedding → indexing

4.1 PDF解析器

4.1.1 DeepDoc

DeepDoc 是 RAGFlow 内置的文档理解 / 文档解析能力。

它主要负责把原始文件解析成可用于 RAG 的内容，包括：

PDF 版面识别 OCR 表格结构识别 图片 / 文本块识别 文档结构解析

RAGFlow 官方 FAQ 里解释，RAGFlow 解析文档比普通 LangChain loader 慢，是因为它会做 layout analysis、table structure recognition、OCR 等文档预处理任务；这些就是 DeepDoc 这类内置文档解析能力承担的工作。

所以 DeepDoc 位于：

文件 → 文本 / 表格 / 版面结构

这一层。

它不负责：

embedding rerank chat 回答 向量检索

4.1.2 MinerU

MinerU 是外部 PDF 解析器。

RAGFlow 从 v0.22.0 开始把 MinerU 作为可选 PDF parser 集成进来。官方文档明确说，RAGFlow 只是 MinerU 的 remote client：RAGFlow 调用 MinerU API 解析 PDF，然后读取 MinerU 返回的文件。

也就是说，接入 MinerU 后是这个结构：

RAGFlow ↓ 调用 HTTP API MinerU API Server ↓ 解析 PDF 返回 Markdown / JSON / zip 等解析结果 ↓ RAGFlow 继续切片、embedding、索引

MinerU 本身是面向文档内容抽取的开源方案，目标是处理 OCR、layout detection、公式识别、复杂 PDF 内容抽取等问题。

MinerU后端

MinerU 的上层功能都是“把 PDF/图片/Office 文档解析成 Markdown/JSON”，但底层可以选择不同的推理后端来完成版面识别、OCR、表格、公式、VLM 解析等任务。

简单说：

同一个 PDF ↓ MinerU ↓ 可选不同 backend pipeline / transformers / vLLM / http-client ↓ 输出 Markdown / JSON / 图片 / 中间结果

4.2 内置分块方法

5. Autosar AP文档解析&切分方法

从准确性的角度，整个过程不再采用RAGFlow自带的方法

解析采用外部MinerU的方法

切片采用自己编写脚本的方法，对文档切分，具体细则参考 AUTOSAR AP 文档切分方法说明

6. Autosar CP文档解析&切分方法

从准确性的角度，整个过程不再采用RAGFlow自带的方法

解析采用外部MinerU的方法

切片采用自己编写脚本的方法，对文档切分，具体细则参考 AUTOSAR CP 文档切分方法说明

7. 不选择reranker模型时，RAGFlow靠什么回答问题

没选 reranker 时，RAGFlow 不会再用 reranker 做二次重排

它主要使用基础检索排序：

最终相似度 = 向量相似度 + 关键词相似度 的加权组合

RAGFlow 配置里有：

similarity_threshold vector_similarity_weight top_n top_k rerank_id

官方文档说明vector_similarity_weight是vector cosine similarity 的权重，默认是0.3；也就是说，如果没有 reranker，排序主要依赖向量相似度和关键词相似度的加权结果。

不选 reranker 时的检索链路大致是这样

用户问题 ↓ 问题 embedding ↓ 向量检索：计算 query 向量和 chunk 向量相似度 ↓ 关键词检索：计算 query 关键词和 chunk 文本 / important_keywords / tag_kwd 的匹配 ↓ 按 similarity_threshold 过滤 ↓ 按综合 similarity 排序 ↓ 取 top_n 个 chunk 放进 LLM 上下文 ↓ LLM 生成回答

其中：

vector_similarity_weight = 0.3

可以理解为：

向量相似度占 30% 关键词相似度占 70%

这对 AUTOSAR 场景反而通常更合适，因为这时查询经常是：

SWS_PduR_00216 RS_Nm_00051 PduR_Transmit CanSM_RequestComMode E_NOT_OK

这些都是强关键词、强 ID、强符号检索。默认不选 reranker，有时会比选 reranker 更稳。

8. 添加reranker模型后，问答效果更差

rerank 不是必然提升效果，它只是对第一阶段召回结果重新排序；如果 reranker 不适合你的 query 类型、chunk 结构或领域文本，反而会把正确 chunk 排下去。

RAGFlow 的知识库问答配置里，rerank_id是可配置项，同时还有similarity_threshold、vector_similarity_weight、top_n、top_k等检索参数；其中top_k是参与向量余弦计算的 chunk 数，默认示例是 1024，vector_similarity_weight表示向量相似度权重，另一部分是关键词相似度权重

可能的原因：

1.1 你的问题是 ID / API / 错误码型，reranker 不一定擅长

1.2 reranker 模型和 embedding / 文档语言不匹配

1.3 top_n 太小，reranker 把长尾正确证据裁掉了

1.4 similarity_threshold 过滤过早

1.5 chunk 太“结构化”，reranker 更喜欢说明性文字

现有的 chunk 有些是表格、字段、枚举、错误码，不是自然问答风格。reranker 可能更喜欢 section background 或说明性段落，因为它们语义更流畅，但对生成测试用例未必是最关键证据。