当前位置：首页 > news >正文

实习生：我用一个 LLM 模型实现了 RAG 的 embedding 和 generation 全部功能

news 2026/5/11 22:12:30

本文的来源，是我前几天给实习生一个学习的小任务，用 ollama 推理引擎在本地电脑实现一个轻量级 RAG 系统。

当我去检查成果时，发生了以下对话：
“你用了什么 embedding 模型？”
“mistral-nemo”
“那 embedding 模型呢？”
“mistral-nemo”
“刚刚你说了 LLM 模型，我问的是 embedding 模型”
“就是这个模型”
“...”

顿时把我整蒙了，LLM 还能做文本嵌入？虽说现在的主流模型都是 transformer decoder 架构，但是也没法在推理时直接输出向量吧，用 LLM 做了这么久 agent 还没见过这种用法呢。

虽然感到很奇怪，但实习生的 demo 的确跑通了，不同的测试用例，也都在向量化后召回成功了。

掏出 ChatGPT：

为什么 ollama 可以调用 mistral nemo 模型的 embedding 方法计算文本的向量？简要结论先给出，然后展开说明机制：
👉 Ollama 能调用 Mistral-Nemo 的 embedding，是因为：
Ollama 在本地对外统一暴露了一层“模型能力抽象 API”，而 Mistral-Nemo 本身具备可用于嵌入的隐藏层表示（embeddings），Ollama 只是把这种能力封装成标准接口供你调用。
下面分层解释为什么这在技术上可行 + 为什么你“感觉”它像一个专门的 embedding 模型。
...

GPT 用幻觉忽悠我不是一次两次了，得深入证实一下 Ollama 的这个能力，然后我把 Ollama 的源码扒了下来：
注：以下调查基于 Ollama commit 099a0f18ef29a95d8d6c4fe1343e48e0d9f4cdd7 （2026.2.7）

API 入口 — EmbedHandler
server\routes.go line 692
scheduleRunner 的第三个参数是空的 capability 列表 []model.Capability{}。这意味着 embed 接口不要求模型具备 embedding 能力，任何模型都可以被调度。
创建 embedding-only 序列
runner\llamarunner\runner.go line 759
参数最终设置到序列的 embeddingOnly 字段：
embeddingOnly: params.embedding
模型前向推理 — 关键的 t_embd 张量
以 Llama 模型为例，在 C++ 层的前向传播中：
llama\llama.cpp\src\models\llama.cpp line 139

    cur = inpL;cur = build_norm(cur,model.output_norm, NULL,LLM_NORM_RMS, -1);cb(cur, "result_norm", -1);res->t_embd = cur;// lm_headcur = build_lora_mm(model.output, cur);cb(cur, "result_output", -1);res->t_logits = cur;