AI Agent

LLM——大语言模型

核心基础是Transformer 架构。

能力：根据文本生成提示词，理解上下文语境，能够实现翻译，问答，代码编写和推理。

Transformer

RAG——检索增强生成。

RAG就是讲信息检索和大语言模型生成相结合的技术架构。

解决了LLM本身存在的一些固有局限，如幻觉问题，知识过时（训练数据有时间截止点，无法回答之后发生的新事件），领域知识不足（对企业内部文档、私有数据等缺乏了解）。

把企业的知识库直接在输入框中丢给AI(会有上下文窗口的限制,成本非常高,响应速度很慢)

RAG的本质就是在大模型回答之前,先检索资料,在基于资料生成答案.

RAG核心流程:

数据准备

将知识库切分成多个小块,每一个小块尽量表达一个完整的语义.(不切分整篇文档去做处理会导致语义混乱,检索不准确)

将文本块转化成向量,每个块都会对应一个向量,然会将文本内容和它对应的向量存到向量数据库中

用户提问

会用户的问题给向量化,然后用这个向量分别和数据库中的每个向量去计算相似度(计算相似度的方法有余弦相似度和欧式距离等)返回与其最相近的top-k个块(召回K个块,这一步只是粗筛,只能判断和问题像不像,不能保证这几个块到底有没有回答用户提问的问题),然后我们会在进行rerank(重排序)就是进行进一步的筛选(选择最可以回答用户问题的文本块),最后我们将用户的原始问题和检索到资料一起组成增强后的提示词,发送给LLM,生成答案.

卡点及优化技巧

企业私有文档,有pdf,表格,图片等解析起来非常复杂,数据清洗(会结合一些版面模型,或者一些OCR的识别技术)

切块:太大会导致内容太杂包含很多内容,切的太小会导致语义断裂.

所以切分粒度要刚好,做到每个块尽可能的都语义相对完整

用户的问题可能口语化(需要进行问题重写,主要是补充一些隐含信息)

检索用的最多的是混合检索(关键字检索和向量相似度检索)

Transformer

Transformer 采用经典的编码器-解码器（Encoder-Decoder）结构

Tokenizer负责编码和解码.编码就是将用户问题切分成一个个小片段,这些片段叫做token,每个token对应一个tokenID一对一绑定

Agent

LLM和Workflow和Agent的区别

LLM就是一个大脑

Workflow 是由开发者预先定义好的执行流程（通常是有向无环图 DAG）。步骤、分支、条件判断都是代码写死的，LLM 只是其中某个节点的"处理器"。

Agent = LLM + 规划模块 + 记忆模块 + 工具调用模块 + 循环执行闭环。它能接收一个目标，自主拆解任务、选择工具、执行操作，并根据中间结果动态调整策略，直到任务完成。

Agent能够自己规划工作流,调用工具 有自己记忆模块,最重要的是Agent有自主工作的能力(Agent Loop智能体循环)

ReAct

最经典的一个框架是ReAct(推理与行动)

原理核心节点（3 个）

ReasoningNode：推理判断

ActionNode：执行工具调用

ObservationNode：消化结果并回写上下文

工程增强节点（3 个）

SummarizingNode：当上下文越来越长时，对历史对话进行摘要压缩

LimitExceededNode：防止无限循环，超过最大迭代次数时触发兜底逻辑

FinalAnswerNode：统一收口正常路径与兜底路径，输出最终答案

不同团队根据业务需求还可以继续扩展，如增加审批节点（高风险动作需人工确认）、校验节点（验证答案是否满足要求）、错误恢复节点（工具失败时自动重试或换策略）等。

优势

大幅降低幻觉：以工具返回的真实数据为依据，而非依赖模型"记忆"

可解释性强：每一步 Thought 都是透明的推理过程，便于调试和审计

通用性好：只需替换工具集，即可从"多跳问答"切换到"机器人控制"等不同场景

动态适应：遇到错误能自动分析原因并调整策略重试

局限

Token 消耗高：每轮循环都需要调用 LLM，复杂任务可能触发 5-10 次调用

延迟较大：多轮循环导致响应时间较长

依赖工具质量：如果工具返回错误信息，Agent 可能基于错误数据继续推理

复杂推理仍有瓶颈：对于需要深度多步推理的任务，ReAct 的表现不如专门的推理模型（如 o1、o3）