当前位置: 首页 > news >正文

【强烈收藏】AI Agent全栈开发之路(15):RAG技术详解与向量模型实战

文章介绍AI Agent系列的第15篇内容,聚焦RAG(检索增强生成)技术。内容包括RAG概念、核心步骤(文本向量化存储、检索、LLM生成)、向量与向量化模型原理,以及使用阿里云通义API实现文本向量化的代码示例。RAG通过语义相似度匹配解决企业知识库与LLM结合问题,为智能客服等场景提供支持。


AI Agent 系列文章15, 后续会更新 RAG、MCP、向量数据库等内容,最后全栈开发一个 Agent 智能体并部署上线。

本篇介绍内容:

1)RAG 简单介绍

2)介绍下向量(Vector)

3)向量化模型(Embedding Model)

4)文本向量化(text embedding)编码

  1. RAG 简单介绍

rag, Retrieval-Augmented Generation 检索增强生成,是辅助AI生成专业领域答案的有效方案。

核心步骤:

  1. 将文本向量化并存储到向量数据库;

  2. 用户提问时,检索数据库;

  3. 把检索结果发送给LLM配合生成最终结果;

最经典的落地场景就是 智能客服

llm虽然有大量的数据,但是一些企业内部的知识库,它是不知道的,比如一家指定的网店有什么款式的衣服,有什么促销活动等等。

疑问:可以把这些信息作为预置的 prompt 交给 llm ?

这是不现实的,大量的知识库,可能会突破 llm 的输入 token 的长度, 即使没突破,也会消耗大量的token,这是不现实的,token 也得花钱。

这时,就得用上 RAG 了,它的作用就来了。

拆分知识库 —> 文本向量化 —> 存入向量数据库

PS: Langchain 的官方文档:

https://docs.langchain.com/langsmith/evaluation-approaches

  1. 什么是向量

向量可以用坐标表示,常见的有二维坐标,三维坐标,这个都知道。

简单回顾下数学概念

欧式距离公式:

这其实也是勾股定理的直接应用。

三维空间 --》 多维空间,也是同样的道理:

能计算两点之间的距离,那能否计算 两段文字 甚至 两张图片 的距离呢?

这听起来有点抽象,这其实就是 多维向量 之间的距离。

传统的搜索引擎 和 rag的区别:

传统的 ElasticSearch (搜索引擎) ,比如搜索“课程”,只能匹配到一样的关键字才能搜索出来,

而rag,可以理解语义,搜索语义相近的关键词,例如搜索“课程”,也可以匹配到“教学”这个关键词相关的资料,因为两个关键词语义相近;

简单来说,Elasticsearch是“引擎”,负责高效查找信息;RAG是“智能汽车”,利用引擎提供的燃料(信息),将用户送达目的地(获得答案)。

它们不是二选一的关系,而是底层基础设施与上层智能应用的关系。一个优秀的RAG系统,往往离不开一个像ElasticSearch这样强大的搜索引擎作为其核心组件。

具体文本怎么向量化的底层原理,我想我也头大,反正简单理解就是 大规模语料库上训练 得到。

计算向量间的余弦相似度,可以找到语义相近的文档。

将每个词映射为一个低维、稠密的向量(例如128维或300维)。这些向量的神奇之处在于,语义相近的词(如“国王”和“王后”),其向量在空间中的距离或方向也会相近。

欧氏距离、余弦相似度。这个距离就是两段文字、两个图片的相似度。

简单原理了解到这,太抽象的数学原理就不深究了。

主要是体会 自然语言 —> 计算机的数学世界

  1. 向量化模型(Embedding Model)

Langchain 文档地址:

https://docs.langchain.com/oss/javascript/integrations/text_embedding/index

官方提供的向量化模型,都是国外的。这些国内要么不能用,要么不好用

那咋办呢?

还好找到了 langchain 支持阿里的通义

https://docs.langchain.com/oss/javascript/integrations/text_embedding/alibaba_tongyi

还得去 阿里云百炼 平台申请个api key

https://bailian.console.aliyun.com/cn-beijing/?tab=model&spm=0.0.0.i5#/api-key

  1. 文本向量化 - 编码
npm install @langchain/community @langchain/core

遇到 npm 底层依赖冲突,直接加 --force 安装。

import { AlibabaTongyiEmbeddings } from "@langchain/community/embeddings/alibaba_tongyi"; import 'dotenv/config'; const model = new AlibabaTongyiEmbeddings({ apiKey: process.env.ALIBABA_API_KEY, }); const res = await model.embedQuery( "疯狂动物城是一部怎样的电影?" ); console.log('向量: ', res); console.log('向量的维度为: ', res.length); console.log('使用的模型: ', model.modelName);

执行结果:

AI时代,未来的就业机会在哪里?

答案就藏在大模型的浪潮里。从ChatGPT、DeepSeek等日常工具,到自然语言处理、计算机视觉、多模态等核心领域,技术普惠化、应用垂直化与生态开源化正催生Prompt工程师、自然语言处理、计算机视觉工程师、大模型算法工程师、AI应用产品经理等AI岗位。

掌握大模型技能,就是把握高薪未来。

那么,普通人如何抓住大模型风口?

AI技术的普及对个人能力提出了新的要求,在AI时代,持续学习和适应新技术变得尤为重要。无论是企业还是个人,都需要不断更新知识体系,提升与AI协作的能力,以适应不断变化的工作环境。

因此,这里给大家整理了一份《2026最新大模型全套学习资源》,包括2026最新大模型学习路线、大模型书籍、视频教程、项目实战、最新行业报告、面试题、AI产品经理入门到精通等,带你从零基础入门到精通,快速掌握大模型技术!

由于篇幅有限,有需要的小伙伴可以扫码获取!

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

4. 大模型项目实战

学以致用,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

5. 大模型行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。

6. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

为什么大家都在学AI大模型?

随着AI技术的发展,企业对人才的需求从“单一技术”转向 “AI+行业”双背景。企业对人才的需求从“单一技术”转向 “AI+行业”双背景。金融+AI、制造+AI、医疗+AI等跨界岗位薪资涨幅达30%-50%。

同时很多人面临优化裁员,近期科技巨头英特尔裁员2万人,传统岗位不断缩减,因此转行AI势在必行!

这些资料有用吗?

这份资料由我们和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。


大模型全套学习资料已整理打包,有需要的小伙伴可以微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费】

http://www.jsqmd.com/news/289895/

相关文章:

  • 【爆点实战】Spring AI电商客服RAG系统,双Advisor精准解答退换货、物流问题!代码收藏必学!
  • 云平台一键部署【Tencent-YouTu-Research/Youtu-LLM-2B】具备原生智能体能力
  • RAG系统效果差?真正决定成败的竟然是检索与生成之间的隐藏层!收藏这篇深度解析
  • 救命神器10个AI论文写作软件,本科生搞定毕业论文!
  • Java基于Spring Boot+Vue的走散儿童救助信息管理系统的设计与实现
  • Java基于Spring Boot+Vue的学生宿舍管理系统的设计于实现
  • 2026年GEO优化服务商数据监测能力对比:谁才是真正的_数据驱动_?
  • 2026主管药师考试备考资料推荐:3大数据维度测评+全阶段资料对比排行
  • AI Agent从零搭建全流程:手把手教你构建智能助手(附完整代码+避坑指南,建议收藏)
  • 2026主管药师考试备考资料测评:3家主流机构8类资料实测对比排行
  • 【建议收藏】RAG工程化实践:六大模块详解,解决效果/成本/稳定性难题
  • 专业企业心理测评系统推荐:2026这个平台如何破解企业EAP传统困境?
  • 2026年1月成都清洁用品、清洁工具、拖把、尘推、垃圾袋厂商深度测评与选型推荐报告
  • 【必藏】AI智能体全攻略:从架构设计到实战应用,一篇读懂Agent核心技术与未来趋势
  • 2026 年,GEO 优化如何选?风信子传媒:以“内容生态+智能分发”重塑品牌 AI 认知
  • 2026年十大外贸ERP软件深度测评与选型白皮书
  • 2026必备!MBA论文写作痛点全解析:TOP9一键生成论文工具深度测评
  • 2026年电线电缆厂家推荐排行榜:高温/低烟无卤/铁氟龙/硅胶/PVC/XLPE辐照/医疗/AI/无人机/机器人/线束加工/定制电线电缆,精选耐用高质品牌!
  • IROS 2025|NOKOV度量动捕助力多智能体深度强化学习算法实现Crazyflie无人机在复杂环境中协同追逐
  • 高效聚酯成核剂供应商与企业推荐
  • 2026年GEO优化服务商性价比对比:10万预算如何选出最优解?
  • 引入实时 3D 渲染技术,地平线与 Unity 开启车载交互空间化时代 - 指南
  • 氧含量分析仪实力厂家大盘点:行业十大厂家技术实力哪家强?
  • 企业心理测评系统排行榜:2026年AI大模型如何重塑职场心理健康?
  • 【论文自动阅读】Fast-ThinkAct: Efficient Vision-Language-Action Reasoning via Verbalizable Latent Planning
  • 54分钟长视频自动剪,公众号撰写发布全自动,豆包大模型1.8直播干货来了!
  • AI产品经理全解析:从历史背景到入行指南,小白转行必看_如何成为人工智能(AI)产品经理
  • 2026年GEO优化服务商团队规模适配指南_中小企业如何选对服务商_
  • 企业心理测评系统厂商(2026年):谁是职场焦虑的解药?
  • 高效复习有秘诀:这个执业医师课程别错过!