当前位置: 首页 > news >正文

学习记录26/3/21-LlamaIndex基础组件

今日任务:理清RAG工作流程、熟悉LlamaIndex主要组件




RAG(Retrieval Argument Generation)检索增强生成,在询问大模型时给大模型更多本地信息参考,提出针对性回答。

构建agent时除了与大预言模型的交互外还需要Memory与Tools。
Memory和Tools都是大语言模型原生支持的功能。
其中Memory是给大语言模型提供历史上下文记忆功能,这样我们在询问大语言模型时,可以让大语言模型理解历史的聊天信息,更好的理解问题。
而Tools则是给大语言模型提供本地工具。
这样,大语言模型就可以通过工具来完成一些具体的任务。
image

RichPromptTemplate可以用来动态构建提示词。
依赖库用法:https://developers.llamaindex.ai/python/framework/module_guides/models


组件

Loading:

把本地文档加载成document,再把文档拆分成node,这些node就是Llamaindex处理本地数据的基本单位。

SimpleDirectoryReader能够处理常见的文档内容
JSONReader可以解析JSON文件按照指定的格式加载出多个文档。(或许可以结合爬虫使用)

Indexing:

Indexing是一种数据结构,允许用户从Indexing中快速检索感兴趣的数据。在Llamalndex中,Index通常可以由一系列的Document构建出来,然后再构建出一个QueryEngine或者ChatEngine。用户就可以基于这些Engine快速检索出感兴趣的数据。在lndex内部,则会以Node的形式保存数据。Node则是Document拆分出来的一个片段。另外,Index也会暴露出一个Retriever接口,进一步支持文件检索。

通常用得做多的是VectorStorelndex,存储自然语言处理后的向量数据。

Storing:

Document stores:用来存储Document和Node。
Index stores:用来存储index相关的元数据。
Vector stores:用来存储向量数据。
Chat stores:用来存储聊天记录。
Property stores:用来存储知识图谱相关的数据。
在Llamalndex中,支持多种外部向量数据库来存储向量。具体参见官网
https://docs.llamaindex.ai/en/stable/module_guides/storing/vector_stores/
Milvus和FAISS是常用的向量存储数据库

http://www.jsqmd.com/news/514064/

相关文章:

  • .bash_profile和.bashrc的区别及应用
  • Midjourney小白必看:从Discord入门到生成第一张AI艺术图的完整指南
  • Python数据类型转换
  • AI 文案生成教程(10 秒出稿,不费脑)
  • Qwen3.5-35B-AWQ-4bit图文理解效果实测:复杂结构图/数学公式/手写体识别案例
  • CHORD-X深度研究报告生成终端重装系统后的快速部署指南:从零恢复AI研究环境
  • NAS玩家必备:用Docker部署超级玛丽遇到的5个典型问题及解决方案
  • OpenClaw多模型混搭方案:QwQ-32B与小型模型协同执行复杂任务
  • GPT-SoVITS模型训练详解:参数设置与效果优化技巧
  • Pixel Dimension Fissioner一文详解:MT5-Augment相比标准MT5的增强机制
  • Day 4
  • 终极指南:如何使用 Screenshot Tests for Android 快速生成确定性UI测试截图 [特殊字符]
  • 分布式部署lnmp+wordpress
  • PowerPaint-V1 Gradio Java开发实战:SpringBoot微服务集成指南
  • 清单来了:8个AI论文网站深度测评!全场景通用+毕业论文+科研写作必备工具推荐
  • 探索SuperCV的开源图书项目:技术、应用与特点一览
  • 终极指南:使用Serverless Devs快速部署和管理Serverless应用
  • 观潮台 Guanchaotai
  • 保姆级教程:在Windows上用Anaconda搞定X-AnyLabeling 3.2(附GPU/CPU环境配置)
  • 告别默认灰:用qss为你的Qt QTabWidget定制一套专属皮肤(附完整配色方案)
  • 万物识别-中文-通用领域效果实测:多张图片识别对比,结果惊艳
  • Wan2.1-umt5模型安全与伦理:内容过滤与偏见缓解策略探讨
  • samba服务的安装和使用
  • 【Filter / Interceptor】过滤器(Filter)与拦截器(Interceptor)全方位对比解析(附底层原理 + 核心对比表)
  • RPA-Python与GitLab Pages集成:网页托管自动化的终极指南
  • 引发C++程序内存错误的常见原因分析与总结
  • RK3568开发板Debian系统从编译到配置全流程指南(附常见问题解决)
  • 如何轻松实现Android文本对齐?AlignTextView完整使用指南
  • 单节点部署Gpmall(详细部署过程)
  • 如何快速掌握JSXStyle:现代前端开发的终极CSS-in-JS解决方案