当前位置: 首页 > news >正文

45.llama_index-全局配置(Settings)

内容参考于:图灵AI大模型全栈

llamaIndex中有一个全局配置,当我们没有指定模型的时候它会使用全局配置中设置的模型

效果图:

代码

# 导入 LlamaIndex 的全局配置对象 Settings # 核心作用:LlamaIndex 的全局单例配置中心,统一管理大模型、嵌入模型、文本切分等全局参数 # 设计逻辑:一次配置后,后续所有组件(索引、查询引擎、文档加载器等)都会自动复用这里的配置 # 不用每个组件都单独初始化模型,避免重复加载、代码冗余,切换模型也只需要改一处 from llama_index.core import Settings # 导入 Ollama 本地大模型适配类 from llama_index.llms.ollama import Ollama # 导入 HuggingFace 本地嵌入模型适配类 from llama_index.embeddings.huggingface import HuggingFaceEmbedding # ========== 全局配置大模型 ========== # 把初始化好的 Ollama 模型赋值给 Settings.llm # 效果:全局生效,之后所有需要调用大模型的地方(生成回答、总结、提取等)都会自动用这个模型 # 不用再给每个组件单独传 llm 参数,代码更简洁,配置统一 Settings.llm = Ollama( model='qwen2.5:7b', # 指定本地运行的模型名称 request_timeout=120, # 请求超时时间,单位秒 # 强烈建议调大:本地模型生成速度慢,默认超时短很容易中途报错 ) # ========== 全局配置嵌入模型 ========== # 把初始化好的本地嵌入模型赋值给 Settings.embed_model # 效果:全局生效,之后文档入库生成向量、查询生成问题向量,都会自动用这个模型 # 保证入库和查询用的是同一个嵌入模型,向量维度一致,检索不会出问题 Settings.embed_model = HuggingFaceEmbedding( # 本地模型文件路径,指向提前下载好的 bge-m3 模型文件夹 model_name=r"D:\huanjing\ai模型\BAAI\bge-m3", ) # ========== 测试:调用全局大模型 ========== # 直接通过 Settings.llm 调用大模型,验证全局配置是否生效 # complete 是单轮补全接口,输入文本直接返回回答 response = Settings.llm.complete("你好") # 取回答的纯文本内容并打印 print(response.text) # ========== 测试:调用全局嵌入模型 ========== # 直接通过 Settings.embed_model 生成查询向量,验证嵌入模型配置是否生效 embedding = Settings.embed_model.get_query_embedding('你好') # 打印生成的向量数组 print(embedding)

http://www.jsqmd.com/news/1126716/

相关文章:

  • GetQzonehistory:你的数字青春保险箱,一键找回QQ空间全部历史记忆
  • 上海普陀区二手房改造公司哪家专业
  • 压缩包密码恢复实战:从字典攻击到掩码破解的完整方案
  • 最新蓝队护网应急响应流程,零基础入门到精通,收藏这篇就够了
  • YOLOv11 改进 - 主干网络 ConvNeXtV2全卷积掩码自编码器网络:轻量级纯卷积架构破解特征坍塌难题,提升特征多样性
  • ICM-42688-P与STM32F765ZI在机器人及工业监测中的应用
  • 网易云音乐永久直链解析:告别音乐链接失效的终极指南
  • 74HC32与PIC18F25K40实现硬件去抖动矩阵键盘设计
  • STM32与LTC6903实现高精度可编程时钟源设计
  • Si4731与PIC18F85K90构建FM收音机系统详解
  • STM32L081与Si4732构建低功耗数字收音系统
  • RimSort:告别模组冲突的终极RimWorld模组管理器解决方案
  • GetQzonehistory:一键备份你的QQ空间青春记忆,永久珍藏那些年
  • STM32最小系统板设计指南与硬件避坑技巧
  • AI教材生成新利器!低查重AI写教材工具,快速产出30万字优质教材!
  • Display Driver Uninstaller高效路径:深度探索显卡驱动清理的核心策略
  • 长沙空气治理售后服务好的公司
  • 一站式测试平台MeterSphere:整合Postman与JMeter,实现持续测试与CI/CD集成
  • 基于Si4732与STM32F042C6的专业收音系统设计
  • 《HarmonyOS技术精讲-Core File Kit》第12篇:文件哈希计算与完整性校验
  • 目前TOP10软件开发公司哪家好
  • ai改模特流程揭秘,电商批量出图与服装展示利器推荐
  • LTC6903与PIC18F8722实现高精度数字频率控制方案
  • AI设计服饰产出效率统计程序,对比人工设计师,AI绘图日均新品产出数量。
  • Si4731与PIC18F45K40构建高性能数字收音机系统
  • 程序员量化交易实战 33:汇总模拟盘运行历史
  • 嵌入式EEPROM数据存储与I2C通信实战指南
  • 深度解析WeChatIntercept:macOS微信防撤回技术实战指南
  • 如何彻底掌控Mac睡眠:SleeperX终极电源管理指南
  • STM32F415RG与LP5812 LED驱动器的嵌入式灯光控制实战