当前位置: 首页 > news >正文

【大模型应用开发】之调用大模型

调用大模型

大模型接口规范

大模型接口说明

  • 大模型开发是通过访问模型对外暴露的API接口,实现与大模型的交互
  • 大多数大模型都遵循OpenAI接口规范,是基于Http协议的接口。因此请求路径、参数和返回值信息都是类似的。
  • 以DeepSeek官方的文档为例
from openai import OpenAI# 1.初始化OpenAI客户端,要指定两个参数:api_key、base_url
client = OpenAI(api_key="<DeepSeek API Key>", base_url="https://api.deepseek.com")# 2.发送http请求到大模型,参数比较多
response = client.chat.completions.create(model="deepseek-chat", # 2.1.选择要访问的模型messages=[ # 2.2.发送给大模型的消息{"role": "system", "content": "You are a helpful assistant"},{"role": "user", "content": "Hello"},],stream=False # 2.3.是否以流式返回结果
)print(response.choices[0].message.content)
  • 参数说明
    • api_key : 就是前面在百炼平台获取的api key
    • base_url : 平台的请求路径
      • DeepSeek官方平台 : https://api.deepseek.com
      • 阿里云百炼平台 : https://dashscope.aliyuncs.com/compatible-mode/v1
      • 本地ollama部署的模型 : http://localhost:11434
    • model : 要访问的模型名称
    • stream : true代表响应结果流式返回(显示生成的过程); false表示一次性返回
    • messages(又称Prompt 提示词) : 这里是数组,包含发送给大模型的消息
      • 包含两个字段: "role" :角色(system/user), "content":"xxx内容"

提示词角色

  • role角色有三种

    • system : 大模型设定的角色(人设)和任务背景

    • user : 使用者

    • assistant : 由大模型生成的消息(回答),可能是上一轮对话生成的结果

    +image

    system : 你叫豆包,是一个ai智能助手
    user : 在瓦罗兰特中,“颗秒”是什么意思
    assistant : 指用一颗子弹就将敌人爆头秒杀。
    
  • 为什么还要有system呢? 这是因为在与豆包,deepseek等AI平台聊天是,不是直接发送给大模型,而是先发到网站的服务器,服务器后台将问的问题和system通过调用模型提供的api发给大模型,然后大模型基于system设定回答

    • 当你问问题时,AI就会遵循System的设定来回答了。因此,不同的大模型由于System设定不同,回答的答案也不一样。
  • image

会话记忆问题

  • 为什么还要把历史消息放入Message中,形成数组呢?
    • 因为大模型是没有记忆的,因此我们调用API接口与大模型对话时,每一次对话信息都不会保留,多次对话之间都是独立的,没有关联的。
    • 需要每一次发送请求时,都把历史对话中每一轮的User消息、Assistant消息都封装到Messages数组中,一起发送给大模型,这样大模型就会根据这些历史对话信息进一步回答,就像是拥有了记忆一样。

调用大模型接口

  • 百炼平台提供了图像化的试验台,可以测试模型接口

image
image

  • 本地模型调用
    • Ollama在本地部署时,会自动提供模型对应的Http接口,访问地址是:http://localhost:11434/api/chat
    • 发送POST请求,写好请求体,正常来说请求头加上api-key进行权限校验,但本地模型是没有权限校验的,可以随便调用。
    • image
http://www.jsqmd.com/news/29182/

相关文章:

  • 11/2
  • 2025 年 11 月快速卷帘门厂家最新推荐,技术实力与市场口碑深度解析!
  • 2025 年 11 月快速卷帘门厂家最新推荐,实力品牌深度解析采购无忧之选!
  • 基于Opengauss的餐厅管理系统
  • 2025 年 11 月杀虫公司最新推荐,聚焦资质、案例、售后的五家机构深度解读!
  • WSL2安装perf的简易方法
  • 从图像到文本:手写体汉字识别的技术路径与产业赋能
  • 2025 年 11 月杀虫公司最新推荐,高性能与可靠性兼具的优质品牌!
  • 2025 年 11 月杀虫公司最新推荐,聚焦高端定制需求与全案交付能力!
  • 微信小脚本的校园生活助手系统
  • 2025 年 11 月不锈钢厂家推荐排行榜,不锈钢板,不锈钢管,不锈钢卷,不锈钢带,不锈钢材批发公司推荐!
  • 震卦、困卦、中孚卦
  • [2025.11.2 鲜花] trick or treat
  • 基于MATLAB绘制CALIPSO Level 2产品中体积退偏比垂直廓线和频率分布直方图
  • Redis各类数据结构详细介绍及其在Go语言Gin框架下实践应用
  • 2025 年 11 月弹簧片厂家推荐排行榜,304弹簧片,301弹簧片,不锈铁,430不锈钢板材公司推荐
  • 2025 年 11 月办公家具厂家推荐排行榜,办公桌,办公椅,文件柜,会议桌,办公沙发公司推荐,品质与设计双重保障!
  • 2025 年 11 月伸缩门厂家最新推荐,产能、专利、环保三维数据透视
  • [2025.11.2 雨集] 你这一生都不会忘记我
  • 【C语言】进程间通信
  • 每日一题:Leet 2257. 统计网格图中没有被保卫的格子数
  • 完全背包内外层循环是否可以对调?
  • SQL新特性/SQL语言增强以及JSON新特性
  • CSP2025 游寄
  • MySQL性能分析(五)之status详解
  • 2025 年 11 月电动门厂家最新推荐,精准检测与稳定性能深度解析
  • 《密码系统设计》第九周预习
  • 2025年程序员兼职常用的10个平台推荐 - 教程
  • JavaScript笔记(1)
  • 回归 CSP-S2025游记