Spring AI alibaba Prompt模板Advisor自定义 - 实践

本文为个人学习笔记整理，仅供交流参考，非专业教学资料，内容请自行甄别。

文章目录

• 前言
• 一、Prompt
• 二、Prompt模板化配置
• 三、Advisor
• 四、自定义Advisor

---

前言

  本篇主要介绍Spring AI alibaba Prompt的概念，以及如何模板化配置，自定义Advisor拦截器。

一、Prompt

  Prompt是提示词，简单来说，每次使用AI，在对话框中输入的提问内容，对于大模型来说就是提示词。

  提示词也可以进行细分，主要可分为以下三种类型：

• 用户提示词：即用户每次向大模型进行提问的内容。
• 系统提示词：在进行AI应用开发时，开发者给大模型预先设置的规则和角色定位。例如：“扮演深耕编程领域的专家。开场向用户表明身份，告知用户可倾诉编程学习方面的难题。引导用户详述事情经过、对方反应及自身想法，以便给出专属解决方案。”通常不同领域的AI应用，预设的角色都是不同的，这一点要开发者根据实际业务需求进行定制。
• 助手提示词：是每次大模型在处理完用户的提问后，响应的内容。在多轮对话中，助手提示词也会作为上下文的一部分，影响后续的互动。

  这三类提示词在代码中的体现，都实现了Message接口：

二、Prompt模板化配置

  在AI应用开发中，需要定义系统提示词。可以将提示词作为常量定义，或者保存在数据库中。Spring AI的官方提供了模板化配置的功能。模板化配置
  Spring AI 中快速模板化的一个关键组件是PromptTemplate类,旨在方便创建结构化提示,然后发送到人工智能模型进行处理。

  Spring AI 提供了PromptTemplate的不同实现类，对应不同角色的消息：

• SystemPromptTemplate：系统消息
• AssistantPromptTemplate：助手消息

  同时Spring AI 支持从模板文件中读取Prompt信息，并且动态替换占位符的功能，首先在项目的resources目录下定义一个文件：system-message.st，文件中的内容带有占位符：

“扮演深耕{field}领域的专家。开场向用户表明身份，告知用户可倾诉{type}难题。引导用户详述事情经过、对方反应及自身想法，以便给出专属解决方案。”

  因为上述的文案，是给AI大模型预设的，所以应该构造一个SystemPromptTemplate，并且将读取到的文件内容赋值给它：

@Value("classpath:/promts/system-message.st")
Resource systemResource;
//.....
SystemPromptTemplate systemPromptTemplate = new SystemPromptTemplate(systemResource);

  然后使用SystemPromptTemplate的createMessageAPI，进行占位符填充，并获取最终的提示词。

String text = systemPromptTemplate.createMessage(Map.of("field", "JAVA编程", "type", "学习方向")).getText();

三、Advisor

  Spring AI中的Advisor，相当于Spring 的AOP切面，允许用户在调用大模型前后，执行一些操作，getOrder()方法决定多个Advisor组成的责任链的执行顺序（较低的值首先被执行），而getName()则是提供一个自定义的名称。

  它有两个实现类，分别是CallAroundAdvisor和StreamAroundAdvisor。代表了不同的模式（流式或非流式）。用户在自定义实现时最好两个都要实现。

  和Spring 的 AOP切面一样，多个Advisor会组成责任链，责任链和大模型之间的交互：

1. Spring AI从用户的Prompt提示词，创建一个ChatClientRequest ，并且创建一个context 上下文对象，用于在整个责任链中进行消息传递。
2. 链中的每个Advisor都会处理请求,并可能对请求的内容进行修改。也可以直接拦截请求，不向下一个Advisor传递，并且构造响应，返回结果。
3. 由框架提供的最终Advisor将请求发送至大模型。
4. 模型的响应随后通过责任链进行传递并转化为ChatClientResponse（包含了context 上下文对象）,每个后置的Advisor也可以对响应进行处理。
5. 最终的ChatClientResponse通过提取ChatCompletion返回客户端。

  Spring AI提供了一些内置的Advisor，对功能进行扩展：

日志拦截器，在请求和响应时打印日志，但是级别是debug

敏感词拦截器，拦截用户自定义的敏感词，如果发现用户提问包含敏感词，就直接拦截，构造响应返回给用户，响应内容也是可以用户自定义的

  可以通过ChatClient的defaultAdvisorsAPI，加入自定义的拦截器。

chatClient = ChatClient.builder(
dashScopeChatModel
).defaultSystem(text)
//基于数据库的会话记忆保存
.defaultAdvisors(new MessageChatMemoryAdvisor(dbBasedChatMemory),
//自定义日志拦截器
new MyLogAdvisor(),
//敏感词检测
new SensitiveWordCheckAdvisor())
.build();

四、自定义Advisor

  用户自定义Advisor，最好需要同时实现CallAroundAdvisor, StreamAroundAdvisor两个接口，分别重写流式和非流式的相关方法，例如自定义的日志拦截器：

/**
* 自定义日志拦截器
*/
@Slf4j
public class MyLogAdvisor implements CallAroundAdvisor, StreamAroundAdvisor {
@Override
public AdvisedResponse aroundCall(AdvisedRequest advisedRequest, CallAroundAdvisorChain chain) {
//前置增强
log.info("自定义日志拦截器，AI request:{}",advisedRequest.userText());
//调用下一个拦截器
AdvisedResponse advisedResponse = chain.nextAroundCall(advisedRequest);
//后置增强
log.info("自定义日志拦截器，AI response:{}",advisedResponse.response().getResult().getOutput().getText());
return advisedResponse;
}
@Override
public Flux<AdvisedResponse> aroundStream(AdvisedRequest advisedRequest, StreamAroundAdvisorChain chain) {//前置增强log.info("自定义日志拦截器，AI request:{}",advisedRequest.userText());Flux<AdvisedResponse> advisedResponseFlux = chain.nextAroundStream(advisedRequest);return new MessageAggregator().aggregateAdvisedResponse(advisedResponseFlux, new Consumer<AdvisedResponse>() {@Overridepublic void accept(AdvisedResponse advisedResponse) {//后置增强log.info("自定义日志拦截器，AI response:{}",advisedResponse.response().getResult().getOutput().getText());}});}@Overridepublic String getName() {return this.getClass().getSimpleName();}@Overridepublic int getOrder() {return 0;}}

  自定义Re2拦截器，其实现方式是取出用户的提问词，然后重复发给AI。但是每次用户的对话是需要消耗token的，这样的做法相当于消耗了双倍的token。

/**
* 自定义 Re2 Advisor
* 可提高大型语言模型的推理能力
*/
public class ReReadingAdvisor implements CallAroundAdvisor, StreamAroundAdvisor {
private AdvisedRequest before(AdvisedRequest advisedRequest) {
Map<String, Object> advisedUserParams = new HashMap<>(advisedRequest.userParams());advisedUserParams.put("re2_input_query", advisedRequest.userText());return AdvisedRequest.from(advisedRequest).userText("""{re2_input_query}Read the question again: {re2_input_query}""").userParams(advisedUserParams).build();}@Overridepublic AdvisedResponse aroundCall(AdvisedRequest advisedRequest, CallAroundAdvisorChain chain) {return chain.nextAroundCall(this.before(advisedRequest));}@Overridepublic Flux<AdvisedResponse> aroundStream(AdvisedRequest advisedRequest, StreamAroundAdvisorChain chain) {return chain.nextAroundStream(this.before(advisedRequest));}@Overridepublic int getOrder() {return 0;}@Overridepublic String getName() {return this.getClass().getSimpleName();}}