VTJ.PRO 在线应用开发平台的LLM服务、缓存与AI Agent工作流
LLM服务、缓存与AI Agent工作流
本文档详细介绍了VTJ.PRO的AI子系统，重点阐述其与大语言模型（LLM）的集成、提示词管理，以及用于代码生成和图像分析的AI Agent工作流的编排。
AIService: LLM编排器
AIService是所有LLM交互的核心网关。它抽象了底层兼容OpenAI的客户端，并管理着诸如流式响应、错误处理和请求取消等复杂任务。
主要职责
- 客户端初始化：根据提供商配置（API密钥、基础URL）动态创建OpenAI客户端。
- 流式补全：实现
chatCompletionsStream方法，以处理向前端实时传输的token流。 - 中止管理：使用
AbortController允许用户终止长时间运行的AI生成任务。 - 用量追踪：计算并记录token使用量，用于监控和潜在的计费需求。
LLM请求数据流
下图展示了一个请求如何从高层级的Agent服务，通过AIService，最终流向外部LLM提供商。
图示：AI请求管道
提示词管理与模板
VTJ.PRO 使用专门的系统提示词来引导LLM生成符合平台要求的代码和元数据。这些提示词由PromptService管理，并以Markdown文件的形式存储在_docs/prompts/目录下。
提示词类型
- Coder Prompt (
coder.md,coder_v3.md)：指示AI扮演一名资深Vue 3开发者的角色。它强制使用“混合API”风格（即同时使用Composition API和Options API），并为增量更新提供严格的SEARCH/REPLACEdiff格式。 - Image Prompt (
image.md)：配置AI以分析UI截图，并生成关于布局、导航和配色方案的描述性结构。 - JSON Prompt (
json.md)：用于将设计工具（如Figma/MasterGo）导出的JSON转换为可读的实现说明。
实现: PromptService
PromptService负责读取这些模板，并在将其发送给LLM之前执行变量插值（例如，注入支持的依赖项或当前平台类型）。
| 函数 | 用途 | 模板源 |
|---|---|---|
getCoderPrompt | 生成用于代码生成的系统提示词 | _docs/prompts/coder_v3.md |
getImagePrompt | 生成用于图像转代码分析的提示词 | _docs/prompts/image.md |
getJsonPrompt | 生成用于设计稿转代码分析的提示词 | _docs/prompts/json.md |
AI Agent工作流 (ReAct模式)
该平台在其coder_v3工作流中采用了ReAct（推理+行动）模式。这使得AI不仅能够生成代码，还能“思考”任务并调用特定的工具。
五步循环
- T (思考)：分析用户需求并检查约束条件。
- P (规划)：将任务分解为原子操作（例如，创建页面、获取技能）。
- A (行动)：执行单个操作，如输出一个
diff块或一个json工具调用。 - O (观察)：接收来自系统的反馈（例如，编译错误或工具结果）。
- F (完成)：总结已完成和待处理的任务。
增量更新 (SEARCH/REPLACE)
为了最大限度地减少token消耗，并避免因微小更改而重写整个文件，AI使用了精确的diff格式。
图示：增量代码更新工作流
支撑服务
TopicService 与 ChatService
- TopicService: 管理聊天“主题”的持久化。每个主题包含多条消息，并与特定的项目或应用关联。
- ChatService: 编排对话流程。它负责检索历史记录、准备上下文（系统提示词+历史记录），并调用
AIService。
ConfigService 与 ValidationService
- ConfigService: 处理全局AI设置（如针对不同用途的默认模型）的检索。
- ValidationService: 专门用于解析AI的输出。它提取代码块、验证JSON工具调用，并确保
SEARCH/REPLACE块能唯一匹配目标源代码。
LLM模型缓存
为确保管理后台和Agent执行期间的高性能，模型配置会被缓存。LLMModelService提供了getModels()和getCoderModels()等基于缓存的方法，从而减少了每个AI请求对数据库的查询次数。
参考资料
- 官网文档：https://vtj.pro/
- 在线平台：https://app.vtj.pro/
- 开源仓库：https://gitee.com/newgateway/vtj