LLM批处理系统:自适应并发控制;断点续传与进度追踪
Handy工单智能分类批处理系统详解
目录
- Handy工单智能分类批处理系统详解
- 一、项目概述
- 二、核心功能模块
- 1. 输入输出与文件管理
- 2. LLM 客户端与认证
- 3. 自适应并发控制(核心亮点)
- 4. 断点续传与进度追踪
- 5. 工单处理与结果解析
- 三、核心算法原理
- 1. 自适应并发控制算法
- 2. 断点续传机制
- 3. LLM 结果鲁棒性解析
- 四、实现流程
- 五、关键配置说明
- 代码实现
一、项目概述
这是一个基于Google Gemini (Vertex AI)的工单智能分类与信息提取批处理系统。它能自动读取 Excel/CSV 格式的工单对话数据,通过大模型(LLM)进行多级标签分类、核心故障现象提取,并支持高并发处理、自适应限流、断点续传等企业级特性,最终生成结构化的分析结果。
二、核心功能模块
1. 输入输出与文件管理
- 支持格式:
.xlsx/.xls/.csv,自动识别并映射列名(如 CSV 的conversation映射为工单对话数据)。 - 结果输出:生成包含多级标签、置信得分、核心故障信息的最终 Excel 文件,同时保留成功/失败记录的 CSV 缓存。
2. LLM 客户端与认证
- 使用 Google Cloud 服务账号(
google-credential.json)初始化 Vertex AI 客户端,调用gemini-3-flash-preview模型。 - 配置 60 秒超时,屏蔽第三
