AI工程化（一）定义和层级划分
一、介绍
1、为什么需要工程化
在简单场景下，我们通常不需要工程化。
例如，像 Redis 这样的工具，在基础使用阶段，仅仅作为缓存读写组件时，并不需要复杂的架构设计或框架支持。但随着业务规模扩大、使用场景变复杂，就会逐渐暴露出一系列问题，例如：
- 缓存雪崩
- 缓存穿透
- 缓存击穿
- 数据一致性
这时，仅靠简单调用已经无法满足需求，就需要引入一整套工程化方案（如缓存策略、限流、降级、分布式设计等）来保证系统的稳定性和可扩展性。
AI 系统的发展路径其实是类似的。
在最初阶段，我们可能只需要简单调用一个大模型 API，传入 prompt 并获取结果，这种方式几乎不需要工程化。但随着应用深入，会逐渐遇到更多复杂问题，例如：
- Prompt 变得越来越复杂、难以维护
- 不同任务需要不同模型（成本 vs 效果的权衡）
- 输出结果不稳定，需要控制和校验
- 多轮对话、上下文管理变复杂
- 性能、成本、延迟需要优化
此时，单纯“调用模型”已经不够，需要引入工程化手段来系统性地解决这些问题。
例如：
- 通过 Prompt 模板化、拆分与组合来提升可维护性
- 构建模型路由机制，根据任务复杂度选择不同模型
- 引入中间层（Agent / Workflow）管理任务流程
- 增加缓存、重试、评估机制提升稳定性
因此，AI 工程化的本质，是在复杂业务场景下，对模型能力进行可控、可扩展、可维护的系统化封装。当 AI 从“玩具”变成“基础设施”，工程化就不再是可选项，而是必选项。
2、工程化的定义
AI 工程化（AI Engineering），可以理解为：
将大模型能力从“简单调用”升级为“可管理系统”的过程。将AI研究成果转化为稳定（可靠）、可维护（可控）、可扩展的生产系统。
更具体一点，它包含以下几个核心方面：
- Prompt 工程化
将原本零散的 prompt，转化为结构化、可复用、可版本化的模块。 - 模型管理与路由
根据任务复杂度、成本、延迟等因素，动态选择合适的模型（如小模型 vs 大模型）。 - 任务编排（Workflow / Agent）
将复杂任务拆解为多个步骤，由系统自动调度执行。 - 结果控制与评估
对模型输出进行校验、过滤、打分，确保结果稳定可靠。 - 性能与成本优化
包括缓存、批处理、流式输出、降级策略等。 - 可观测性与运维
监控调用情况、错误率、成本消耗，以及效果评估。
3、对比
二、层级划分
1、逻辑概念层级
AWS 前负责人 Greg Coquillo 提出《The 8-Layer Architecture of Agentic AI》
1️⃣ Infrastructure Layer（基础设施层）
作用：提供算力与数据基础
- GPU / TPU / 云计算资源
- 数据湖 / 数据仓库
- 存储系统（如对象存储）
- 网络与负载均衡
👉 本质：AI 的“地基”，没有这一层，上层能力无法运行。
2️⃣ Agent Internet Layer（Agent 网络层）
作用：让 Agent 能连接世界与彼此
- 多 Agent 系统（Multi-Agent Systems）
- 通信协议
- 向量数据库（如 Pinecone、Weaviate）
- Agent 身份与状态管理
- 执行环境 / 外部 API
👉 本质：让 Agent“活起来”，可以通信、调用外部能力。
3️⃣ Protocol Layer（协议层）
作用：定义 Agent 之间如何协作
- A2A（Agent-to-Agent）协议
- MCP（Model Context Protocol）
- AGP / ANP 等 Agent 协议
- Function Call Protocol
👉 本质：AI 世界的“HTTP 协议”，标准化交互方式。
4️⃣ Tooling & Enrichment Layer（工具与增强层）
作用：扩展模型能力边界
- RAG（检索增强生成）
- 向量数据库（FAISS、Chroma）
- 工具调用（Function Calling）
- 代码执行（Python / Sandbox）
- 外部 API / 插件系统
👉 本质：让 AI 不只是“会说”，而是“能做”。
5️⃣ Cognition & Reasoning Layer（认知与推理层）
作用：让 AI 具备“思考能力”
- 规划（Planning）
- 决策（Decision Making）
- 推理引擎（Reasoning）
- 自我改进（Self-Improvement）
- 错误处理（Error Handling）
- 多步任务处理
👉 本质：Agent 的“大脑”。
6️⃣ Memory & Personalization Layer（记忆与个性化层）
作用：让 AI 具备“记忆”和“个性”
- 短期记忆（Working Memory）
- 长期记忆（Long-term Memory）
- 用户画像（Profile）
- 对话历史
- 行为建模
- 情感上下文
👉 本质：让 AI 从“工具”变成“助手”。
7️⃣ Application Layer（应用层）
作用：面向具体业务场景
- 个人助手
- 内容创作（写作 / 视频 / 代码）
- 电商推荐
- 学习助手
- 协作办公 Agent（如 Slack / Notion）
- 自动化任务机器人
👉 本质：用户真正使用的“产品层”。
8️⃣ Ops & Governance Layer（运维与治理层）
作用：保证系统稳定、可控、可监管
- 部署与 CI/CD
- 成本控制（Cost Optimization）
- 监控与可观测性
- 权限与隐私治理
- 日志与审计
- 安全与信任机制
👉 本质：AI 工程化的“护城河”。
2、技术栈层级
上面的概念层级压缩成技术栈层级：
1️⃣ Infrastructure Layer（基础设施层）
- 云、算力、存储
👉 和前面8层里的基础设施是一样的
2️⃣ Architecture Layer（模型架构层）
- Transformer、Diffusion、CNN、RNN、RAG、MoE 等
👉 这一层讲的是：
模型“怎么被设计出来”
⚠️ 和 Agent 架构里的“Protocol / Tooling”完全不是一类东西
3️⃣ ML Foundation Model Layer（基础模型层）
- GPT-4、Claude、LLaMA、Mistral、Gemini 等
👉 这一层是：
具体的大模型产品
4️⃣ LLM Layer（模型实例 / 推理层）
- GPT-3.5、Claude Instant、Mistral、Phi 等
👉 可以理解为：
可调用的模型版本（推理服务）
5️⃣ API Layer（接口层）
- OpenAI API、Azure OpenAI、Anthropic API、Replicate 等
👉 这一层是：
开发者真正调用的入口
6️⃣ Application Layer（应用层）
- ChatGPT、Notion AI、Copilot、Runway 等
👉 用户直接使用的产品