MonkeyCode 的可观测性体系：日志、监控与告警的完整方案
MonkeyCode 的可观测性体系：日志、监控与告警的完整方案
当你管理着成百上千个用户容器时，"出了问题不知道"比"出了问题"更可怕。MonkeyCode 构建了一套完整的可观测性体系，让运维团队能够实时感知系统状态。
可观测性的三大支柱
MonkeyCode 的可观测性体系基于三大支柱：
- 日志（Logging）— 记录系统中发生的每一件事
- 指标（Metrics）— 量化系统的运行状态
- 追踪（Tracing）— 追踪请求在系统中的流转路径
日志系统
结构化日志
所有日志采用JSON格式，便于机器解析和搜索：
{\n "timestamp": "2026-06-08T10:30:00.123Z",\n "level": "info",\n "service": "gateway",\n "traceId": "abc123",\n "userId": "user_456",\n "action": "workspace.create",\n "duration_ms": 2340,\n "status": "success",\n "workspaceId": "ws_789"\n}日志采集架构
容器日志 → Fluent Bit → Kafka → ClickHouse\n ↓\n Grafana Loki（搜索和查询）关键设计决策：
- 用Fluent Bit而不是Fluentd — 资源占用更少（每个节点约10MB内存）
- 用Kafka做缓冲 — 日志高峰期不会压垮存储
- 用ClickHouse做长期存储 — 列式存储压缩率高，查询快
- 用Loki做实时搜索 — 与Grafana无缝集成
指标监控
核心指标
MonkeyCode 监控以下核心指标：
基础设施层
- 节点CPU/内存/磁盘使用率
- 容器创建/销毁速率
- 网络带宽使用量
应用层
- API请求延迟（P50/P90/P99）
- AI模型调用延迟
- WebSocket连接数
- 错误率（按错误码分类）
业务层
- 活跃用户数
- 并发Workspace数
- AI对话次数
- 代码提交次数
Prometheus + Grafana
指标采集使用Prometheus，展示使用Grafana：
// 关键告警规则\ngroups:\n - name: monkeycode-alerts\n rules:\n - alert: WorkspaceCreationSlow\n expr: histogram_quantile(0.99, workspace_creation_duration_seconds) > 10\n for: 5m\n annotations:\n summary: "Workspace创建P99延迟超过10秒"\n \n - alert: AIModelHighLatency\n expr: histogram_quantile(0.95, ai_model_response_duration_seconds) > 5\n for: 10m\n annotations:\n summary: "AI模型P95响应延迟超过5秒"\n \n - alert: ContainerRestartLoop\n expr: rate(container_restarts_total[5m]) > 0.1\n for: 5m\n annotations:\n summary: "容器频繁重启"分布式追踪
一次AI对话请求可能经过5-6个服务。追踪让团队能看到完整的调用链：
用户发送消息\n → Gateway（认证鉴权）10ms\n → Model Router（选择模型）5ms\n → Prompt Builder（构建提示词）2ms\n → AI Model API（模型调用）1800ms\n → Response Parser（解析响应）3ms\n → 审计日志记录 8ms\n → 返回用户 总计: 1828msMonkeyCode 使用OpenTelemetry进行分布式追踪，数据存储在Jaeger中。
告警体系
告警分为四个等级：
| 等级 | 含义 | 通知方式 | 响应时间 |
|---|---|---|---|
| P0 | 系统不可用 | 电话+短信+IM | 5分钟 |
| P1 | 核心功能降级 | 短信+IM | 15分钟 |
| P2 | 次要功能异常 | IM | 1小时 |
| P3 | 需要关注 | IM | 下一工作日 |
开源自建 vs 商业方案
MonkeyCode 选择全栈开源方案（Prometheus + Grafana + Loki + Jaeger），而非商业方案（DataDog/New Relic）：
- 成本— 商业方案按量计费，1000+用户规模月费$5000+
- 数据主权— 监控数据不离开自己的服务器
- 可定制性— 开源方案可以深度定制
- 与私有化部署一致— 用户自部署时使用相同的监控方案
总结
可观测性不是奢侈品，而是必需品。MonkeyCode通过日志、指标、追踪三大支柱，实现了对系统运行状态的全面感知。这些监控方案随开源代码一起发布，企业用户在私有化部署时可以直接使用。
监控配置参考：github.com/chaitin/MonkeyCode/tree/main/deploy/monitoring