基于Prometheus的日志+监控告警系统
Prometheus+Grafana+Alertmanager+日志栈(Loki/ELK)
整体框架
日志采集：Filebeat/Fluent Bit/Promtail
指标采集：Exporters+NodeExporter+应用埋点
存储：Prometheus(时序指标)+Loki (日志)/Elasticsearch
告警：Alertmanager
可视化：Grafana
通知渠道：钉钉/企业微信/内网搭建流程平台
组件功能
1.Prometheus
- 存储监控指标(CPU，内存，QPS，延迟，连接数)
- 基于PromQL做查询，聚合，告警规则计算
- 定时拉取各类exporter指标
2.Alertmanager
- 接收Prometheus发来的告警
- 做去重,分组,抑制,静默,升级
3.Loki(轻量日志方案)
- 专为云原生设计,只索引标签,不全文检索日志内容
- 日志查询语法类似于PromQL
- 配合Promtail采集日志
- 可和指标在Grafana同面板展示
4.Promtail/Filebeat
- 采集容器/宿主机/应用日志
- 给日志打标签(app,env,instance,level)
- 发送到Loki/ES
5.Grafana
- 统一看板:监控图表+日志面板
- 日志搜索,日志上下文,关联指标
- 大盘,权限,报表
典型告警
指标类告警(Prometheus)
- 节点CPU>90%持续5分钟
- 内存使用>85%
- 磁盘使用率>85%
- 服务端口不通
- 进程不存在
- 接口错误率>5%
- 接口P99延迟>500ms
- 数据库连接数过高
- JVM内存OOM,GC频繁
日志类告警
- 日志出现ERROR/FATAL
日志中出现ERROR/FATAL,下一行或者附近几行会包含Exception(异常)或Traceback(堆栈跟踪)所以通常来说,需要查日志中附近的日志
window Service服务器可以直接定位查找Linux系统如下
# 显示ERROR前后5行（最常用）
grep -B 5 -A 5 "ERROR" 日志文件.log# 显示FATAL前后10行
grep -B 10 -A 10 "FATAL" 日志文件.log# 同时显示前后5行（简写）
grep -C 5 "ERROR" 日志文件.log
- 出现OOM,Connection refused,timeout
- 关键业务日志缺失
- 访问日志5xx突增
部署结构
prometheus
alertmanager
grafana
loki
promtail
node-exporter
cadvisor（容器监控）
告警配置示例
Prometheus告警规则(CPU高负载)
groups:
- name: node-alert rules: - alert: NodeHighCPU expr: 100 - (avg by(instance) (irate(node_cpu_seconds_total{mode="idle"}[1m])) * 100) > 90 for: 5m
labels:
severity: critical
annotations:
summary: "服务器 {{ $labels.instance }} CPU 过高" description: "CPU 持续 5 分钟 > 90%，当前值：{{ $value }}%"
Alertmanager钉钉/企业微信路由
route:
group_by: ['alertname']
group_wait: 10s
group_interval: 10s
repeat_interval: 1h
receiver: 'dingtalk' receivers:
- name: 'dingtalk' webhook_configs:
- url: 'https://oapi.dingtalk.com/robot/send?access_token=xxx'