第8章:监控告警体系构建

第8章:监控告警体系构建

8.1 监控架构设计

为什么需要监控

在大规模ES集群运维中,监控是基础设施,没有监控等于盲人摸象。监控的作用:

1. 实时感知: 实时了解集群状态,及时发现异常
2. 性能分析: 分析性能瓶颈,指导优化
3. 容量规划: 根据历史数据,规划扩容
4. 故障诊断: 故障时快速定位问题
5. SLA保障: 监控关键指标,保障SLA

监控架构

┌─────────────────────────────────────┐ │ Elasticsearch集群 │ │ ┌───────────────────────────────┐ │ │ │ Elasticsearch Exporter │ │ │ │ (采集ES指标) │ │ │ └───────────────────────────────┘ │ └──────────────┬──────────────────────┘ │ ┌──────────▼──────────┐ │ Prometheus │ │ - 指标存储 │ │ - 指标查询 │ │ - 告警规则 │ └──────────┬──────────┘ │ ┌──────────┴──────────┐ │ │ ┌───▼────┐ ┌────▼───┐ │Grafana │ │Alertmgr│ │可视化 │ │告警 │ └────────┘ └────────┘

监控层次

层次1:集群级监控

• 集群健康状态
• 节点数量
• 分片状态
• 集群级别指标(查询QPS、写入QPS)

层次2:节点级监控

• JVM堆内存使用率
• CPU使用率
• 磁盘使用率
• 网络IO
• 分片数

层次3:索引级监控

• 索引大小
• 文档数
• 查询延迟
• 写入延迟
• 段数

层次4:请求级监控

• 慢查询日志
• 慢写入日志
• 请求错误率

8.2 Elasticsearch Exporter部署与配置

部署方式

方式1:二进制部署:

# 下载Exporterwgethttps://github.com/prometheus-community/elasticsearch_exporter/releases/download/v1.7.0/elasticsearch_exporter-1.7.0.linux-amd64.tar.gztar-xzfelasticsearch_exporter-1.7.0.linux-amd64.tar.gzcdelasticsearch_exporter-1.7.0.linux-amd64# 启动Exporter./elasticsearch_exporter\--es.uri=http://localhost:9200\--es.all\--es.indices\--es.indices_settings\--es.shards\--web.listen-address=:9114

方式2:Docker部署:

dockerrun-d\--nameelasticsearch_exporter\-p9114:9114\quay.io/prometheuscommunity/elasticsearch-exporter:latest\--es.uri=http://elasticsearch:9200\--es.all\--es.indices

方式3:Kubernetes部署:

apiVersion:apps/v1kind:Deploymentmetadata:name:elasticsearch-exporternamespace:monitoringspec:replicas:1selector:matchLabels:app:elasticsearch-exportertemplate:metadata:labels:app:elasticsearch-exporterspec:containers:-name:exporterimage:quay.io/prometheuscommunity/elasticsearch-exporter:latestargs:---es.uri=http://elasticsearch:9200---es.all---es.indices---es.shardsports:-