Prometheus告警处理详解：从Alertmanager部署到告警实战
一、Alertmanager介绍
Prometheus 内置了一个报警模块——Alertmanager，它负责接收来自 Prometheus 的告警信息，并支持对告警进行去重、降噪、分组、路由，同时具备丰富的通知渠道集成能力，是一款高效的告警通知系统。
告警流程架构
在 Prometheus 中，告警功能分为两部分：
Prometheus：定义告警规则并周期性计算，触发告警后发送给 Alertmanager。
Alertmanager：接收告警并按照配置进行后续处理与通知。
下图展示了告警流程架构：
二、部署Alertmanager
Alertmanager 使用 Go 编写，无第三方依赖，支持跨平台部署。
1. Linux安装步骤
（1）下载安装包
bash
wget https://github.com/prometheus/alertmanager/releases/download/v0.26.0/alertmanager-0.26.0.linux-amd64.tar.gz
（2）创建配置文件
解压后默认配置文件为alertmanager.yml，主要内容如下：
yaml
route: group_by: ['alertname'] group_wait: 30s group_interval: 5m repeat_interval: 1h receiver: 'web.hook' receivers: - name: 'web.hook' webhook_configs: - url: 'http://127.0.0.1:5001/' inhibit_rules: - source_match: severity: 'critical' target_match: severity: 'warning' equal: ['alertname', 'dev', 'instance']
（3）启动Alertmanager
bash
./alertmanager
支持启动参数：
--config.file：指定配置文件路径--storage.path：指定数据存储路径
（4）查看运行状态
访问http://<IP>:9093可进入Alertmanager控制台。
2. Docker安装步骤
bash
mkdir -p /etc/alertmanager/ mkdir -p /etc/alertmanager/template vim /etc/alertmanager/alertmanager.yml # 内容同上 docker run -d -p 9093:9093 \ -v /etc/alertmanager:/etc/alertmanager \ -v /etc/localtime:/etc/localtime \ prom/alertmanager
三、配置Receiver接收告警信息
Alertmanager 支持多种通知方式，包括邮件、Slack、Webhook、PagerDuty 等。
集成QQ邮箱告警示例
1. 申请QQ邮箱授权码
参考：QQ邮箱授权码申请指南
2. 配置alertmanager.yml
yaml
global: resolve_timeout: 5m smtp_smarthost: 'smtp.qq.com:465' smtp_from: '276****211@qq.com' smtp_auth_username: '276****211@qq.com' smtp_auth_password: 'xxxxxxxxx' # 授权码，非QQ密码 smtp_require_tls: false templates: - '/etc/alertmanager/template/*.tmpl' route: group_by: ['service','alertname','cluster'] group_wait: 30s group_interval: 10s repeat_interval: 5m receiver: 'email' receivers: - name: 'email' email_configs: - to: '276****211@qq.com' send_resolved: true html: '{{ template "email.html" . }}' inhibit_rules: - source_match: severity: 'critical' target_match: severity: 'warning' equal: ['alertname', 'dev', 'instance']3. 创建自定义邮件模板
bash
vim /etc/alertmanager/template/email.tmpl
模板内容如下（支持Go模板语法）：
go
{{ define "email.html" }} {{ range $i, $alert :=.Alerts }} ========监控报警==========<br> 告警状态：{{ .Status }}<br> 告警级别：{{ $alert.Labels.severity }}<br> 告警类型：{{ $alert.Labels.alertname }}<br> 告警应用：{{ $alert.Annotations.summary }}<br> 告警主机：{{ $alert.Labels.instance }}<br> 告警详情：{{ $alert.Annotations.description }}<br> 触发阀值：{{ $alert.Annotations.value }}<br> 告警时间：{{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05"}}<br> ========end=============<br> {{ end }} {{ end }}注意：
StartsAt为UTC时间，需加28800e9转换为北京时间
2006-01-02 15:04:05为Go语言固定时间格式
四、启用Alertmanager模块与Rules告警规则
1. 配置Prometheus连接Alertmanager
编辑prometheus.yml，添加以下内容：
yaml
global: scrape_interval: 5s evaluation_interval: 5s alerting: alertmanagers: - static_configs: - targets: - 192.168.3.100:9093 rule_files: - "/etc/prometheus/rules/*.rules"
重启Prometheus后，访问http://<IP>:9090/config确认配置生效。
2. 创建告警规则文件
示例规则：CPU与内存使用率告警
bash
mkdir -p /etc/prometheus/rules vim /etc/prometheus/rules/alerts.rules
内容如下：
yaml
groups: - name: hostStatsAlert rules: - alert: hostCpuUsageAlert expr: (1 - avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance))*100 > 85 for: 1m labels: severity: critical annotations: summary: "Instance {{ $labels.instance }} CPU usage high" description: "{{ $labels.instance }} CPU usage above 85% (current value: {{ $value }})" - alert: hostMemUsageAlert expr: (1 - (node_memory_MemAvailable_bytes{} / (node_memory_MemTotal_bytes{})))* 100 > 70 for: 1m labels: severity: critical annotations: summary: "Instance {{ $labels.instance }} MEM usage high" description: "{{ $labels.instance }} MEM usage above 70% (current value: {{ $value }})"重启Prometheus后，可通过以下地址查看规则与告警状态：
规则列表：
http://127.0.0.1:9090/rules告警状态：
http://127.0.0.1:9090/alerts
3. 模拟告警触发测试
创建CPU负载脚本：
bash
vim load_cpu.sh #!/bin/bash while true; do : done chmod +x load_cpu.sh ./load_cpu.sh
运行后观察：
Prometheus 检测到CPU使用率 >85%
告警状态先变为PENDING（持续1分钟后）
触发FIRING状态并发送至Alertmanager
Alertmanager 根据路由发送邮件通知
总结
本文完整介绍了从 Alertmanager 部署、配置邮件接收、编写Prometheus告警规则到模拟告警测试的全过程。通过合理配置路由、抑制规则与通知模板，可构建一套稳定、易用的监控告警系统。
后续可继续扩展：
集成企业微信、钉钉、Slack等通知
配置告警分级与静默规则
使用Webhook对接自愈系统