从零构建Prometheus+Grafana监控体系：MySQL性能可视化实战
1. 为什么需要监控MySQL数据库性能？
作为最流行的开源关系型数据库，MySQL承载着大量企业的核心业务数据。但数据库性能问题就像温水煮青蛙——当发现查询变慢、连接数暴增时，系统往往已经处于崩溃边缘。我经历过最惨痛的教训是某次大促期间，由于没有提前发现慢查询堆积，导致数据库线程打满，整个电商系统瘫痪了47分钟。
数据库监控的核心价值在于提前发现问题。通过Prometheus+Grafana的组合，我们可以：
- 实时跟踪QPS、连接数、缓存命中率等关键指标
- 自动记录慢查询日志中的"问题SQL"
- 可视化分析锁等待和事务冲突情况
- 基于历史数据预测容量瓶颈
2. 搭建Prometheus监控系统
2.1 安装Prometheus服务端
推荐使用二进制包安装最新稳定版（当前为2.44.0）：
wget https://github.com/prometheus/prometheus/releases/download/v2.44.0/prometheus-2.44.0.linux-amd64.tar.gz tar zxf prometheus-2.44.0.linux-amd64.tar.gz mv prometheus-2.44.0.linux-amd64 /usr/local/prometheus验证安装是否成功：
cd /usr/local/prometheus ./prometheus --version2.2 配置Prometheus核心参数
修改prometheus.yml时重点关注这些参数：
global: scrape_interval: 15s # 数据采集间隔 evaluation_interval: 15s # 告警规则评估间隔 scrape_configs: - job_name: 'prometheus' # 监控自身 static_configs: - targets: ['localhost:9090']2.3 系统服务化部署
创建systemd服务文件/usr/lib/systemd/system/prometheus.service：
[Unit] Description=Prometheus Monitoring System [Service] ExecStart=/usr/local/prometheus/prometheus \ --config.file=/usr/local/prometheus/prometheus.yml \ --web.listen-address=:9090 \ --storage.tsdb.retention=30d # 数据保留30天 Restart=on-failure [Install] WantedBy=multi-user.target启动服务后访问http://服务器IP:9090即可看到Web界面。
3. 部署MySQL监控组件
3.1 安装mysqld_exporter
这个官方导出器会从MySQL采集140+个性能指标：
wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-amd64.tar.gz tar xf mysqld_exporter-0.12.1.linux-amd64.tar.gz -C /usr/local/ mv /usr/local/mysqld_exporter-0.12.1.linux-amd64 /usr/local/mysqld_exporter3.2 配置数据库连接
创建配置文件/usr/local/mysqld_exporter/.my.cnf：
[client] host=127.0.0.1 user=monitor_user # 建议创建专用监控账号 password=StrongPassword123 port=3306记得在MySQL中授权：
CREATE USER 'monitor_user'@'localhost' IDENTIFIED BY 'StrongPassword123'; GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'monitor_user'@'localhost';3.3 启动导出器服务
建议用systemd管理：
[Unit] Description=MySQL Metrics Exporter [Service] ExecStart=/usr/local/mysqld_exporter/mysqld_exporter \ --config.my-cnf=/usr/local/mysqld_exporter/.my.cnf \ --web.listen-address=:9104 Restart=on-failure [Install] WantedBy=multi-user.target4. 配置Grafana可视化
4.1 安装与初始化
使用清华镜像源快速安装：
wget https://mirrors.tuna.tsinghua.edu.cn/grafana/yum/rpm/Packages/grafana-7.4.3-1.x86_64.rpm yum install -y grafana-7.4.3-1.x86_64.rpm systemctl start grafana-server访问http://服务器IP:3000，初始账号admin/admin。
4.2 添加Prometheus数据源
- 左侧菜单选择"Configuration" > "Data Sources"
- 点击"Add data source"选择Prometheus
- 填写URL：
http://Prometheus服务器IP:9090 - 点击"Save & Test"验证连接
4.3 导入专业监控面板
推荐这些官方仪表板模板：
- MySQL Overview（ID：7362）：基础性能概览
- MySQL InnoDB Metrics（ID：7991）：存储引擎深度监控
- MySQL Query Statistics（ID：11323）：SQL查询分析
导入方法：
- 左侧菜单选择"Create" > "Import"
- 输入仪表板ID
- 选择之前添加的Prometheus数据源
5. 关键监控指标解析
5.1 性能类指标
mysql_global_status_questions：每秒查询量(QPS)mysql_global_status_connections：当前连接数mysql_global_status_threads_running：活跃线程数
5.2 资源类指标
mysql_global_variables_innodb_buffer_pool_size：缓冲池大小mysql_global_status_innodb_buffer_pool_reads：磁盘读取次数mysql_global_status_innodb_row_lock_time_avg：平均行锁等待时间
5.3 告警规则示例
在Prometheus的rules/mysql.rules中添加：
groups: - name: mysql-alerts rules: - alert: HighThreadsRunning expr: mysql_global_status_threads_running > 100 for: 5m labels: severity: warning annotations: summary: "High MySQL threads running ({{ $value }})" description: "Database threads are consistently high"6. 生产环境优化建议
在实际运维中，我发现这些配置能显著提升监控效果：
采集频率调整：
- 生产环境：
scrape_interval: 5s - 测试环境：
scrape_interval: 30s
- 生产环境：
指标过滤： 在mysqld_exporter启动参数添加：
--collect.auto_increment.columns \ --collect.engine_innodb_status \ --collect.info_schema.processlistGrafana告警集成：
- 配置邮件/Slack通知通道
- 设置多级告警阈值（Warning/Critical）
- 添加告警历史看板
这套监控体系在我们公司上线后，数据库相关故障平均修复时间(MTTR)从原来的4小时缩短到15分钟。最惊喜的是通过历史趋势分析，我们成功预测了三次容量瓶颈，提前完成了扩容操作。