当前位置: 首页 > news >正文

【AWS】基于Docker搭建监控系统基础(二)

背景

上一章讲到了认识服务器,这一章讲如何从安装docker到安装基本的监控设施
这章你会知道:Docker、Grafana、Loki、Prometheus、Protmail、Node-Exploer

基本信息:AWS EC2实例 服务器系统版本Ubuntu

安装Docker

`curl-fsSLhttps://get.docker.com|sh`安装docker

docker --version 查看docker版本,确认是否安装,如果安装失败,请自行排查问题

sudosystemctl startdocker--启动dockersudosystemctlenabledocker--关闭docker

这些指令在安装后尝试几次就好,重要是后续会以compose(容器组件)的形式启动
记得添加权限,免得报错

sudousermod-aGdockerubuntu --给docker添加权限
dockerps<-a>--查看


不报错即可,这里是已经搭好了,所以会有东西

dockercompose version --查看compose版本 如果有则不需要另外安装,没有请自行搜索相关教程

文件目录准备

infra
├── grafana
├── loki
├── prometheus
└── promtail
基于建立infra一级目录,然后建立其余的文件目录
举例:

mkdirinfra --创建infracdinfra --进入mkdirxxx --在该目录下再创建

最终我们要做的框架是
Grafana = 展示层
Loki = 日志存储
Promtail = 日志采集
Prometheus = 指标采集
Node Exporter = 服务器指标 (这个由Compose启动时安装下载即可)
cAdVisor = 容器指标 (这个由Compose启动时安装下载即可)

Compose文件准备与安装部署

yaml和yml文件是一个意思,配置时注意一下就好了
docker config

安装部署Loki

wgethttps://raw.githubusercontent.com/grafana/loki/main/cmd/loki/loki-local-config.yamlvimloki-local-config.yaml 编辑查看mkdir-p~/infra/loki/data 创建loki data文件 确认 common: path_prefix: /loki

配置文件

auth_enabled:falseserver:http_listen_port:3100grpc_listen_port:9096log_level:debuggrpc_server_max_concurrent_streams:1000common:instance_addr:127.0.0.1path_prefix:/lokistorage:filesystem:chunks_directory:/tmp/loki/chunksrules_directory:/tmp/loki/rulesreplication_factor:1ring:kvstore:store:inmemoryquery_range:results_cache:cache:embedded_cache:enabled:truemax_size_mb:100limits_config:metric_aggregation_enabled:trueenable_multi_variant_queries:trueschema_config:configs:-from:2020-10-24store:tsdbobject_store:filesystemschema:v13index:prefix:index_period:24hpattern_ingester:enabled:truemetric_aggregation:loki_address:localhost:3100ruler:alertmanager_url:http://localhost:9093frontend:encoding:protobuf

编写Compose 文件

vimdocker-compose.yml
services:grafana:image:grafana/grafanacontainer_name:grafanaports:-"3000:3000"volumes:-./grafana-data:/var/lib/grafanarestart:unless-stoppedloki:image:grafana/loki:latestcontainer_name:lokiports:-"3100:3100"command:-config.file=/etc/loki/local-config.yamlvolumes:-./loki/loki-local-config.yaml:/etc/loki/local-config.yaml-./loki/data:/lokirestart:unless-stopped

启动docoker compose

dockercompose up-d启动dockercompose down 关闭dockerps查看docker容器状态curllocalhost:3100/ready 访问 http://你的服务器ip:3000 登录grafana 默认账户 admin 密码 admin

配置Grafana数据源

登录后访问Grafana->Connections->Add new connection 选择loki
URL填写http://loki:3100
save&testing 保存

安装部署Promtail

作用: 采集日志 ↓ 发送给 Loki ↓ Grafana 展示 日志链路: Linux日志 ↓ Promtail ↓ Loki ↓ Grafana
vim~/infra/promtail/promtail.yaml 编辑promtail配置文件

配置文件样板:

server:http_listen_port:9080positions:filename:/tmp/positions.yamlclients:-url:http://loki:3100/loki/api/v1/pushscrape_configs:-job_name:syslogstatic_configs:-targets:-localhostlabels:job:sysloghost:ec2__path__:/var/log/syslog

向docker-compose.yml追加

promtail:image:grafana/promtail:latestcontainer_name:promtailvolumes:-./promtail/promtail.yaml:/etc/promtail/config.yml-/var/log:/var/logcommand:--config.file=/etc/promtail/config.ymlrestart:unless-stopped
dockercompose up-ddockerps出现 promtail 即配置完成

安装部署Node Exporter

Compose追加

node-exporter:image:prom/node-exportercontainer_name:node-exporterports:-"9100:9100"volumes:-"/:/host:ro,rslave"command:-'--path.rootfs=/host'restart:unless-stopped
dockercompose up-d启动curllocalhost:9090/metrics 访问 看里面有 node_cpu_seconds_total node_memory_MemTotal_bytes之类的参数指标即可

安装部署prometheus

vimprometheus/prometheus.yml
global:scrape_interval:15sscrape_configs:-job_name:prometheusstatic_configs:-targets:-prometheus:9090-job_name:nodestatic_configs:-targets:-node-exporter:9100
dockercompose up-d启动 然后挂载刚刚装的promtail和prometheuscurllocalhost:9100/metrics 访问查看是否有返回,报错则自行查阅解决 访问 http://服务器ip:9090/query 查询up 应该有prometheus和node=1

安装部署cAdvisor

compose追加

cadvisor: image: gcr.io/cadvisor/cadvisor:latest container_name: cadvisor ports: -"8080:8080"volumes: - /:/rootfs:ro - /var/run:/var/run:ro - /sys:/sys:ro - /var/lib/docker:/var/lib/docker:ro restart: unless-stopped

prometheus追加采集

- job_name: cadvisor static_configs: - targets: - cadvisor:8080
dockercompose restart prometheus --重启单个容器dockercompose restart --全部重启curlhttp://服务器ip:9090/query up{job="prometheus"}1up{job="node"}1up{job="cadvisor"}1



以上基础搭建就完成了接下来是grafana的展示层dashboard的搭建

Grafana Dashboard搭建

点击搜索栏或者crtl+k 搜索Import DashBoard

Node Exporter数据源

UID=1860 grafana官方模板 或者 较新的10180


可以用来查看:
CPU使用率
内存占用
磁盘IO
网卡流量
负载Load
文件系统

Loki数据源

UID=13639

查看loki日志
可以用来查看:
按容器看日志
按服务看日志
关键字搜索
错误统计

cAdvisor数据源

Cadvisor exporter
UID=14282

可以用来查看:
容器数量
容器状态
资源占用排行

注意事项和心得

具体的一些安装部署、监控指标怎么看都什么意思等排障和扫盲,待下篇会讲,这里只简单讲。

  • 注意容器的network模式 是host还是bridge 这个很重要,会影响到容器之间的访问,模式不一致容易踩坑
  • 安装部署后一定要立马检查部署是否成功
  • 服务器记得开放进站端口范围(入口)[3000、9100、9090等],用于自己访问或者白名单访问,不要被攻击啦!!!~
http://www.jsqmd.com/news/1100360/

相关文章:

  • 手把手教你用QRC提取RC寄生参数:从.cmd文件配置到SPEF输出的完整避坑指南
  • TEA系列加密算法实战:从C到Python的跨平台轻量级实现
  • 2026年,AI搜索优化的技术底层:从向量检索到商品卡交易闭环,每一层到底在做什么
  • 别再踩坑了!用Python控制Agilent 34401A万用表,这个SYSTEM:REMOTE命令必须发
  • ESP32驱动S90舵机保姆级教程:从PWM原理到库函数封装,附完整代码
  • 终极英雄联盟效率工具:5分钟提升游戏表现的完整指南
  • AI驱动边界值测试实战:从原理到发现三大隐藏Bug
  • 保姆级教程:在Ubuntu 22.04上搞定USRP B200/B210与GNURadio 3.10的连接测试
  • AI赋能Nmap:构建智能安全扫描与自动化风险分析系统
  • 2026好用的视频去水印工具:电脑手机免费付费、在线网站全推荐
  • 高端机自动发评论速度记录
  • 长尾关键词在SEO优先策略中的有效应用与成效分析
  • 专业流媒体下载方案:N_m3u8DL-RE实现DASH/HLS/MSS内容高效保存
  • 如何一键永久保存你的微信记忆?WeChatMsg完全免费解决方案揭秘
  • Web Crypto API实战:AES-CBC加密逆向分析与Node.js复现
  • Mac系统下Jmeter接口压测实战:从环境搭建到性能分析
  • AgentScope 2.0
  • 低场MRI仿真系统设计与磁场不均匀性校正技术
  • AI 编程这事,已经开始变味了
  • 工业蒸汽流量计首选品牌:高精度与高稳定性双保障
  • 基于YOLO的目标检测论文高效改进策略:从注意力机制到工程实践
  • 计算机毕业设计之高校精品课网站
  • AVR单片机CCL与CRC模块实战:硬件逻辑与数据完整性设计
  • 别再手动移位了!用Verilog实现PRBS7并行输出(附10比特并行源码)
  • 014、NLSN非局部稀疏网络:稀疏注意力机制的高效计算与实现
  • 50元玩客云刷Armbian变身家庭服务器:保姆级TTL刷机避坑指南(附固件包)
  • 为AI Agent构建可靠邮件中枢:从协议原理到自动化实战
  • 通道轮循,杜绝支付中断
  • Visual C++运行库终极修复指南:3分钟解决所有软件启动错误
  • MoeKoe Music开源音乐客户端:重新定义二次元音乐体验的挑战与实现