当前位置：首页 > news >正文

ELK日志分析平台搭建实战：从日志混乱到一目了然 - 详解

news 2026/3/26 22:45:23

以前查日志：SSH登录服务器，grep、tail、awk轮番上阵，10台服务器查一圈下来半小时过去了。现在：打开Kibana，输入关键词，所有服务器的日志一秒出结果。

一、为什么需要ELK？

先说说我们之前的"原始"日志管理：

# 服务器1
ssh root@192.168.1.10
tail -f /var/log/app/app.log | grep "ERROR"
# 服务器2
ssh root@192.168.1.11
tail -f /var/log/app/app.log | grep "ERROR"
# 服务器3...10
# 开10个终端窗口...

痛点：

10台服务器要开10个终端
日志量大的时候grep到眼花
想看历史日志？先下载再分析
跨服务追踪？基本不可能
老板问"昨天有多少报错"？数到明天也数不完

搭了ELK之后：

所有服务器日志集中一处
搜索秒出结果
自动生成图表
异常告警自动通知

二、ELK是什么？

ELK是三个开源项目的首字母：

组件	作用	一句话解释
Elasticsearch	存储+搜索	日志数据库，支持全文搜索
Logstash	收集+处理	从各处收集日志，清洗后存入ES
Kibana	可视化	Web界面，搜索和做图表

现在还经常加个Filebeat，变成EFK或ELFK：

应用日志 → Filebeat（轻量采集）→ Logstash（处理）→ Elasticsearch（存储）→ Kibana（展示）

三、快速搭建（Docker Compose）

3.1 服务器要求

ELK比较吃资源，建议配置：

环境	CPU	内存	磁盘
测试	2核	4GB	50GB
生产	8核+	16GB+	500GB+ SSD

3.2 目录结构

mkdir -p /data/elk/{
elasticsearch,logstash,kibana}
cd /data/elk
# 目录结构
elk/
├── docker-compose.yml
├── elasticsearch/
│   └── data/
├── logstash/
│   ├── config/
│   │   └── logstash.yml
│   └── pipeline/
│       └── logstash.conf
└── kibana/
└── config/
└── kibana.yml

3.3 docker-compose.yml

version: '3.8'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:8.11.0
container_name: elasticsearch
environment:
- node.name=es01
- cluster.name=elk-cluster
- discovery.type=single-node
- bootstrap.memory_lock=true
- xpack.security.enabled=false
- "ES_JAVA_OPTS=-Xms2g -Xmx2g"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- ./elasticsearch/data:/usr/share/elasticsearch/data
ports:
- "9200:9200"
networks:
- elk
logstash:
image: docker.elastic.co/logstash/logstash:8.11.0
container_name: logstash
volumes:
- ./logstash/config/logstash.yml:/usr/share/logstash/config/logstash.yml
- ./logstash/pipeline:/usr/share/logstash/pipeline
ports:
- "5044:5044"   # Beats输入
- "5000:5000"   # TCP输入
-