ELKStack高效部署与架构解析

ELK Stack 部署与架构

一、架构总览

┌──────────────────────────────────────────────────────────────┐ │ 数据采集层 │ │ Node1(nginx) ─── Filebeat 6.7.2 ─── 采集 /var/log/nginx/* │ │ Apache ──────── Logstash 6.7.2 ──── 采集 httpd 日志 │ └────────────────────────┬─────────────────────────────────────┘ │ (5044 / beats 协议) ▼ ┌──────────────────────────────────────────────────────────────┐ │ 数据处理层 │ │ Apache ──────── Logstash ─── parse / filter / route │ │ (host: 192.168.110.130:5044) │ └────────────────────────┬─────────────────────────────────────┘ │ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 数据存储层 │ │ Node1 (192.168.110.130:9200) ─── ES 6.7.2 ─── my-elk-cluster│ │ Node2 (192.168.110.129:9200) ─── ES 6.7.2 │ │ Index: nginx_access-2024.05.23 │ └────────────────────────┬─────────────────────────────────────┘ │ ▼ ┌──────────────────────────────────────────────────────────────┐ │ 可视化层 │ │ Node1 (192.168.110.130:5601) ─── Kibana 6.7.2 │ │ Index Pattern, Discover, Dashboard │ └──────────────────────────────────────────────────────────────┘

节点角色与 IP 规划

二、各组件核心配置

2.1 Elasticsearch（双节点集群）

关键配置文件：/etc/elasticsearch/elasticsearch.yml

# 集群与节点 cluster.name: my-elk-cluster node.name: node1 # node2 为 node2 ​ # 数据与日志路径 path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch ​ # 网络 network.host: 0.0.0.0 http.port: 9200 ​ # 内存锁（防止 swap） bootstrap.memory_lock: true ​ # 集群发现（6.x 用 unicast） discovery.zen.ping.unicast.hosts: ["node1", "node2"] ​ # 跨域（elasticsearch-head 需要） http.cors.enabled: true http.cors.allow-origin: "*"

启动与状态检查：

集群健康三色含义：

2.2 elasticsearch-head（可视化管理）

• 依赖：Node.js（v8.2.1）+ PhantomJS

• 端口：9100

• 启动：npm run start &（在/opt/elasticsearch-head/下）

• 访问：http://IP:9100/

2.3 Logstash（数据采集 + 处理）

角色：接收 Filebeat 推送 + 直接读 Apache/Nginx 日志，写入 ES。

配置文件结构（三部分）：

input → 定义数据源（文件、beats、stdin 等） filter → 数据处理（grok、date、mutate 等） output → 定义输出目标（ES、stdout 等）

核心配置示例（接收 Filebeat + 写入 ES）：

# /etc/logstash/conf.d/filebeat.conf input { beats { port => 5044 # 监听 Filebeat 推送 } } ​ output { elasticsearch { hosts => ["192.168.110.130:9200", "192.168.110.129:9200"] index => "%{[fields][service_name]}-%{+yyyy.MM.dd}" } }

按日志类型分流示例（Apache）：

input { file { path => "/etc/httpd/logs/access_log" type => "access" start_position => "beginning" } file { path => "/etc/httpd/logs/error_log" type => "error" start_position => "beginning" } } ​ output { if [type] == "access" { elasticsearch { hosts => ["192.168.110.130:9200"] index => "apache_access-%{+yyyy.MM.dd}" } } if [type] == "error" { elasticsearch { hosts => ["192.168.110.130:9200"] index => "apache_error-%{+yyyy.MM.dd}" } } }

关键参数速查：

常用生命周期命令：

# 命令行测试（stdin → stdout） logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }' ​ # 指定配置文件运行 logstash -f /etc/logstash/conf.d/filebeat.conf ​ # 后台运行 nohup logstash -f filebeat.conf --log.level error > /dev/null 2>&1 & ​ # 清理锁文件（进程异常退出后） rm -f /var/lib/logstash/.lock

2.4 Filebeat（轻量日志收集）

配置文件：/usr/local/filebeat/filebeat.yml

filebeat.inputs: - type: log enabled: true paths: - /var/log/nginx/access.log - /var/log/*.log tags: ["filebeat"] fields: service_name: nginx log_type: access from: 192.168.110.130 ​ output.logstash: hosts: ["192.168.110.130:5044"]

后台启动：

nohup ./filebeat -e -c filebeat.yml > filebeat.out 2>&1 &

关键配置项：

2.5 Kibana（可视化平台）

配置文件：/etc/kibana/kibana.yml

server.port: 5601 server.host: "0.0.0.0" elasticsearch.hosts: ["http://192.168.110.130:9200", "http://192.168.110.129:9200"] kibana.index: ".kibana"

启动：systemctl start kibana

首次使用流程：

1. 访问http://192.168.110.130:5601

2. Management → Index Pattern → Create index pattern

3. 输入nginx_access-*或apache_access-*

4. 选择@timestamp作为时间字段

5. 进入 Discover 查看日志

三、数据流向总图

┌──────────┐ 采集 ┌──────────┐ 处理+路由 ┌──────────────┐ 展示 ┌─────────┐ │ Filebeat │ ──5044──→ │ Logstash │ ──9200──→ │ Elasticsearch │ ──5601──→ │ Kibana │ │ (Nginx) │ (beats) │ (Apache) │ (ES写入) │ (双节点集群) │ │ │ └──────────┘ └──────────┘ └──────────────┘ └─────────┘ │ │ │ 也可直接读本地日志 │ Index 命名规则 │ /var/log/xxx │ 服务名-YYYY.MM.DD ▼ ▼ Apache access_log nginx_access-2024.05.23 Apache error_log nginx_error-2024.05.23

四、ES 索引管理（CRUD）

# 创建索引 curl -XPUT localhost:9200/index-demo # 查看索引设置 curl -XGET localhost:9200/index-demo/_settings # 修改副本数 curl -XPUT localhost:9200/index-demo/_settings \ -H "Content-Type: application/json" \ -d '{"number_of_replicas": 2}' # 创建别名 curl -XPOST localhost:9200/_aliases \ -H "Content-Type: application/json" \ -d '{"actions":[{"add":{"index":"index-demo","alias":"user_info_alicas"}}]}' # 删除别名 curl -XPOST localhost:9200/_aliases \ -H "Content-Type: application/json" \ -d '{"actions":[{"remove":{"index":"index-demo","alias":"user_info_alicas"}}]}' # 删除单个索引 curl -XDELETE localhost:9200/index-demo # 删除多个索引 curl -XDELETE localhost:9200/index-demo,index-demo2

五、常见故障场景速查