当前位置：首页 > news >正文

ELK

news 2026/3/27 1:37:10

ELK 是三个开源项目首字母的缩写，它们共同构成了目前最流行的日志管理与实时分析平台。

注：随着轻量级采集器 Beats 的加入，现在的架构常被称为 ELKB 或 Elastic Stack。

角色：数据存储、索引、搜索、聚合分析。
功能：
- 接收来自 Logstash 或 Beats 的数据。
- 基于 Lucene 构建倒排索引，提供毫秒级检索。
- 处理复杂的聚合查询（如“过去1小时错误日志的趋势”）。
- 提供高可用性和横向扩展能力（分片与副本）。
特点：Schema-free（动态映射），RESTful API，分布式。

角色：数据采集、清洗、转换、输出。
功能：
- Input：从各种来源读取数据（文件、TCP/UDP、Kafka、Redis、AWS S3等）。
- Filter：核心能力。解析非结构化日志（Grok）、修改字段、删除敏感信息、查找地理IP、转换时间格式等。
- Output：将处理后的数据发送到目的地（通常是 Elasticsearch，也可以是 Kafka、S3、邮件等）。
特点：插件丰富（200+ 插件），功能强大，但资源消耗较高（Java 进程，重内存）。

角色：单机数据采集器。
功能：直接安装在服务器上，轻量级（Go 语言编写），占用资源极少。
- Filebeat：采集日志文件（最常用）。
- Metricbeat：采集系统指标（CPU, 内存, 磁盘）。
- Packetbeat：采集网络流量。
- Heartbeat：服务可用性监控。
趋势：在现代架构中，Beats 常直接发送数据给 ES，或者发送给 Logstash 进行复杂处理，逐渐取代了 Logstash 在“采集”层面的角色。

根据数据量和处理复杂度，ELK 有三种常见的部署架构：

流程：Filebeat 采集日志 -> 直接写入 ES -> Kibana 展示。
适用场景：
- 数据量较小（每日 < 50GB）。
- 日志格式规整，不需要复杂的清洗（如 JSON 格式日志）。
- 资源有限，不想维护 Logstash 集群。
优点：架构简单，延迟低，运维成本低。
缺点：缺乏强大的数据清洗能力，ES 直接面对采集端，抗冲击能力弱。

流程：Filebeat 采集 -> 发送给 Logstash (清洗/解析) -> 写入 ES -> Kibana 展示。
适用场景：
- 数据量中等。
- 日志格式混乱（如多行堆栈、非标准格式），需要 Grok 强力解析。
- 需要 enrich（富化）数据（如根据 IP 查地理位置，根据 ID 查用户信息）。
优点：数据质量高，减轻 ES 的 CPU 负担（解析工作在 Logstash 完成）。
缺点：增加了 Logstash 这一层的运维复杂度和资源消耗。

流程：Filebeat -> Kafka (消息队列) -> Logstash -> ES -> Kibana。
适用场景：
- 海量数据（每日 TB 级）。
- 需要削峰填谷：防止突发流量打挂 ES。
- 需要数据复用：同一份日志同时送给 ES 做搜索，送给 Hadoop/Spark 做离线分析，送给 S3 做归档。
优点：高可靠，高吞吐，解耦，具备极强的容灾能力。
缺点：架构最复杂，需要维护 Kafka 集群。

采集：
- Filebeat 监控 /var/log/nginx/access.log。
- 发现新行，读取内容。
传输与处理：
- Filebeat 将日志发送给 Logstash。
- Logstash Input: 接收 Beats 协议数据。
- Logstash Filter:
  - 使用 grok 插件解析 Nginx 日志格式，提取 client_ip, request_method, status, bytes 等字段。
  - 使用 geoip 插件根据 client_ip 添加 geo.location (经纬度) 和 geo.country_name。
  - 使用 date 插件解析时间戳，替换为 @timestamp。
  - 删除不必要的原始消息字段。
- Logstash Output: 将结构化好的 JSON 文档批量发送给 Elasticsearch。
存储与索引：
- Elasticsearch 接收数据。
- 根据模板（Index Template）自动创建索引（如 nginx-log-2023.10.27）。
- Lucene 内核构建倒排索引，Doc Values 用于聚合。
展示：
- 用户在 Kibana 中打开 "Discover"。
- 选择 nginx-log-* 索引模式。
- 搜索 status: 500 查看错误请求。
- 创建一个 Dashboard：左边放“状态码分布饼图”，右边放“请求量随时间变化折线图”，下方放“世界地图访问来源”。

实时性：从日志产生到可查询，通常在秒级（取决于 Refresh 间隔）。
可扩展性：ES 集群可轻松扩展到数百个节点，PB 级数据。
灵活性：Schema-on-Read（读取时定义结构），适应多变的日志格式。
生态丰富：除了日志，还可用于指标监控（Metrics）、安全分析（SIEM）、应用性能监控（APM）。
开源免费：基础功能完全免费（部分高级功能如机器学习、安全认证在早期版本收费，现在 Basic license 已包含大部分安全功能，但需注意 Elastic License 的变化）。