当前位置：首页 > news >正文

从单机到多机：手把手教你用Docker搭建跨服务器日志收集（LPG实战）

news 2026/6/7 19:18:13

从单机到多机：手把手教你用Docker搭建跨服务器日志收集（LPG实战）

当你的业务从单机扩展到多台服务器时，日志管理就变成了一个头疼的问题。想象一下，你需要同时登录三台不同的服务器，分别查看各自的日志文件，然后在脑海中拼凑出一个完整的请求链路——这不仅效率低下，还容易出错。这就是为什么我们需要一个集中式的日志收集系统。

LPG（Loki+Promtail+Grafana）组合是当下最轻量级的日志解决方案之一。相比传统的ELK栈，它占用资源更少，配置更简单，特别适合中小团队和个人开发者。本文将带你从单机部署出发，逐步实现多服务器日志的统一收集和可视化。

1. 理解LPG架构的核心组件

在开始配置之前，我们需要清楚地了解LPG三个组件各自的角色和协作方式：

Loki：日志存储引擎，负责接收、索引和存储日志数据
Promtail：日志收集代理，运行在每个需要收集日志的服务器上
Grafana：可视化界面，用于查询和展示日志

它们之间的关系可以用以下流程表示：

Promtail（收集） → Loki（存储）← Grafana（展示）

关键配置参数对比：

组件	关键配置项	多机部署注意事项
Loki	`http_listen_port`	需要监听0.0.0.0而非127.0.0.1
`lifecycler.address`	确保网络可达
Promtail	`clients.url`	指向正确的Loki地址
`__path__`	确保日志路径正确挂载
Grafana	数据源配置	验证Loki连接

2. 单机部署的快速回顾

即使你已经完成了单机部署，回顾关键步骤仍然很有必要：

创建目录结构：
```
mkdir -p /opt/docker/{loki,promtail}
```
准备配置文件：
- loki.yml：基础配置通常无需修改
- promtail.yml：注意日志路径配置
- docker-compose.yml：定义服务依赖关系
启动服务：
```
docker-compose up -d
```

常见单机问题排查：

如果Loki无法启动，检查loki.yml中的日期格式是否为yyyy-MM-dd
确保挂载目录有正确的权限：
```
chmod -R 777 /opt/docker/loki
```

3. 多机部署的关键配置

这才是本文的核心内容。假设我们有两台服务器：

服务器A（192.168.1.100）：运行Loki和Grafana
服务器B（192.168.1.101）：仅运行Promtail

3.1 服务器A的配置调整

首先修改loki.yml中的网络配置：

server: http_listen_port: 3100 http_listen_address: 0.0.0.0 # 允许外部访问 ingester: lifecycler: address: 0.0.0.0 # 关键修改！ ring: kvstore: store: inmemory

然后更新docker-compose.yml，确保端口正确映射：

services: loki: ports: - "3100:3100" # 确保端口对外开放

3.2 服务器B的Promtail配置

在服务器B上，你只需要部署Promtail。创建promtail.yml：

server: http_listen_port: 9080 grpc_listen_port: 0 clients: - url: http://192.168.1.100:3100/loki/api/v1/push # 指向服务器A的Loki scrape_configs: - job_name: system static_configs: - targets: - localhost labels: job: serverB_logs # 与服务器A区分 __path__: /var/log/*log # 收集的日志路径

对应的docker-compose.yml简化为：

version: "3" services: promtail: image: grafana/promtail volumes: - /var/log:/var/log - ./promtail.yml:/etc/promtail/promtail.yml command: -config.file=/etc/promtail/promtail.yml

4. 网络连通性深度排查

多机部署90%的问题都出在网络连接上。以下是系统的排查方法：

基础连通性检查：

# 在服务器B上测试 ping 192.168.1.100 telnet 192.168.1.100 3100

防火墙检查：

# 在服务器A上 sudo ufw status sudo ufw allow 3100/tcp

Docker网络检查：

docker network inspect bridge | grep Gateway

Loki监听检查：

netstat -tulnp | grep 3100

正确输出应包含：

tcp 0 0 0.0.0.0:3100 0.0.0.0:* LISTEN

提示：如果使用云服务器，除了系统防火墙，还需要检查安全组规则是否放行了3100端口。

5. Grafana中的高级查询技巧

当所有日志都集中到Loki后，如何高效查询就成了关键。以下是一些实用技巧：

标签过滤：

{job="serverB_logs"} |= "error"

多服务器日志对比：

{job=~"serverA_logs|serverB_logs"} |~ "api/v1/user"

时间范围查询：

{job="serverB_logs"} |= "timeout" |~ "duration=[0-9]{4,}ms"

常用函数：

rate()：计算日志速率
count_over_time()：统计时间段内日志量
pattern：提取日志模式

6. 性能优化与生产建议

当日志量增大时，需要考虑以下优化措施：

Loki存储优化：

storage_config: boltdb_shipper: active_index_directory: /loki/boltdb-shipper-active cache_ttl: 24h

Promtail资源限制：

promtail: deploy: resources: limits: memory: 512M

日志轮转配置：
- 使用logrotate限制单个日志文件大小
- 在Promtail中排除历史日志：
```
scrape_configs: - job_name: system pipeline_stages: - drop: older_than: 168h
```
标签设计原则：
- 避免高基数标签（如用户ID）
- 使用固定范围的标签（如环境、服务名）