Golang操作Redis：从Pub/Sub到分布式采集架构实战

前言

在分布式系统设计中，消息通讯是连接各个服务节点的"神经系统"。Redis作为高性能的内存数据库，其Pub/Sub、Streams和List机制为构建实时消息系统提供了轻量级解决方案。特别是对于爬虫这类IO密集型任务，结合Go语言的并发特性和Redis的消息能力，可以构建高吞吐、可扩展的分布式采集架构。

本文将从Redis三种消息模式入手，逐步深入到生产级分布式爬虫系统的完整实现，涵盖任务调度、节点协调、数据流转等核心环节。

一、Redis消息通讯的三种模式

在深入架构之前，先来理解Redis提供的三种消息通讯方式及其适用场景。

1.1 Pub/Sub：实时广播

Pub/Sub是最简单的消息模式：发布者向频道发送消息，所有订阅该频道的消费者都会收到-1。

// 发布者 err := rdb.Publish(ctx, "crawler:task:new", `{"url":"https://example.com"}`).Err() // 订阅者 pubsub := rdb.Subscribe(ctx, "crawler:task:new") defer pubsub.Close() // 方式1：阻塞接收 for { msg, err := pubsub.ReceiveMessage(ctx) if err != nil {