scrapy-redis 分布式爬虫

scrapy-redis 分布式爬虫

下载github官方给的案例： 地址：https://github.com/rmax/scrapy-redis
分析配置文件

setting.py

设置重复过滤器的模块
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"设置调度器，scrapy_redis中的调度器具备与数据库交互的功能
SCHEDULER = "scrapy_redis.scheduler.Scheduler"设置当爬虫结束时 是否保持redis中的 去重集合与任务队列(不要清空)
SCHEDULER_PERSIST = TrueITEM_PIPELINES = {"example.pipelines.ExamplePipeline": 300,# 开启管道 数据存到redis中"scrapy_redis.pipelines.RedisPipeline": 400,
}设置redis
REDIS_URL = "redis://127.0.0.1:6379"

分布式爬虫编写流程

1. 编写普通爬虫

• 创建项目
  scrapy startproject book
• 明确目标
• 创建爬虫
  cd book
  scrapy genspider jd_book jd.com
• 保存内容

2. 改造成分布式爬虫

• 改造爬虫
  • 导入scrapy_redis中的分布式爬虫类
  • 继承类
  • 注销 start_urls & allowed-domains
  • 设置redis_key获取start_urls
  • 设置__init__获取允许的域

# ----1. 导入分布式爬虫类
from scrapy_redis.spiders import RedisSpider# ----2. 继承分布式爬虫类
class JdBookSpider(RedisSpider):
# class JdBookSpider(scrapy.Spider):name = "jd_book"
# ----3. 注销allowed_domains、start_urls# allowed_domains = ["jd.com", 'p.3.cn']# start_urls = ["https://book.jd.com/booksort.html"]
# ----4. 设置redis_keyredis_key = "py21"
# ----5. 设置__init__def __init__(self, *args, **kwargs):domain = kwargs.pop("domain", "")self.allowed_domains = filter(None, domain.split(","))super().__init__(*args, **kwargs)def parse(self, response):# 分析处理页面数据pass

• 改造配置文件
  • Copy配置参数
    可以直接将案例中的配置文件拷贝之后修改
• 多端启动分布式爬虫

cd book/book/spiders
scrapy runspider js_book.py