Scrapy Pipeline 保存 MySQL 完整代码

依赖：pymysql

pip install pymysql

1. items.py 定义数据模型

import scrapy

class DemoItem(scrapy.Item):

title = scrapy.Field()

url = scrapy.Field()

content = scrapy.Field()

2. pipelines.py MySQL 管道完整代码

3. settings.py 开启管道

ITEM_PIPELINES = {

"myspider.pipelines.MysqlPipeline": 300,

}

优先级数字：数值越小，管道越先执行。如果你同时还有其它 pipeline，注意顺序。

4. spider 中 yield 示例（spiders/xxx.py）