scrapy框架下载与创建

先说怎么下载scrapy框架

我是windows系统的

下载并安装 Microsoft C++ Build Toolshttps://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/。

一路安装下来后就可以了，不用修改什么参数

2.终端运行或者PyCharm终端 pip install scrapy

3.测试是否安装成功 scrapy version

4.如果出了问题，建议把问题给ai

Scrapy 和 Twisted 的版本不兼容导致的是频率较多的

解决：完全卸载当前的 Scrapy 和 Twistedpip uninstall scrapy twisted -y

清理 pip 的缓存（可选但推荐）pip cache purge

重新安装 Scrapy（让 pip 自动处理 Twisted 依赖）pip install scrapy

测试 scrapy version，出现版本则下载成功

创建项目scrapy框架

打开终端/python终端

scrapy startproject 项目名称cd 项目名称

创建爬虫 scrapy genspider 名字 域名

名字是爬虫文件名，路径在自带的spiders文件下

域名是要爬取的网站,以4399为例

那么怎么运行呢

运行方法不再右建点运行，而是终端定位该文件下，输入scrapy crawl 文件名

或者有方便操作也可以定位到该文件下

运行，这是时候返回一大串的字符，这些不是错误，是日志信息分析

因为我们要先获取网页源码，用yield response.text 使用yield说明parss是生成器对象,能输出是引擎自动调度

输出之后，发现还是有日志信息分析，那可以在seeting.py加入

LOG_LEVEL = 'WARNING'这样就会显示警告及以上的错误