python爬虫程序

该爬虫脚本的核心功能是定向爬取豆瓣高分电影数据，并以txt文本形式保存结果

开头导入各种所需库后，先是编写程序把运行进度和报错信息同时输出到控制台和本地日志文件，然后定义了模拟浏览器的请求头，然后编写网页请求函数，每次请求前都会加入随机时长的等待，避免请求频率过高触发网站的反爬机制

数据爬取方面先爬取豆瓣官方的 Top250 榜单，逐页解析列表页上的电影标题、评分、评价人数等基础信息，再逐个进入每部电影的详情页，补全导演、主演、年份、制片国家、电影类型、时长和一句话短评等完整字段。当 Top250 的数据量不足 500 条时，进入第二阶段补充爬取，脚本会按照 8.0、7.8、7.5、7.0 的评分梯度进行收录，最后按评分从高到低排序截取前 500 名

数据整理完成后，自动创建 data 文件夹，将所有数据写入txt文件