python_11

获取高分电影榜单数据,并保存在CSV文件中

步骤:
1.明确网站("https://www.themoviedb.org")的robot.txt的抓取规则
2.查看页面结构,拆解具体的步骤,按步骤开发
a.获取高分电影列表数据
b.遍历电影列表,获取每一步电影的详情信息,并提取电影数据信息
c.将电影信息保存到csv文件

import requests
import csv
from lxml import htmlTMDB_BASE_URL="https://www.themoviedb.org/"
TMDB_TOP_URL="https://www.themoviedb.org/movie/top-rated"#获取带电影信息
def get_movie_info(movie_info_url):pass#保存数据,保存为CSV文件
def save_all_movies(all_movies):pass#主函数:定义核心逻辑
def main():#发送请求,获取高分电影榜单数据response = requests.get(TMDB_TOP_URL,timeout=60)#解析数据,获取电影列表document = html.fromstring(response.text)movie_list=document.xpath("//*[@id='page_1']/div[@class='card style_1']")#遍历电影列表,获取电影详情all_movies=[]for movie in movie_list:movie_urls=movie.xpath("./div/div/a/@href")if movie_urls:movie_info_url=TMDB_BASE_URL+movie_urls[0]print(movie_info_url)#         movie_info=get_movie_info(movie_info_url)#         all_movies.append(movie_info)## #保存数据,保存为csv文件# save_all_movies(all_movies)if __name__=='__main__':main()