爬虫入门：requests+BeautifulSoup抓取网页

一、引言：为什么学习爬虫

在大数据时代，数据是驱动决策、训练模型、洞察趋势的核心资源。然而，并非所有数据都能通过 API 或数据库直接获取。大量的数据隐藏在 Web 页面中——新闻、商品信息、社交媒体、行业报告等。手动复制粘贴显然不现实，而网络爬虫（Web Crawler）就是自动提取这些数据的利器。

Python 因其简洁的语法和丰富的库支持，成为了爬虫开发的首选语言。其中，requests和BeautifulSoup是两个最基础、最常用的库。requests 负责发送 HTTP 请求并获取网页内容，BeautifulSoup 则负责解析 HTML，提取我们需要的数据。这两个库组合起来，可以轻松应对大多数静态网页的抓取任务。

本文将带你从零开始，掌握使用 requests 和 BeautifulSoup 编写爬虫的完整流程。我们会从基础概念讲起，逐步深入，包括 HTTP 请求、响应处理、HTML 解析、数据提取、异常处理、遵守 robots.txt 和反爬策略等。最后，我们将通过一个完整的实战项目——抓取某电影网站 TOP 榜单，来巩固所学知识。

💡 学习前提：建议读者具备 Python 基础语法知识，了解 HTML 基本标签结构。如果你对前端知识不熟悉，也不用担心，我们会边学边讲。

二、爬虫基本原理与相关库

2.1 爬虫的工作流程

一个简单的爬虫通常包含以下几个步骤：

1. 发送请求：向目标网站发送 HTTP 请求（通常是 GET 请求），获