当前位置：首页 > news >正文

零基础爬虫入门：从HTTP协议到Python实战，掌握核心请求与响应

news 2026/7/29 3:10:57

1. 从“零”开始：为什么学爬虫要先懂HTTP？

很多刚接触爬虫的朋友，一上来就急着找教程，照着代码敲requests.get()，看到网页内容被打印出来，就觉得“爬虫不过如此”。但很快，你就会遇到各种奇奇怪怪的问题：为什么有的网站能爬，有的网站返回403？为什么明明浏览器能打开，代码却拿不到数据？为什么登录后的页面爬不下来？这些问题的根源，十有八九都出在对HTTP协议的理解不够透彻上。

HTTP协议，全称是超文本传输协议，它是互联网世界进行数据通信的基石。你可以把它想象成快递员和收件人之间的一套标准对话流程。你想从网站（服务器）获取一个页面（包裹），你的爬虫程序（快递员）就需要按照这套流程，去敲门、说明来意、接收包裹。如果你不懂这套流程的规矩，比如敲门声音太小（请求头不对）、说错了暗号（Cookie缺失）、或者拿包裹的姿势不对（请求方法错误），服务器这个“门卫”就会直接拒绝你，或者给你一个空盒子。

所以，对于零基础的爬虫学习者来说，跳过HTTP直接学库，就像学开车不看交通规则，短期内可能能把车开动，但一旦上路，处处是隐患。理解HTTP，不仅能让你写出更稳定、更高效的爬虫，更能让你具备独立分析和解决各种反爬问题的能力。这篇文章，我们就从一个完全零基础的视角，把HTTP协议里那些爬虫必须知道的事儿，掰开揉碎了讲清楚。

2. HTTP协议的核心：请求与响应的“一问一答”

HTTP协议的本质非常简单，就是客户端（比如你的浏览器或爬虫程序）和服务器之间的一次“请求-响应”对话。一次完整的对话，我们称之为一个HTTP事务。理解这个对话的结构，是后续一切操作的基础。

2.1 HTTP请求：你的爬虫要“说”什么

当你的爬虫想要获取一个网页时，它需要向服务器发送一个结构化的请求。这个请求主要包含三部分：请求行、请求头、请求体。

请求行是请求的“开场白”，它告诉服务器“我想干什么”。它由三部分组成：

请求方法：最常见的是GET和POST。GET用于获取数据，比如打开一个网页；POST用于提交数据，比如登录、发表评论。在地址栏直接输入网址，就是一次GET请求。
请求URL：就是你想访问的资源地址，比如https://www.example.com/page。
HTTP版本：目前主流是HTTP/1.1和HTTP/2。对于爬虫初学者，知道我们通常用HTTP/1.1就够了。

一个典型的请求行看起来像这样：GET /page HTTP/1.1。

请求头是请求的“附加说明”，它包含了一系列键值对，向服务器提供关于这次请求的更多元信息。对于爬虫来说，以下几个头信息至关重要：

User-Agent：这是你的“身份证”。它告诉服务器，是什么客户端在访问。浏览器有浏览器的User-Agent，比如Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36。如果你用Python的requests库而不设置这个头，默认的User-Agent会是类似python-requests/2.28.1，这等于直接告诉服务器“我是爬虫”，很容易被拦截。所以，伪装成一个常见的浏览器User-Agent是反反爬的第一步。
Host：指定要访问的服务器域名。这是HTTP/1.1必须的字段。
Cookie：这是维持会话状态的“令牌”。很多网站用Cookie来识别用户是否登录。当你用浏览器登录后，服务器会给你一个Cookie，之后浏览器每次请求都会带上它，服务器就知道你是谁了。爬虫要访问需要登录的页面，就必须在请求头里带上正确的Cookie。
Referer：这个头告诉服务器，你是从哪个页面跳转过来的。有些网站会检查Referer，如果发现你不是从它的站内链接跳转过来的（比如直接访问某个详情页），可能会拒绝服务。这在爬取图片、视频等资源时很常见。
Content-Type：当请求方法是POST并且需要提交数据（如表单）时，这个头用来告诉服务器，你提交的数据是什么格式的，比如application/x-www-form-urlencoded（标准表单格式）或application/json。

请求体并不是所有请求都有。GET请求通常没有请求体，它的参数一般附加在URL后面，比如/search?q=python。而POST请求通常有请求体，里面装着要提交给服务器的数据，比如你的用户名和密码。

2.2 HTTP响应：服务器“回”了什么

服务器收到请求后，会进行处理并返回一个响应。响应同样由三部分组成：状态行、响应头、响应体。

状态行是服务器的“第一句回应”，它也包含三部分：HTTP版本、状态码和状态描述。状态码是我们判断请求成败的关键，必须熟记几个常见的：

200 OK：成功！这是最希望看到的，表示请求成功，响应体里就是你要的数据。
301 Moved Permanently / 302 Found：重定向。服务器告诉你，你要的资源不在这个地址了，新的地址在响应头的Location字段里。你的爬虫需要自动跟进这个新地址。
403 Forbidden：禁止访问。服务器理解你的请求，但拒绝执行。常见原因包括：IP被封、没有访问权限、User-Agent被识别为爬虫。
404 Not Found：未找到。请求的资源在服务器上不存在，可能是URL拼写错误。
500 Internal Server Error：服务器内部错误。这是服务器端出了问题，和你无关，通常可以稍后重试。
503 Service Unavailable：服务不可用。服务器可能因为负载过高暂时无法处理请求，这也是需要重试的信号。

响应头和请求头类似，包含服务器返回的元信息。对爬虫有用的包括：

Set-Cookie：服务器通过这个头，要求客户端（你的爬虫）保存Cookie，用于后续的会话管理。你需要从响应头中提取Cookie，并在后续的请求中带上。
Content-Type：告诉客户端，响应体里的数据是什么格式。比如text/html是网页，application/json是JSON数据，image/jpeg是图片。你的爬虫要根据这个信息来决定如何解析数据。
Location：配合3xx状态码使用，指明重定向的目标地址。

响应体就是核心数据所在。对于网页爬虫，响应体通常是HTML代码；对于API爬虫，可能是JSON或XML格式的数据。我们写爬虫的最终目标，就是从响应体中提取出结构化的信息。

3. 用Python实战：手动“组装”一个HTTP请求

理解了理论，我们立刻用Python来实践。我们不直接用高级的requests库（虽然它最终会简化一切），而是先用更底层的socket库来手动模拟一次HTTP请求，这能让你对“请求报文”有刻骨铭心的认识。

假设我们要爬取http://httpbin.org/get这个测试网站（它专门用于HTTP请求测试）。以下代码展示了一个最原始的GET请求：

import socket # 1. 创建一个socket对象 client_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 2. 连接服务器 (httpbin.org 的IP和HTTP默认端口80) server_address = ('httpbin.org', 80) client_socket.connect(server_address) # 3. 手动组装HTTP请求报文 # 请求行 request_line = 'GET /get HTTP/1.1\r\n' # 请求头 request_headers = 'Host: httpbin.org\r\n' request_headers += 'User-Agent: MySimpleCrawler/1.0\r\n' request_headers += 'Connection: close\r\n' # 请求完成后关闭连接 # 空行分隔头和体 empty_line = '\r\n' # GET请求没有请求体 # 拼接完整的请求报文 request_message = request_line + request_headers + empty_line # 4. 发送请求（需要编码成bytes） client_socket.send(request_message.encode()) # 5. 接收响应 response_data = b'' while True: chunk = client_socket.recv(4096) if not chunk: break response_data += chunk # 6. 关闭连接 client_socket.close() # 7. 解码并打印响应 response_text = response_data.decode('utf-8', errors='ignore') print(response_text)

运行这段代码，你会得到一长串输出。其中开头部分就是状态行HTTP/1.1 200 OK，后面是各种响应头，最后在响应体里，你会看到httpbin.org把你发送的请求头信息以JSON格式原样返回了。这个过程清晰地展示了：所谓的“发送一个HTTP请求”，本质上就是通过TCP连接，向服务器发送一段符合特定格式的文本字符串。

注意：现代很多网站都使用了HTTPS（即HTTP over SSL/TLS），这涉及加密连接，用socket直接实现会更复杂。但原理不变，只是传输层多了加密步骤。在实际爬虫中，我们几乎不会直接操作socket，但这次手动体验至关重要。

4. 进阶工具：Requests库如何简化一切

手动组装请求太繁琐，而且难以处理连接池、重试、编码、Cookie管理等复杂问题。因此，我们使用requests库，它是对HTTP协议的友好封装。上面socket代码的等效requests实现简单到令人发指：

import requests response = requests.get('http://httpbin.org/get', headers={'User-Agent': 'MySimpleCrawler/1.0'}) print(response.status_code) # 打印状态码，如 200 print(response.headers) # 打印响应头字典 print(response.text) # 打印响应体文本（自动解码）

requests库帮我们自动完成了建立连接、组装报文、发送请求、接收响应、解码内容、管理连接等一系列工作。response对象包含了所有我们需要的信息。这才是我们日常爬虫应该使用的方式。

4.1 关键对象与方法解析

requests.get(url, params=None, **kwargs)：发起GET请求。params参数可以接收一个字典，库会自动将其转换为URL后的查询字符串，例如params={'key1': 'value1', 'key2': 'value2'}会生成?key1=value1&key2=value2并拼接到URL后。
requests.post(url, data=None, json=None, **kwargs)：发起POST请求。提交表单数据用data参数（字典或元组列表）；提交JSON数据用json参数（字典）。
**kwargs：这是关键，它允许我们传入大量可选参数来控制请求，最常用的有：
- headers：字典类型，设置请求头。
- cookies：字典类型，设置Cookie。
- timeout：设置请求超时时间（秒），避免程序永远等待。
- proxies：字典类型，设置代理IP，格式如{'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080'}。这是应对IP封锁的常用手段。
Response对象：
- status_code：HTTP状态码。
- headers：响应头字典。
- text：响应内容的字符串形式（requests会基于响应头自动猜测编码，有时会猜错）。
- content：响应内容的二进制形式。当text解码乱码时，可以用content.decode('正确的编码，如utf-8')。
- encoding：requests猜测的编码。你可以手动修改它，例如response.encoding = 'gbk'，然后再访问response.text就会用新编码解码。
- json()：如果响应内容是JSON格式，直接调用此方法可以解析成Python字典或列表，无需再用json.loads()。
- cookies：服务器通过Set-Cookie头设置的CookieJar对象。

4.2 一个完整的带会话和错误处理的爬虫示例

很多网站需要维持会话（Session），比如登录后的一系列操作。requests.Session()对象可以帮我们自动管理Cookie，让我们像浏览器一样保持登录状态。

import requests from requests.exceptions import RequestException, Timeout import time # 创建一个会话对象 session = requests.Session() # 为本次会话设置统一的请求头 session.headers.update({ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' }) try: # 示例1：模拟登录（假设是一个简单的登录接口） login_url = 'https://example.com/login' login_data = { 'username': 'your_username', 'password': 'your_password' } # 使用session.post，登录成功后，cookie会自动保存在session中 login_resp = session.post(login_url, data=login_data, timeout=5) login_resp.raise_for_status() # 如果状态码不是200，抛出HTTPError异常 print(f"登录成功，状态码：{login_resp.status_code}") # 示例2：访问登录后才能看的页面 profile_url = 'https://example.com/dashboard' # 这里不需要手动传递cookie，session会自动带上 profile_resp = session.get(profile_url, timeout=5) profile_resp.raise_for_status() # 检查编码并获取内容 if profile_resp.encoding is None or profile_resp.encoding.lower() == 'iso-8859-1': # 如果requests猜的编码不对，常见于中文网站，可以手动指定 profile_resp.encoding = 'utf-8' # 或 'gbk', 'gb2312' html_content = profile_resp.text # 这里可以开始用BeautifulSoup或lxml解析html_content print("成功获取到页面内容，长度：", len(html_content)) except Timeout: print("请求超时，可能是网络问题或服务器响应慢。") except RequestException as e: print(f"请求发生错误: {e}") finally: # 关闭会话（虽然不是严格必须，但是个好习惯） session.close()

这个例子涵盖了会话管理、统一请求头设置、超时控制、异常处理、编码处理等爬虫中的常见实践。session对象极大地简化了状态管理。

5. 爬虫工程师的必修课：解码、重定向与超时

掌握了基本请求后，我们会遇到三个高频且必须处理好的问题：字符编码、重定向和超时控制。处理不好它们，爬虫的稳定性和数据准确性会大打折扣。

5.1 字符编码：告别乱码的噩梦

网页编码不统一是爬虫的一大坑。requests的response.text属性会自动根据响应头中的charset或通过内容分析来猜测编码。但服务器返回的头部信息可能是错的，或者根本没有charset信息。

实战策略：

优先信任响应头：首先查看response.encoding和response.headers.get('Content-Type')。
手动检测与覆盖：如果发现text属性输出是乱码，一个可靠的方法是使用chardet库进行检测（注意，这需要额外安装pip install chardet）。

import requests import chardet resp = requests.get('http://some-site-with-wrong-encoding.com') # 方法1：使用chardet检测二进制内容的编码 raw_data = resp.content detected_encoding = chardet.detect(raw_data)['encoding'] # 检测结果可能为None，需要给个默认值 confidence = chardet.detect(raw_data)['confidence'] if confidence > 0.7 and detected_encoding: # 置信度较高 resp.encoding = detected_encoding else: resp.encoding = 'utf-8' # 常见默认值，或根据网站特点设为'gbk' correct_text = resp.text print(correct_text[:500]) # 打印前500字符检查

常见中文编码：国内网站常见的编码是UTF-8和GBK（或GB2312）。对于已知的网站，可以直接硬编码指定：resp.encoding = 'gbk'。

5.2 重定向处理：跟着跳转走

默认情况下，requests会自动处理301，302，303，307，308这些重定向状态码。你最终得到的response.url是重定向后的最终地址，response.history列表里则保存了所有重定向过程中的响应对象（按发生顺序排列）。

但有时你需要禁用自动重定向，比如为了分析跳转逻辑，或者某些跳转需要携带特定的头信息（如Referer）。这时可以设置allow_redirects=False。

resp = requests.get('http://example.com/old-page', allow_redirects=False) if resp.status_code in [301, 302, 303, 307, 308]: redirect_url = resp.headers['Location'] print(f'页面已重定向至: {redirect_url}') # 然后你可以手动构造一个新的请求去访问redirect_url，并带上必要的headers

5.3 超时控制：给你的爬虫加上“保险丝”

网络是不稳定的。一个请求可能因为对方服务器慢、网络拥堵而长时间没有响应。如果不设置超时，你的爬虫线程可能会永远挂起。timeout参数是必须设置的。

timeout可以是一个浮点数，代表从发送请求到接收响应总时间的秒数。也可以是一个元组(connect_timeout, read_timeout)，分别代表连接超时和读取超时。

# 总超时5秒 try: resp = requests.get('http://slow-server.com', timeout=5) except requests.exceptions.Timeout: print("请求超时了！") # 连接3秒超时，读取10秒超时 try: resp = requests.get('http://slow-server.com', timeout=(3, 10)) except requests.exceptions.ConnectTimeout: print("连接服务器超时！") except requests.exceptions.ReadTimeout: print("服务器响应太慢，读取超时！")

设置一个合理的超时时间（比如3-10秒），并在异常捕获中实现重试逻辑，是构建健壮爬虫的关键一环。你可以结合retrying库或自己写循环来实现简单的重试机制。

6. 应对反爬：理解HTTP层面的博弈

网站为了防止被过度爬取，会设置各种反爬虫机制。其中很多都基于HTTP协议的特征。作为爬虫开发者，我们需要在HTTP层面进行“伪装”和“对抗”。

6.1 User-Agent轮换与池化

使用单一或明显的爬虫User-Agent是自投罗网。解决方案是准备一个User-Agent列表，每次请求随机选取一个。这些User-Agent字符串可以从网上搜索“最新User-Agent大全”获得，应涵盖主流浏览器（Chrome, Firefox, Safari, Edge）和不同操作系统版本。

import random import requests USER_AGENTS = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.0 Safari/605.1.15', 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36', # ... 更多UA ] def get_with_random_ua(url): headers = { 'User-Agent': random.choice(USER_AGENTS) } return requests.get(url, headers=headers)

6.2 处理Cookie与Session

对于需要登录的网站，核心是获取并维持有效的Cookie。

手动获取：先用浏览器登录，然后通过开发者工具（F12 -> Network -> 找到任意请求 -> Headers -> Request Headers -> cookie）复制出Cookie字符串，在requests中设置headers={'Cookie': '复制的字符串'}。这种方法简单但不持久，Cookie会过期。
模拟登录：通过分析登录页面的表单，用session.post()提交用户名和密码（可能还有隐藏的token等字段）。成功后，session会自动管理后续请求的Cookie。这是更可靠和自动化的方法。
注意Cookie的更新：有些网站在交互过程中会更新Cookie。使用session对象可以自动处理。如果手动管理，需要从Set-Cookie响应头中提取新的Cookie值并更新。

6.3 设置Referer和Host头

一些网站会检查Referer头，确保请求来源于站内。例如，直接访问一个图片链接可能返回403，但如果Referer是站内的某个页面，就能正常访问。在爬取这类资源时，需要正确设置Referer。

headers = { 'User-Agent': '...', 'Referer': 'https://target-site.com/parent-page.html' # 假设图片来自这个父页面 } resp = requests.get('https://target-site.com/image.jpg', headers=headers)

Host头在HTTP/1.1中是必须的，requests库会自动帮你添加，通常不需要手动设置，除非你在进行一些非常规的代理或Host绑定操作。

6.4 频率控制与代理IP

即使伪装得再好，过快的请求频率也会触发服务器的风控。控制爬取速度是基本的道德和技术要求。

简单等待：在请求间使用time.sleep(random.uniform(1, 3))加入随机延迟。
更智能的控制：使用time.perf_counter()记录上次请求时间，确保间隔。

当单一IP因频率过高被封锁时，就需要使用代理IP。你可以使用付费代理服务或自建代理池。在requests中使用代理非常简单：

proxies = { 'http': 'http://user:pass@10.10.1.10:3128/', # 有密码的代理 'https': 'http://10.10.1.10:1080', # 无密码的代理 } # 或者所有协议走同一个代理 # proxies = {'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:3128'} try: resp = requests.get('http://example.com', proxies=proxies, timeout=10) print(resp.status_code) except requests.exceptions.ProxyError: print("代理连接失败，需要更换代理IP。")

使用代理时，务必做好错误处理，因为代理IP很可能不稳定或失效。

7. 调试与排查：当爬虫不工作时怎么办？

你的爬虫突然拿不到数据了，或者返回403/500错误，该怎么办？不要慌，按照以下步骤进行HTTP层面的排查。

第一步：重现问题，捕获原始信息使用最简化的代码复现问题，并打印出最详细的请求和响应信息。

import requests url = 'https://problem-site.com/api/data' # 1. 开启详细日志（可选，信息量大） # import logging # logging.basicConfig(level=logging.DEBUG) # 2. 发送请求并捕获异常 try: resp = requests.get(url, timeout=10) resp.raise_for_status() # 如果状态码不是2xx，抛出异常 except requests.exceptions.HTTPError as e: print(f"HTTP错误: {e}") if resp is not None: print(f"状态码: {resp.status_code}") print(f"响应头: {resp.headers}") # 有时错误信息在响应体中 print(f"错误响应体: {resp.text[:500]}") except Exception as e: print(f"其他错误: {e}") else: # 请求成功 print("请求成功") print(f"最终URL: {resp.url}") # 检查是否有重定向 print(f"编码: {resp.encoding}") print(f"内容预览: {resp.text[:200]}")

第二步：对比浏览器行为用浏览器（Chrome/Firefox）的开发者工具，访问同一个URL。

打开Network面板。
清空记录，然后访问或刷新目标页面。
找到目标请求（可能是XHR/Fetch或Doc类型），点击查看Headers选项卡。
仔细对比Request Headers：
- 你的爬虫的User-Agent和浏览器的一样吗？
- 浏览器请求带了哪些Cookie？你的爬虫带了吗？
- 浏览器请求的Referer是什么？需要模拟吗？
- 是否有特殊的头，如Authorization、X-Requested-With等？
查看Payload或Request选项卡：如果是POST请求，浏览器提交了哪些表单数据或JSON数据？你的爬虫模拟对了吗？

第三步：模拟浏览器请求将你在浏览器中看到的所有关键头信息，复制到你的爬虫代码中。

headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', 'Accept-Encoding': 'gzip, deflate, br', # 注意：requests自动处理gzip，不要设置这个头 'Connection': 'keep-alive', 'Upgrade-Insecure-Requests': '1', 'Sec-Fetch-Dest': 'document', 'Sec-Fetch-Mode': 'navigate', 'Sec-Fetch-Site': 'none', 'Sec-Fetch-User': '?1', 'Cache-Control': 'max-age=0', # 将从浏览器复制的Cookie字符串放在这里 'Cookie': 'your_cookie_string_here' } # 注意：'Accept-Encoding'头通常由requests自动管理，手动设置可能导致解压错误。 resp = requests.get(url, headers=headers)

提示：requests库默认支持解压gzip和deflate编码的响应体，所以通常不需要也不应该在请求头中设置Accept-Encoding: gzip，库会自动处理。手动设置反而可能引发问题。

第四步：检查动态内容与JavaScript如果以上步骤都做了，还是拿不到数据，或者拿到的HTML里没有你想要的数据（只有一些JavaScript框架代码），那么目标数据很可能是通过JavaScript动态加载的。这时，简单的HTTP请求就无能为力了，你需要使用Selenium、Playwright或Pyppeteer这类能控制真实浏览器的工具来渲染页面，或者更高级地，去分析网页加载过程中的XHR/Fetch网络请求，直接模拟那些请求来获取数据（这又回到了HTTP协议本身）。这超出了本文“零基础HTTP”的范围，但它是爬虫工程师进阶的必经之路。

排查过程的核心思想就是“对比”和“还原”：让自己的爬虫请求尽可能接近浏览器的请求。理解了HTTP协议，你就掌握了进行这种对比和还原的最基本、最重要的工具。

查看全文

http://www.jsqmd.com/news/1284586/