办公室中的Python课【信息捕手】网页爬虫基础：让互联网成为你的数据库
💻 P13 【信息捕手】网页爬虫基础：让互联网成为你的数据库
🎯 学习目标：
- 理解请求机制：明白浏览器和服务器之间是怎么“打招呼”的（HTTP 请求）。
- 掌握
Requests库：学会用一行代码获取网页的源代码。 - 反爬初步对抗：学会通过“伪装成浏览器”来避免被网站拒绝。
- AI 协作：利用通义灵码快速解析复杂的网页结构。
🌟 引导词
“想象一下，你每天早上都要打开 5 个网站，把上面的黄金价格填进 Excel。
这是一个典型的‘机械重复’任务。网页爬虫的本质，就是写一段代码，模拟你打开浏览器的行为，把网页上的文字、图片或表格直接拉到你的本地电脑里。
这一课，我们将学习如何给 Python 装上‘眼睛’，让它能看懂互联网上的海量信息。**
一、准备工作：安装“捕鱼网”
我们要用到 Python 世界里最流行的网络库：Requests。
手把手 AI 实战（Agent 模式）：
- 在通义灵码对话框输入：
/agent。 - 输入指令：
请帮我检查并安装 requests 库。 - 点击【运行/Run】。
二、发送请求：你好，服务器！
当我们输入网址时，其实是发送了一个GET 请求。服务器如果觉得你没问题，就会返回200 (OK)。
importrequests# 1. 定义网址url="https://www.baidu.com"# 2. 发送请求response=requests.get(url)# 3. 检查状态（200 代表成功）print(f"状态码：{response.status_code}")# 4. 查看网页源代码（前 100 个字符）print(response.text[:100])三、关键技巧：伪装成人类（User-Agent）
很多网站不喜欢机器人（代码）来访问，因为机器人太快了。为了不被“关在门外”，我们需要在代码里加一个“面具”，告诉服务器：“我不是代码，我是 Chrome 浏览器。”
# 定义请求头，伪装成浏览器headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"}response=requests.get(url,headers=headers)四、手把手 AI 实战：解析网页数据
抓回来的源代码通常像一团乱麻（HTML）。这时候，让 AI 帮我们“抽丝剥茧”是最聪明的做法。
1. Ask 模式：解析特定内容
- 操作：在对话框输入指令：
我用 requests.get 抓回了一个网页的源代码存放在 html_text 变量里。请帮我写一段代码，使用 BeautifulSoup 库提取出网页里所有的 <a> 标签中的链接（href）。
- AI 价值：它会教你配合使用
BeautifulSoup库，这是解析网页内容的黄金搭档。
2. Edit 模式：优化错误处理
- 操作：选中你的爬虫代码。
- 动作：右键 ->通义灵码->智能编辑。
- 指令：
帮我给这段爬虫加一个超时检测，如果 5 秒钟还没打开网站，就跳过并打印“网络超时”。 - 效果：AI 会加上
timeout=5参数和try...except结构。
3. Agent 模式：复杂任务流
- 操作：输入
/agent。 - 指令：
我想抓取某个新闻网站的标题，请帮我分析一下 https://example.com 的结构，并写一个能运行的基础爬虫 Demo。 - 效果：AI 会尝试分析该页面的逻辑（如果环境允许访问），并给出直接可用的代码模板。
🛠️ 课后练习
- 新建
P13_spider.py。 - 尝试使用
requests访问一个你经常浏览的新闻门户网站。 - 打印出
response.status_code，看看你是否被网站拦截了。 - 进阶挑战：尝试在
headers里加入自己的User-Agent（可以通过百度搜索“我的 User Agent”获取）。
总结与预告
- Requests：发起网络访问的工具。
- Status Code：200 是成功，404 是找不到，403 是被拒绝。
- Headers：是爬虫的“身份证”，一定要学会伪装。
[下一篇 (P14)，我们将回到本地办公，学习Word 自动化 (Python-docx)。你将学会如何让 Python 自动生成合同、批量填充证明材料、以及一键修改 100 份文档的格式。**
👉 想要让文档自己“写”出来吗？让我们进入 Word 自动化的世界！