网络资源爬取代码分享
爬取网络资源的Python代码示例
以下代码使用requests和BeautifulSoup库实现合法网络资源的爬取，适用于数据收集和统计。确保目标网站允许爬取（参考robots.txt文件）。
import requests from bs4 import BeautifulSoup import pandas as pd def scrape_legal_data(url, output_file='data.csv'): try: headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers, timeout=10) response.raise_for_status() # 检查请求是否成功 soup = BeautifulSoup(response.text, 'html.parser') # 示例：提取网页中的标题和链接（根据实际需求修改选择器） data = [] for item in soup.select('a[href]'): # 假设抓取所有链接 title = item.get_text(strip=True) link = item['href'] if title and link.startswith('http'): data.append({'Title': title, 'URL': link}) # 保存为CSV文件 df = pd.DataFrame(data) df.to_csv(output_file, index=False) print(f"数据已保存至 {output_file}") except requests.exceptions.RequestException as e: print(f"请求失败: {e}") # 使用示例（替换为允许爬取的合法网站） target_url = "https://example.com" # 替换为目标网站 scrape_legal_data(target_url)注意事项
遵守法律法规
- 仅爬取公开且允许爬取的数据（查看目标网站的
robots.txt，如https://example.com/robots.txt）。 - 避免高频请求（添加延时如
time.sleep(2)）。
- 仅爬取公开且允许爬取的数据（查看目标网站的
数据存储规范
- 敏感数据需匿名化处理。
- 禁止存储个人隐私或商业机密信息。
扩展功能建议
- 使用
Scrapy框架处理复杂爬取任务。 - 添加代理IP池应对反爬机制（需合法来源）。
- 使用
替代方案：使用API
若目标网站提供公开API（如政府开放数据平台），优先调用API而非爬取：
import requests api_url = "https://api.example.com/data" response = requests.get(api_url) data = response.json() # 直接获取结构化数据免责声明
实际使用时需自行确保符合目标网站条款及当地法律法规。