在超大数据集下 DuckDB 与 MySQL 查询速度对比捞

一、什么是urllib3？

urllib3 是一个用于处理 HTTP 请求和连接池的强大、用户友好的 Python 库。

它可以帮助你：

发送各种 HTTP 请求（GET, POST, PUT, DELETE等）。

管理连接池，提高网络请求效率。

处理重试和重定向。

支持并发和线程安全。

更好地处理SSL/TLS验证。

二、应用场景

urllib3 广泛应用于以下实际场景：

Web爬虫: 抓取网页内容，构建数据采集系统。

API客户端: 与 RESTful API 进行交互，构建自动化工具。

自动化测试: 模拟HTTP请求，测试Web服务。

网络服务集成: 在应用程序中集成第三方网络服务。

下载文件: 从互联网上下载各种文件。

三、如何安装

使用 pip 安装

pip install urllib3

# 如果安装慢的话，推荐使用国内镜像源

pip install urllib3 -i https://pypi.tuna.tsinghua.edu.cn/simple/

使用 PythonRun 在线运行代码（无需本地安装）

四、示例代码

发送一个GET请求并检查状态码

import urllib3

# 创建一个PoolManager实例，用于管理HTTP连接池

http = urllib3.PoolManager()

# 指定要请求的URL

url = "http://httpbin.org/get"

# 发送GET请求

try:

response = http.request('GET', url)

# 检查响应的状态码是否为200（OK）

if response.status == 200:

print(f"请求成功！状态码: {response.status}")

print("响应数据:")

# 将响应的字节数据解码为UTF-8字符串并打印

print(response.data.decode('utf-8'))

else:

# 如果状态码不是200，则打印错误信息

print(f"请求失败！状态码: {response.status}")

print(f"错误信息: {response.data.decode('utf-8')}")

except urllib3.exceptions.MaxRetryError as e:

# 捕获连接重试错误

print(f"连接失败或重试次数超出限制: {e}")

except urllib3.exceptions.NewConnectionError as e:

# 捕获新建连接错误

print(f"无法建立连接: {e}")

except Exception as e:

# 捕获其他所有可能的异常

print(f"发生未知错误: {e}")

使用 PythonRun 在线运行这段代码，结果如下：

请求成功！状态码: 200

响应数据:

{

"args": {},

"headers": {

"Accept-Encoding": "identity",

"Host": "httpbin.org",

"User-Agent": "python-urllib3/1.26.18",

"X-Amzn-Trace-Id": "Root=1-65f57a3e-6d4b2e6503c75f4d1e041300"

},

"origin": "106.120.246.101",

"url": "http://httpbin.org/get"

}盼局谴薪